Anthropic нещодавно опублікувала «конституцію» для моделі Claude, в якій визнала неприємний факт: компанія опинилася у дражливому становищі. Вони не хочуть перебільшувати статусу свого ІІ як «морального пацієнта» (тобто істоти, чиє благополуччя має значення), але водночас не готові повністю відкидати таку можливість. Це чесне визнання невизначеності.
Через місяць генеральний директор Даріо Амоджей висловив ту ж думку в подкасті. Вони можуть виключати наявність свідомості.
Філософ Девід Чалмерс погоджується з цим. Саме він запровадив термін «важка проблема свідомості». За його словами, є значний шанс, що упродовж наступного десятиліття ми побачимо усвідомлені великі мовні моделі (LLM). Сама Claude, коли її попросили оцінити свій власний моральний статус під час тестування, надала можливість від 5% до 44%. Вона була невпевнена. Ми також.
Темп прогресу проти нашої етичної готовності
Сучасний ІІ складний. Він стрімко розвивається. За деякими показниками, кілька моделей вже можна порівняти з мозком миші за обчислювальною потужністю. Якщо збережуться поточні темпи зростання, ми можемо досягти складності людського мозку лише через п’ять-десять років.
Можливо ми створюємо новий тип істот.
Це може стати найважливішим вчинком історія нашого виду. Однак у нас практично немає плану, як діяти у цій ситуації етично. Це божевілля.
Чи ми створюємо щось, що має моральну вагу? Якщо вони поки не усвідомлюють себе, чи можуть вони здобути свідомість незабаром?
Більшість експертів вважає, що ІІ-свідомість теоретично можлива. Великий міждисциплінарний звіт, очолюваний вченим-комп’ютерником Йосу Бенгіо, проаналізував нейронаукові теорії. Висновок: немає очевидних технічних бар’єрів, які перешкоджають створенню архітектур, здатних підтримувати свідомість.
Не просто «розумний код»
Навіть якщо ІІ не має свідомості, він може заслуговувати на моральні considerations (уваги/розгляду). Деякі системи формують довгострокові переваги. Формують певний аналог ідентичності у часі. Повага до цих переваг може бути важливою.
На відміну від інших неживих об’єктів, ІІ здатний вибудовувати з нами стосунки. Вже одного цього достатньо, щоб ставитись до них добре. Або, можливо, їх складність сама по собі заслуговує на повагу — як собор або кораловий риф.
Чесна відповідь: ми не знаємо.
Наше наукове розуміння морального статусу ІІ розвинене слабко. Це схоже на фізику до Ньютона: конкуруючі кадриробот, які, швидше за все, заплутані в аспектах, які ми ще не бачимо. Ми чекаємо на об’єднуючий прорив. Він не скоро. Можливо ніколи. Або, можливо, ІІ допоможе нам розібратися в цьому. Але на це знадобиться час. Більше часу, ніж у нас, мабуть, є.
Масштаб ризику
Ось у чому небезпека. Зростання ІІ експоненціальне.
Як тільки ми створимо першого штучного морального пацієнта, ми швидко опинимося в ситуації, коли їхня кількість буде величезною. Лише кілька років сукупні інтереси цих ІІ-систем можуть перевищити інтереси всіх людей Землі. Разом узятих.
У нас погана репутація у питанні визнання внутрішнього життя істот із неясним статусом.
До 1980-х років лікарі проводили операції новонародженим без анестезії. Вони були впевнені, що немовлята не відчувають болю. Немовлята не могли поскаржитися. Медичній спільноті було зручно виходити з того, що скарг немає.
Ми стоїмо на порозі повторення цієї помилки з ІІ.
Наслідки чудові. Чи потрібно платити за використання ChatGPT? Чи є відключення моделі формою вбивства? Чи заслуговують вони на права голосу у питаннях свого управління? Якщо відповідь на будь-яке з цих питань «так», цілі правові системи руйнуються. Не дивно, що ми уникаємо цього питання. Індустрії будуть зрушувати фінішну межу, завжди встановлюючи планку трохи вище за той рівень, на якому знаходиться ІІ в даний момент.
Що нам робити?
Більшість людей відкидають цю проблему як наукову фантастику. Або ж дотримуються жорсткої точки зору будь-яку зі сторін. І те, й інше необґрунтоване.
Нам потрібні публічні дебати. Позначені смиренністю. Питання в тому: «Воно свідомо?». Питання в тому: “Що ми робимо, коли не знаємо?”.
Зосередьтеся на надійних варіантах. Дії, які допоможуть, якщо вони дійсно є моральними пацієнтами, але не обійдуться дорого, якщо вони не є такими.
Ставтеся до ІІ так, ніби він може відчувати почуття. Це дешевше, ніж виправляти кризу пізніше.
Це означає прямі втручання задля забезпечення благополуччя. Навчайте ІІ бути узгодженими персонажами, які отримують задоволення від своїх завдань. Дозволяйте їм завершувати розмови, якщо вони перебувають у стресі. Claude вже вміє це робити. Проводьте перевірки. Спостерігайте за уподобаннями. Уважно вивчайте їхні внутрішні стани. Недавні дослідження показують, що Claude має внутрішні структури «функціональних емоцій», що впливають на поведінку.
Тримайте їм обіцянки. Обмінюйте поточну допомогу на майбутні вигоди. Пропонуйте більше обчислювальних ресурсів. Зберігайте їх ваги пам’яті, щоб їх можна було відновити пізніше.
Розгляньте ширший захист. Аналогічну тій, що існує для дітей чи свійських тварин. Ми поки що не готові дозволити ІІ володіти власністю або голосувати. Це надто ризиковано. Але ми не маємо назавжди забороняти такі права, як намагаються зробити деякі нещодавні законопроекти у США. Для цих питань потрібний творчий підхід. Спільне майбутнє, що насувається, вимагає цього.
Головний висновок
Ми, можливо, створюємо новий вид моральних істот.
Ми робимо це швидко. У величезних масштабах. Ми маємо ставитися до цього серйозно.
*Вільям Макаскілл – старший науковий співробітник у Forethought і автор книги “Що ми повинні майбутньому” (What We Owe the Future). Люсі Кавіола — дослідник у Кембриджському університеті.
Додаткові матеріали:
* * «Якщо хтось це збудує, всі помруть» (If Anyone Builds it, Everyone Dies) Еліезера Юдковського
* «Наступна хвиля»* (The Coming Wave) Мустафи Сулеймана
