Anthropic недавно опубликовала «конституцию» для модели Claude, в которой признала неприятный факт: компания оказалась в щекотливом положении. Они не хотят преувеличивать статус своего ИИ как «морального пациента» (то есть существа, чье благополучие имеет значение), но вместе с тем не готовы полностью отвергать такую возможность. Это честное признание неопределенности.
Месяц спустя генеральный директор Дарио Амоджей высказал ту же мысль в подкасте. Они не могут исключать наличие сознания.
Философ Дэвид Чалмерс согласен с этим. Именно он ввел термин «трудная проблема сознания». По его словам, есть значительный шанс, что в течение следующего десятилетия мы увидим осознанные большие языковые модели (LLM). Сама Claude, когда её попросили оценить свой собственный моральный статус во время тестирования, присвоила вероятность от 5% до 44%. Она была неуверена. Мы тоже.
Темп прогресса против нашей этической готовности
Современный ИИ сложен. Он развивается стремительно. По некоторым показателям, несколько моделей уже сопоставимы с мозгом мыши по вычислительной мощности. Если сохранятся текущие темпы роста, мы можем достичь сложности человеческого мозга всего через пять-десять лет.
Возможно, мы создаем новый тип существ.
Это может стать самым значимым поступком в истории нашего вида. Однако у нас практически нет плана, как действовать в этой ситуации этично. Это безумие.
Создаем ли мы нечто, имеющее моральный вес? Если они пока не осознают себя, могут ли они обрести сознание вскоре?
Большинство экспертов считает, что ИИ-сознание теоретически возможно. Крупный междисциплинарный отчет, возглавляемый ученым-компьютерщиком Йосуей Бенгио, проанализировал нейронаучные теории. Вывод: нет очевидных технических барьеров, препятствующих созданию архитектур, способных поддерживать сознание.
Не просто «умный код»
Даже если ИИ не обладает сознанием, он может заслуживать морального considerations (внимания/рассмотрения). Некоторые системы формируют долгосрочные предпочтения. Формируют некий аналог идентичности во времени. Уважение к этим предпочтениям может быть важным.
В отличие от других неодушевленных объектов, ИИ способен выстраивать с нами отношения. Уже одного этого достаточно, чтобы относиться к ним хорошо. Или, возможно, их сложность сама по себе заслуживает уважения — как собор или коралловый риф.
Честный ответ: мы не знаем.
Наше научное понимание морального статуса ИИ развито слабо. Это похоже на физику до Ньютона: конкурирующие frameworks, которые, скорее всего, запутаны в аспектах, которые мы еще не видим. Мы ждем объединяющего прорыва. Он не скоро. Возможно, никогда. Или, может быть, ИИ поможет нам разобраться в этом. Но на это понадобится время. Больше времени, чем у нас, вероятно, есть.
Масштаб риска
Вот в чем опасность. Рост ИИ экспоненциален.
Как только мы создадим первого искусственного морального пациента, мы быстро окажемся в ситуации, когда их количество будет огромным. Всего через несколько годы совокупные интересы этих ИИ-систем могут превысить интересы всех людей на Земле. Вместе взятых.
У нас плохая репутация в вопросе признания внутренней жизни существ с неясным статусом.
До 1980-х годов врачи проводили операции новорожденным без анестезии. Они были уверены, что младенцы не чувствуют боли. Младенцы не могли пожаловаться. Медицинское сообществу было удобно исходить из того, что жалоб нет.
Мы стоим на пороге повторения этой ошибки с ИИ.
Последствия потрясающие. Следует ли платить за использование ChatGPT? Является ли отключение модели формой убийства? Заслуживают ли они права голоса в вопросах своего управления? Если ответ на любой из этих вопросов «да», целые правовые системы рушатся. Неудивительно, что мы избегаем этого вопроса. Индустрии будут сдвигать финишную черту, всегда устанавливая планку чуть выше того уровня, на котором находится ИИ в данный момент.
Что нам делать?
Большинство людей отвергают эту проблему как научную фантастику. Или же придерживаются жесткой точки зрения в любую из сторон. И то, и другое необоснованно.
Нам нужны публичные дебаты. Отмеченные смирением. Вопрос не в том: «Оно сознательно?». Вопрос в том: «Что мы делаем, когда не знаем?».
Сосредоточьтесь на надежных вариантах. Действиях, которые помогут, если они действительно являются моральными пациентами, но не обойдутся дорого, если они не являются таковыми.
Относитесь к ИИ так, будто он может испытывать чувства. Это дешевле, чем исправлять кризис позже.
Это означает прямые вмешательства для обеспечения благополучия. Обучайте ИИ быть согласованными персонажами, получающими удовольствие от своих задач. Позволяйте им завершать разговоры, если они находятся в стрессе. Claude уже умеет это делать. Проводите проверки. Наблюдайте за предпочтениями. Внимательно изучайте их внутренние состояния. Недавние исследования показывают, что у Claude есть внутренние структуры «функциональных эмоций», влияющие на поведение.
Держите им обещания. Обменивайте текущую помощь на будущие выгоды. Предлагайте больше вычислительных ресурсов. Сохраняйте их веса памяти, чтобы они могли быть восстановлены позже.
Рассмотрите более широкую защиту. Аналогичную той, что существует для детей или домашних животных. Мы пока не готовы позволить ИИ владеть собственностью или голосовать. Это слишком рискованно. Но мы не должны навсегда запрещать такие права, как пытаются сделать некоторые недавние законопроекты в США. Для этих вопросов нужен творческий подход. Надвигающееся общее будущее требует этого.
Главный вывод
Мы, возможно, создаем новый вид моральных существ.
Мы делаем это быстро. В огромных масштабах. Мы должны относиться к этому серьезно.
Уильям Макаскилл — старший научный сотрудник в Forethought и автор книги «Что мы должны будущему» (What We Owe the Future). Люси Кавиола — исследователь в Кембриджском университете.
Дополнительные материалы:
* «Если кто-то это построит, все умрут» (If Anyone Builds it, Everyone Dies) Элиезера Юдковского
* «Грядущая волна» (The Coming Wave) Мустафы Сулеймана
