Письмо о приостановке обучения крупных ИИ моделей появилось в открытом доступе в ночь на 29 марта, но такие предложения уже не раз звучали от разных людей особенно в последние месяцы, с момента выхода ChatGPT в ноябре 2022. Идея не нова, ее высказывают регулярно, а Гари Маркус, известный критик больших языковых моделей (LLMs), чуть ли не через день твердит о том, что «Карфаген должен быть разрушен». И уж, конечно, он подписал письмо в числе первых.
Среди подписантов есть громкие имена, хотя и не так много, есть серьезные эксперты в своих областях, но сам призыв к мораторию, как и его обоснование, вряд ли убедят тех, кому письмо адресовано — руководителей ИИ лабораторий.
В чем сомнительность этой идеи? В том, что остановка работы не решает ни одной проблемы. Да, все согласны с тем, что LLMs непрозрачны, ненадежны, склонны к галлюцинациям, и мы не понимаем со всей ясностью, как они делают выводы. Мы также не знаем, какие свойства появятся у моделей более мощных, чем GPT-4. Однако этого и нельзя выяснить, исходя из общих соображений и экспериментируя с более мелкими моделями хоть полгода, хоть дольше. В этом важная черта LLMs: их поведение нетривиально зависит от размера модели, от качества и количества обучающих данных и от методов обучения.
Только работа с ИИ моделями позволит хоть что-то про них понять, увидеть риски и протестировать возможности. По меткому замечанию философа Артема Беседина «авторы этого письма предлагают нам учиться плавать, не входя в воду». Увы, так не получится.
Далее, как к мораторию отнесется, например, Китай? Судя по доходящим оттуда новостям, КПК делает сильную ставку на развитие искусственного интеллекта. Официально цель Китая — стать мировым лидером в этой области к 2030 году. Сейчас они в роли догоняющих, и торможение проектов у конкурентов из США будет отличным подарком китайским исследователям. Сами они остановятся вряд ли.
Впрочем, едва ли возьмет паузу и OpenAI, компания, создавшая GPT-4. Уже сейчас идет обучение следующей версии, и на осень анонсировано появление GPT-4.5, а затем и GPT-5. Учитывая, что Microsoft инвестирует в эти модели $10 млрд, остановок не будет. Не поддержал письмо и Ян Лекун, вице-президент Meta. Пожалуй, авторы письма сильно запоздали: джинн уже выпущен.
Кроме того, угрозы ИИ обозначены довольно размыто, чтобы испугаться всерьез. На фоне отгремевшего ковида и нынешних трагедий, которые мы наблюдаем в прямом эфире, риск разрастания фейков и грядущие изменения на рынке труда не впечатляют настолько, чтобы “бросить всё”. А реалистичных сценариев, как LLMs поработят человечество, не просматривается. И хотя часть исследователей находит в GPT-4 «искры общего интеллекта», другие называют языковые модели «стохастическими попугаями» 🦜, отказывая им даже в зачатке мысли. И тогда стоит ли бояться попугая, пусть и говорящего?
Вопрос об уме LLMs далек от разрешения, и здесь как раз нужны эксперименты. Но все согласны с тем, что это мощный инструмент, который может быть очень полезен. Он расширяет наши возможности, а отказ от них тоже имеет цену. Эти возможности впечатляют, и в появлении манифестов мы видим типичный «шок будущего» в терминах социолога Элвина Тоффлера, который писал о психологических эффектах стремительного развития технологий еще в 1960-х.
Модели уж слишком быстро апгрейдятся и «умнеют» на глазах. Предел роста их интеллекта не ясен, это и пугает людей с богатым воображением. Однако мораторий и запреты дадут лишь передышку нашей психике, но не помогут устранить будущие риски. Скажем, в биологии часть гипотез можно проверить на животных или клеточных культурах. В области ИИ аналогичной замены большим моделям нет, их поведение уникально.
В более общем смысле мы создаем сверхсложный объект нового типа, для которого у нас нет готовых теорий. Понимание его свойств можно добыть только во взаимодействии с ним. Оттого призыв обсуждать ключевые проблемы ИИ в паузе, без исследований, звучит как утопия. Это все не отменяет, конечно, необходимости всерьез отнестись к вопросам надежности, прозрачности, безопасности LLMs, их обучения и регулирования, но перерыв в экспериментах на полгода вряд ли приблизит к ответам.
Текст: ДЕНИС ТУЛИНОВ, автор телеграм-канала «Блуждающий нерв»
Иллюстрация к тексту сгенерирована нейросетью Midjourney.
Денис Тулинов 30.03.2023