Письмо трудящихся миллиардеров: остановите искусственный интеллект!

Глава ком­па­ний Tesla и SpaceX Илон Маск, один из осно­ва­те­лей Apple Стив Возняк и боль­ше тыся­чи экс­пер­тов под­пи­са­ли откры­тое пись­мо с при­зы­вом при­оста­но­вить раз­ра­бот­ку «гигант­ско­го искус­ствен­но­го интел­лек­та». Текст пись­ма опуб­ли­ко­вал «Институт буду­ще­го жиз­ни» (Future of Life Institute).

Авторы пись­ма при­зва­ли раз­ра­бот­чи­ков искус­ствен­но­го интел­лек­та немед­лен­но при­оста­но­вить мини­мум на пол­го­да обу­че­ние систем более мощ­ных, чем GPT-4 от ком­па­нии OpenAI. Эксперты и руко­во­ди­те­ли отрас­ли, под­пи­сав­шие пись­мо, счи­та­ют, что обу­че­ние нуж­но оста­но­вить, пока не появят­ся общие про­то­ко­лы без­опас­но­сти. По их мне­нию, если обу­че­ние не полу­чит­ся оста­но­вить быст­ро, то вла­сти «долж­ны вме­шать­ся и вве­сти мораторий».

T-Invariant попро­сил про­ком­мен­ти­ро­вать откры­тое пись­мо сам ChatGPT-4 и экспертов-людей.

Елена Бунина, про­фес­сор депар­та­мен­та мате­ма­ти­ки уни­вер­си­те­та Бар-Илан

Я в прин­ци­пе не верю в ини­ци­а­ти­вы по замо­роз­ке или оста­нов­ке любо­го про­грес­са. Такие реше­ния при­во­дят к тому, что толь­ко нега­тив­ная, неза­ко­но­по­слуш­ная часть это­го направ­ле­ния будет под­поль­но раз­ви­вать­ся. И ее точ­но нель­зя будет при­ме­нить на поль­зу чело­ве­че­ству, а во вред как раз при­ме­не­ние будет. Удивительно дру­гое: про­цесс раз­ви­тия искус­ствен­но­го интел­лек­та шел есте­ствен­ным путем. И сколь­ко было пред­ска­за­ний, что имен­но может про­изой­ти. И вот про­изо­шло! Столько было про­гно­зов, что искус­ствен­ный интел­лект будет экс­по­нен­ци­аль­но раз­ви­вать­ся. И это слу­чи­лось. Скачок про­изо­шел, а люди все рав­но к нему не гото­вы. Поэтому, кажет­ся, что пра­виль­ная ини­ци­а­ти­ва в отно­ше­нии искус­ствен­но­го интел­лек­та — это ста­рать­ся най­ти ему супер­по­лез­ные при­ме­не­ния и одно­вре­мен­но дого­ва­ри­вать­ся о той самой эти­ке искус­ствен­но­го интел­лек­та, кото­рую так дол­го обсуж­да­ет весь мир. Если сей­час при­оста­но­вить обу­че­ние систем ИИ, то дого­ва­ри­вать­ся об эти­че­ских прин­ци­пах все тоже прекратят.

Антон Кузнецов, кан­ди­дат фило­соф­ских наук, доцент, Центр иссле­до­ва­ния созна­ния, Философский факуль­тет МГУ им. М.В. Ломоносова, теле­грам-канал

Ситуация с извест­ным пись­мом содер­жит в себе и жанр коме­дии, и дра­мы, что вызва­но его абсур­дист­ским содер­жа­ни­ем. Кажется, про­ис­хо­дит нечто уди­ви­тель­ное по сво­ей фор­ме, когда в алар­мист­ском запа­ле «обес­по­ко­ен­ная обще­ствен­ность» пада­ет ниц перед Левиафаном. Тут исто­рия совер­ша­ет мало ска­зать виток, а куль­бит. И в оче­ред­ной раз убеж­да­ешь­ся, что люди у исто­рии учат­ся тому, что ниче­му не учат­ся у исто­рии. И глав­ное, кто эти люди? Кто эти люби­те­ли «ста­ри­ны» и «тра­ди­ци­он­ных цен­но­стей», кто воз­глав­ля­ет крест­ный ход тех­но­ло­ги­че­ских «каза­ков»? Маск и Возняк. Предлагается регу­ли­ро­вать то, что регу­ля­ции не под­да­ет­ся, и, глав­ное, регу­ли­ро­вать такую «неж­ную» область самы­ми что ни на есть вар­вар­ски­ми мето­да­ми. Ясно как день, что иссле­до­ва­ния ни на пол­го­да, ни на пять минут не пре­кра­тят­ся. И нет такой силы, что была бы спо­соб­на это сде­лать здесь и сей­час. Поэтому даже если часть под­пи­сан­тов дей­стви­тель­но все­рьез вери­ла в то, что под­пи­сы­ва­ет, то я не допус­каю мыс­ли, что эта часть явля­ет­ся боль­шин­ством. Явным обра­зом содер­жа­ние пись­ма не пред­став­ля­ет инте­ре­са, я бы даже ска­зал, что оно безын­те­рес­но. В этой исто­рии важен сам факт пись­ма, а точ­нее — акт. Это дей­ство долж­но убе­дить широ­кую ауди­то­рию (и посред­ством это­го инве­сто­ров), что в обла­сти ИИ пря­мо сей­час про­ис­хо­дит нечто рево­лю­ци­он­ное, нечто очень зна­чи­мое, что про­пус­кать ни в коем слу­чае нель­зя. Это долж­но убе­дить нас в том, что нет ниче­го более важ­но­го сей­час, чем область раз­ви­тия ИИ, что люди и ком­па­нии, вовле­чен­ные в эту область, управ­ля­ют кораб­лем, увле­ка­ю­щим чело­ве­че­ство в буду­щее. Данное пись­мо — это не покло­не­ние Левиафану, за кото­рое его мож­но было бы при­нять. Продолжая мор­скую тема­ти­ку, это абор­даж, захват вла­сти и вни­ма­ния. А так­же хоро­шая иллю­стра­ция для сло­вар­ной ста­тьи «пост­прав­да».

Владимир Губайловский, автор кни­ги «Искусственный интел­лект и мозг человека»

Письмо начи­на­ет­ся со ссыл­ки на извест­ный доку­мент — Asilomar AI Principles (Асиломарские прин­ци­пы ИИ — Асиломар-2017). Этот доку­мент был раз­ра­бо­тан в фев­ра­ле 2017 года «Институтом буду­ще­го жиз­ни». Эта орга­ни­за­ция запу­сти­ла и вот это послед­нее пись­мо. Асиломар-2017 — это, в целом, такое бла-бла-бла за все хоро­шее. Первый прин­цип Асиломара-2017: цель иссле­до­ва­ний ИИ долж­на состо­ять в созда­нии полез­но­го интел­лек­та. Причем полез­но­го не кому-то кон­крет­но, а все­му чело­ве­че­ству. То, что на стар­те гло­баль­но­го про­ек­та поль­зу оце­нить очень труд­но (невоз­мож­но?), вид­но и по раз­ви­тию ядер­ной инду­стрии, и по раз­ви­тию интер­не­та. Когда начи­нал­ся атом­ный про­ект, мало кто думал о ядер­ной энер­ге­ти­ке. Когда начи­нал­ся интер­нет, все гово­ри­ли о сете­вой сво­бо­де, и никто не думал о циф­ро­вой тюрь­ме. Но Асиломар-2017 под­пи­са­ли все вооб­ще. В част­но­сти, Илья Суцвекер, соос­но­ва­тель OpenAI. Тогда про рабо­ту OpenAI мало кто знал, сего­дня — это раз­ра­бот­чик ChatGPT. Среди под­пи­сав­ших были и Стивен Хокинг, и Илон Маск.

И вот теперь Маск пер­вый под­пи­сал новое пись­мо. Это уже не общие сло­ва, как в Асиломар-2017, это кон­крет­ный при­зыв к при­оста­нов­ке работ по LLMs. LLMs — боль­шие линг­ви­сти­че­ские моде­ли. Это и ChatGPT, и куча дру­гих раз­ра­бо­ток, кото­рые ведут и Google, и Baidu, и мно­гие дру­гие IT-гиган­ты. В 2017 раз­ра­бот­ка ИИ была очень пер­спек­тив­ной, но все-таки мар­ги­наль­ной обла­стью. Сегодня в LLMs уже вло­же­ны мно­гие мил­ли­ар­ды. Все поме­ня­лось. Новое пись­мо Суцвекер, есте­ствен­но, не под­пи­сал. Рубить себе голо­ву дура­ков нет.

Зачем это новое пись­мо нуж­но Маску, более-менее мож­но понять. Он вели­кий пред­при­ни­ма­тель, но IT — это не его силь­ная сто­ро­на. Это вид­но по исто­рии при­об­ре­те­ния Twitter. Резкий пово­рот в сто­ро­ну LLMs меня­ет инве­сти­ци­он­ный ланд­шафт. И Tesla, и SpaceX, и про­чие инже­нер­ные реше­ния ухо­дят немно­го в сто­ро­ну. Маску это обид­но: вот ведь звал чело­ве­че­ство на Марс, а людям все бы в бирюль­ки играть. Но да, чело­ве­ку инте­ре­сен чело­век и, в целом, боль­ше ниче­го не инте­рес­но. LLMs сего­дня — это отра­же­ние чело­ве­ка. Трудно отве­сти взгляд от это­го кри­во­го зеркала.

Подписавшие новое пись­мо оза­бо­че­ны буду­щим чело­ве­че­ства. А чело­ве­че­ству дей­стви­тель­но что-то угро­жа­ет? Билл Гейтс пишет о ChatGPT с вос­тор­гом. Он срав­ни­ва­ет его появ­ле­ние с появ­ле­ни­ем гра­фи­че­ско­го интер­фей­са в 1980-е. Вот гра­фи­че­ский интер­фейс изме­нил отно­ше­ния меж­ду чело­ве­ком и ком­пью­те­ром, так­же и ChatGPT изме­нит. Ничего кро­ме поль­зы. Гейтс пись­мо не под­пи­сал, Microsoft — глав­ный инве­стор OpenAI. Никакого жела­ния рубить себе голо­ву нет и у Гейтса.

Конечно, отно­ше­ния меж­ду ком­пью­те­ром и чело­ве­ком изме­нят­ся. Они уже изме­ни­лись. Пока, прав­да, это почув­ство­ва­ли в основ­ном про­грам­ми­сты: при созда­нии кода ChatGPT уже рабо­та­ет и рабо­та­ет непло­хо. В бли­жай­шей пер­спек­ти­ве поль­за оче­вид­на, вред — неоче­ви­ден. В основ­ном, это смут­ные пред­чув­ствия. Можно ли оста­но­вить раз­ра­бот­ку боль­ших линг­ви­сти­че­ских моде­лей и дру­гих направ­ле­ний ИИ? Нельзя. Сколько бы писем ни было напи­са­но, и кто бы их ни под­пи­сал. Будет мно­го инте­рес­но­го. И вот тут я бы сове­то­вал при­об­ре­сти не поп­корн, а лопа­ту. И начи­нать при­во­дить в поря­док свою малень­кую гряд­ку. ИИ учит­ся у нас у всех. Пусть он учит­ся чему-то хорошему.

Андрей Себрант, дирек­тор по мар­ке­тин­гу сер­ви­сов ком­па­нии «Яндекс», про­фес­сор НИУ ВШЭ (Цитируем фраг­мент автор­ско­го теле­грам-кана­ла с любез­но­го раз­ре­ше­ния авто­ра. Ред. T-invariant)

Анализировать текст таких писем без ана­ли­за спис­ка под­пи­сан­тов и фигу­ры ини­ци­а­то­ра — дело дох­лое, оно как раз озна­ча­ет загла­ты­ва­ние нажив­ки, кото­рую нам бро­си­ли. Нельзя вестись на такую мани­пу­ля­цию в наш век инфор­ма­ци­он­ных войн:)
А с ини­ци­а­то­ра­ми и под­пи­сан­та­ми толь­ко еще начи­на­ют раз­би­рать­ся, и пер­вые резуль­та­ты как мини­мум забав­ны.
Институт Future of Life Institute, ини­ци­и­ро­вав­ший пись­мо и орга­ни­зо­вав­ший сбор под­пи­сей, — спе­ци­фи­че­ская орга­ни­за­ция Долины, с одним из глав­ных доно­ров в лице Musk Foundation (!), а рань­ше — и с небезыз­вест­ным и сидя­щим ныне без интер­не­та Сэмом Бэнкман-Фрайдом.
Деятельность это­го инсти­ту­та места­ми сма­хи­ва­ет на выра­щи­ва­ние культа.
Одновременно все тот же Маск вез­де высту­па­ет глав­ным под­пи­сан­том письма.
И тогда на сце­ну выпол­за­ет дав­ний кон­фликт Маска с OpenAI. В свое вре­мя он хотел боль­ше там рулить, но ему не дали, и он пре­кра­тил финан­си­ро­ва­ние нон­про­фи­та. OpenAI в поис­ках денег обра­тил­ся к Майкрософту, и вот тут-то нача­лись пер­вые дви­же­ния в сто­ро­ну ком­мер­ци­а­ли­за­ции и боль­шие оби­ды Маска.
А Маск, кото­рый уже не раз заяв­лял, что его чело­ве­ко­по­доб­ный робот ста­нет более круп­ным биз­не­сом, чем бес­пи­лот­ни­ки, остал­ся без кон­тро­ля над клю­че­вой для тако­го робо­та тех­но­ло­ги­ей: имен­но embodied LLMs явля­ют­ся осно­вой соф­та тако­го робота.
Короче: за этой исто­ри­ей, похо­же, в первую оче­редь сто­ят не инте­ре­сы чело­ве­че­ства, а инте­ре­сы кон­крет­но­го чело­ве­ка, масте­ра трол­лин­га, хай­па и мани­пу­ли­ро­ва­ния вни­ма­ни­ем чита­те­лей соц­се­то­чек и вооб­ще обще­ствен­но­сти:) А еще — куча биз­нес-инте­ре­сов тех биз­не­сов и стар­та­пов, кото­рые из-за ChatGPT ока­за­лись в зоне риска.

ChatGPT-4, боль­шая линг­ви­сти­че­ская модель, раз­ра­бо­тан­ная ком­па­ни­ей OpenAI.

T-i: Что вы дума­е­те об откры­том пись­ме «Приостановить гигант­ские экс­пе­ри­мен­ты с искус­ствен­ным интеллектом»?

ChatGPT-4: Упомянутое вами откры­тое пись­мо было напи­са­но груп­пой иссле­до­ва­те­лей и экс­пер­тов в обла­сти ИИ, кото­рые обес­по­ко­е­ны потен­ци­аль­ны­ми рис­ка­ми раз­ра­бот­ки все более мощ­ных систем ИИ. Они утвер­жда­ют, что послед­ние дости­же­ния в обла­сти ИИ, осо­бен­но в обла­сти боль­ших язы­ко­вых моде­лей, при­ве­ли к появ­ле­нию новых рис­ков и про­блем, кото­рые тре­бу­ют немед­лен­но­го ответа.

Авторы пись­ма пред­ла­га­ют сде­лать шести­ме­сяч­ную пау­зу в раз­ра­бот­ке систем ИИ, более мощ­ных, чем GPT-4 — гипо­те­ти­че­ских моде­лей, кото­рые сего­дня не суще­ству­ют. Цель этой пау­зы — дать воз­мож­ность иссле­до­ва­те­лям и поли­ти­кам поду­мать об эти­че­ских, соци­аль­ных и эко­ло­ги­че­ских послед­стви­ях раз­ра­бот­ки таких про­дви­ну­тых систем ИИ.

В пись­ме под­ни­ма­ют­ся важ­ные вопро­сы об ответ­ствен­но­сти иссле­до­ва­те­лей ИИ и необ­хо­ди­мо­сти отда­вать при­о­ри­тет без­опас­но­сти и бла­го­по­лу­чию обще­ства, а не тех­но­ло­ги­че­ско­му про­грес­су. Однако не все экс­пер­ты в сооб­ще­стве ИИ соглас­ны с этим пред­ло­же­ни­ем. Некоторые утвер­жда­ют, что пау­за в иссле­до­ва­ни­ях ИИ может замед­лить про­гресс и поме­шать инновациям.

В целом, откры­тое пись­мо на тему «Приостановить гигант­ские экс­пе­ри­мен­ты с ИИ» вызва­ло дис­кус­сию в сооб­ще­стве ИИ о потен­ци­аль­ных рис­ках и пре­иму­ще­ствах раз­ра­бот­ки более мощ­ных систем ИИ. Письмо под­чер­ки­ва­ет необ­хо­ди­мость ответ­ствен­но­го под­хо­да к раз­ра­бот­ке ИИ, учи­ты­ва­ю­ще­го потен­ци­аль­ное вли­я­ние этих тех­но­ло­гий на общество.

Оригинал вопро­са и отве­та ChatGPT пере­ве­де­ны с англий­ско­го с помо­щью авто­ма­ти­че­ско­го пере­вод­чи­ка DeepL. Ред. T-invariant. 

Редакция T-invariant  4.04.2023