Сможем ли предотвратить победу искусственного интеллекта над человечеством

Спектр сверхразумных машин, причиняющих нам вред, - не просто научная фантастика, технологи уже задаются вопросом о том, как мы сможем гарантировать, что искусственный интеллект останется «дружелюбным» по отношению к своим создателям?

Все началось три с половиной миллиарда лет назад в луже грязи, когда одна молекула создала свою копию и таким образом стала высшим предком всей земной жизни. Это началось четыре миллиона лет назад, когда объем мозга человекообразных стал стремительно расти. 

Пятьдесят тысяч лет назад, когда человек перерос в Homo sapiens.

Десять тысяч лет назад, когда зародилась цивилизация.

Пятьсот лет назад, когда был изобретен печатный станок.

Менее чем через тридцать лет это закончится.

Яаан Таллинн наткнулся на эти слова в 2007 году в опубликованном онлайн очерке «Всматриваясь в необычайное». Под словом «это» подразумевалась человеческая цивилизация. «Человечество прекратит свое существование», предсказывал автор очерка, с появлением сверхинтеллекта или ИИ (искусственного интеллекта), который превзойдет человеческий разум в широком спектре областей знаний.

Я.Таллинн, родившийся в Эстонии программист, специализируется в области физики и имеет склонность относиться к жизни как к одной большой проблеме программирования. В 2003 году он стал соучредителем программы Skype, разработав модуль для приложения. Он обналичил свою долю после того, как eBay приобрел этот модуль спустя два года, после чего раздумывал, чем ему заняться. После того, как он прочитал очерк «Всматриваясь в необычайное», в нем смешались компьютерный код, квантовая физика и цитаты Кельвина и Хоббса. Он был словно на крючке.

Вскоре Я.Таллинн обнаружил, что автор данного очерка теоретик-самоучка Илизар Юдковский написал более тысячи очерков и блог-постов, причем многие из них были посвящены сверхинтеллекту. Я.Таллинн создал программу для того, чтобы «выскоблить» все статьи И.Юдковского из интернета, расположить их в хронологическом порядке и форматировать для своего iPhone. Затем он почти целый год внимательно читал их.

Термин «искусственный интеллект» или моделирование разума в компьютерах и машинах был придуман в далеком 1956 году, спустя всего лишь десятилетие после создания первых электронных цифровых компьютеров. Первоначально на эту область исследования возлагались большие надежды, но к 1970-м годам, когда ранние прогнозы не оправдались, для искусственного интеллекта наступила пора «зимней спячки».

Когда Я.Таллинн нашел сочинения И.Юдковского, искусственный интеллект переживал эпоху возрождения. Ученые разрабатывали приборы искусственного интеллекта, которые преуспевали в таких специфических сферах, как безупречная игра в шахматы, чистка кухонного пола или распознавание человеческой речи. Такие «узко специализированные» приборы искусственного интеллекта имеют сверхчеловеческие способности, но только в своих специфических сферах влияния. Играющий в шахматы искусственный интеллект не может почистить пол или переправить вас из пункта А в пункт В. Я.Таллинн пришел к выводу о том, что сверхразумный искусственный интеллект будет сочетать в себе широкий ряд навыков в одном лице. Еще неприятнее тот факт, что он сможет также использовать данные, генерируемые зависящими от смартфонов людьми для того, чтобы достичь успеха в социальной манипуляции.

Читая статьи И.Юдковского, Я.Таллинн пришел к убеждению о том, что развитие сверхразума может привести к взрыву или побегу искусственного интеллекта, который, выйдя из-под человеческого контроля, может угрожать существованию человека - поскольку эти ультраразумные искусственные интеллекты займут наше место на эволюционной лестнице развития и будут доминировать над нами так, как мы сейчас доминируем над обезьянами. Или того хуже, просто истребят нас.

Завершив чтение последней из статей И.Юдковского, Я.Таллинн отправил ему электронное письмо, написав его в присущем ему стиле - только прописными буквами: «я - яаан, один из инженеров-основателей скайпа». В конечном счете он дошел до сути: «я согласен с мыслью о том, что… подготовка к появлению всеобщего искусственного интеллекта, превосходящего человеческий разум, является одной из высших задач, стоящих перед человечеством». Он очень хотел помочь.

Когда неделю спустя Я.Таллинн полетел в Bay Area в связи с другими запланированными встречами, то он встретился также и с жившим поблизости И.Юдковским в небольшом кафе в городке Millbrae, штат Калифорния.

Их встреча затянулась на четыре часа. «Он в самом деле реально осознает основные понятия и детали, - сказал мне И.Юдковский недавно. - Это большая редкость». Позже Я.Таллинн выписал чек на сумму в 5000 долларов, предназначавшийся для Института по изучению особенностей искусственного интеллекта - некоммерческой организации, где И.Юдковский работал простым исследователем. (В 2013 году эта организация поменяла свое название на Исследовательский институт по изучению искусственного интеллекта, сокращенно Miri). С тех пор Я.Таллинн перевел на счет института более 600 000 долларов.

Встреча с И.Юдковским привнесла в жизнь Я.Таллинна цель, разъяснив ему его миссию: спасти нас от созданных нами же изобретений. Он вступил на путь новой жизни, полной путешествий, ведя по всему миру переговоры об угрозе, которую несет нам сверхразум. Он начал финансирование исследований методов, которые помогут человечеству найти выход: производство так называемых дружелюбных представителей искусственного интеллекта. Это вовсе не означает, что какая-то машина или агент будет обучена особым навыкам вести беседу о погоде или будет помнить имена ваших детей, хотя сверхразумные искусственные интеллекты могут делать и то, и другое. Это также не означает, что подобный дружелюбно настроенный искусственный интеллект будет мотивирован альтруизмом или любовью к людям. Общепринятым заблуждением является предположение о том, что искусственный интеллект имеет человеческие мотивы и ценности. «Дружелюбно настроенные» означает нечто более фундаментальное: машины завтрашнего дня не уничтожат нас в погоне за достижением своих целей.

Весной прошлого года я присоединился к Я.Таллинну за обедом в университетской столовой Колледжа Иисуса при Кембриджском университете. Помещение, украшенное витражными окнами, золотыми карнизами с лепкой и масляными картинами с изображением мужчин в париках, напоминало по своему убранству церковь.

Я.Таллинн сидел за тяжелым столом из красного дерева, одетый в повседневный наряд Силиконовой долины: черные джинсы, футболку и холщовые кроссовки-сникерсы. Сводчатый деревянный потолок высился над копной его пепельно-русых волос.  

В свои 47 лет Я.Таллинн в некотором роде является вашим техническим учебником. Он считает, что благодаря достижениям в области науки (при условии обеспечения защиты человечества от уничтожения со стороны искусственного интеллекта) он будет жить «много-много лет». Во время тусовок в клубах с другими исследователями он держится дольше, чем молодые аспиранты. Его понимание проблемы безопасности сверхразума является общепринятым среди его когорты. Фонд соучредителя программы PayPal Питера Тиля выделил Miri (Исследовательскому институту по изучению искусственного интеллекта) 1,6 млн долларов, а в 2015 году основатель Tesla Илон Маск пожертвовал 10 млн долларов Институту жизни будущего - организации по обеспечению технической безопасности в Кембридже, штат Массачусетс.

Однако вступление Я.Таллинна в этот изысканный мир произошло за железным занавесом, состоялось в 1980-х годах, когда отец его одноклассника, находившийся на государственной службе, предоставил нескольким выделяющимся детям доступ к использованию ЭВМ. После обретения Эстонией независимости он основал компанию видеоигр. Сегодня Я.Таллинн все еще живет в столице Эстонии, которая тоже называется Таллинн, вместе со своей женой и самым младшим из шести своих детей. Когда он хочет встретиться с исследователями, он часто просто приглашает их в Балтийский регион.

Его стратегия «раздавать» - методична, так же, как и почти все остальное, что он делает. Он распределяет свои денежные средства между 11 организациями, каждая из которых занята разработкой различных подходов к обеспечению безопасности искусственного интеллекта в надежде, что один из них сработает. В 2012 году он стал соучредителем Кембриджского центра исследований экзистенциального риска (CCER) с первоначальным капиталовложением примерно 200 тыс. долларов.

Экзистенциальные риски или Х-риски, как называет их Я.Таллинн, являются угрозой для выживания человечества. Помимо искусственного интеллекта 20 с лишним исследователей CCER изучают изменения климата, ядерную войну и биооружие. Но, по мнению Я.Таллинна, эти дополнительные дисциплины «на самом деле лишь как легкие наркотики». Обеспокоенность в связи с такими более значимыми угрозами человечеству, как изменение климата, могла бы привлечь внимание людей. Я.Таллинн надеется, что ужас перед завоеванием всего мира сверхразумными машинами убедит их остаться. Он посетил конференцию в Кембридже, поскольку искренне хочет, чтобы академическое сообщество серьезнее относилось к проблеме угрозы искусственного интеллекта.

В Колледже Иисуса нашими компаньонами по обеду стали случайно оказавшиеся здесь участники конференции, включая женщину из Гонконга, занимающуюся робототехникой, и британца, окончившего Кембриджский университет в 1960-х годах. Тот, что был постарше, стал спрашивать у каждого, кто сидел за столом, какой университет они окончили. (Ответ Я.Таллинна о том, что он выпускник эстонского Университета Тарту, совсем не впечатлил его). Затем он попытался направить беседу в русло новостей. Я.Таллинн безучастно посмотрел на него.

«Я не интересуюсь краткосрочными рисками», - сказал он.

Я.Таллинн поменял тему беседы, заговорив об угрозе сверхразума.

Во время разговоров с непрограммистами он обычно прибегал к метафорам, а в этот раз он прибегнул к набору его излюбленных сравнений: высоко развитый искусственный интеллект может расправиться с нами так же быстро, как люди рубят деревья. Сверхразум для нас - как мы для горилл.

«Для захвата власти искусственному интеллекту нужно тело, - сказал пожилой мужчина. - Как можно осуществлять физический контроль, не имея какой-либо оболочки?».

У Я.Таллинна была наготове другая метафора:

«Поместите меня в подвал, оснащенный интернет-соединением, и я смогу нанести немало вреда», - сказал он и потянулся за ризотто.

Любой искусственный интеллект, будь то Roomba или один из его потенциальных потомков, господствующих над миром, руководствуется целями и результатами. Программисты ставят перед ним эти цели и снабжают искусственный интеллект сводом инструкций по достижению поставленных целей. Перед развитым искусственным интеллектом вовсе нет необходимости ставить цель о мировом превосходстве, чтобы он достиг этого, - но это может произойти совершенно случайно. И история компьютерного программирования изобилует маленькими ошибками, которые вылились впоследствии в огромные катастрофы. Например, в 2010 году имел место случай, когда трейдер с паевым инвестиционным фондом компании Waddell & Reed реализовал тысячи фьючерсных контрактов, но потом программное обеспечение компании пропустило ключевую переменную алгоритма, благодаря которому осуществлялась торговля. В результате произошел трехмиллионный долларовый «обвал».

Исследователи, финансируемые Я.Таллинном, полагают, что, если структура вознаграждения сверхчеловеческого искусственного интеллекта запрограммирована неправильно, даже добрые цели могут закончиться злом. Одним из хорошо известных тому примеров является описанный в книге философа Оксфордского университета Ника Бострома «Сверхразум» вымышленный агент, которого направили производить как можно большее количество скрепок. А искусственный интеллект решил, что атомы человеческого тела также лучше будет применить в качестве сырья для производства скрепок.

Таллиннские взгляды имеют немало противников, причем даже в среде людей, обеспокоенных безопасностью искусственного интеллекта. Некоторые из них возражают, что еще слишком рано ограничивать сверхразумный искусственный интеллект, пока мы еще до конца не понимаем его. Другие считают, что фокусирование на мошеннических технологических субъектах отвлекает внимание от более неотложных проблем в этой области подобно факту о том, что большинство алгоритмов разрабатывается белыми людьми или основывается на данных, отражающих их точку зрения.

«Мы подвергаемся опасности строительства мира, в котором мы не хотим жить, если мы не займемся решением проблем в кратчайшие сроки», - отметила Тера Лионс, исполнительный директор Партнерства по вопросам искусственного интеллекта - консорциума промышленных технологий, сосредоточенного на обеспечении безопасности искусственного интеллекта и прочих смежных вопросах. (Несколько институтов, за которыми стоит Я.Таллинн, являются членами этого консорциума). Она также добавила, что «некоторые из первоочередных проблем, с которыми сталкиваются исследователи, такие как ликвидация и искоренение алгоритмических погрешностей, являются предвестниками тех глобальных проблем, которые могут возникнуть у человечества в связи со сверхразумным искусственным интеллектом».

Я.Таллинна это не очень убедило. Он возражает в ответ, отмечая, что сверхразумный искусственный интеллект несет в себе уникальные угрозы. В конечном итоге он предполагает, что некое общество искусственных интеллектов могло следить за антиядерным движением в 1940-х годах. После взрывов в Хиросиме и Нагасаки ученые объединили свои усилия, чтобы попытаться ограничить дальнейшие ядерные испытания. Ученые Манхэттенского проекта могли отметить:

«Вот, смотрите, мы создаем здесь инновации, и эти инновации реально хороши, так давайте проявим решительность и просто рискнем».

Но они были гораздо более ответственными за свои действия.

Я.Таллинн предупреждает о том, что в вопросах безопасности искусственного интеллекта трудно найти правильный подход. Если искусственный интеллект достаточно сообразителен, он может хорошо разбираться в ограничениях, поставленных его создателями. «Представьте себе, - говорит он, - пробуждение в тюрьме, построенной кучкой слепых пятилетних малышей». Вот как могут выглядеть созданные людьми рамки ограничений для сверхразумного искусственного интеллекта.

Теоретик И.Юдковский нашел доказательство тому, что это может быть истиной, когда начиная с 2002 года он проводил чат-сессии, в которых играл роль искусственного интеллекта, заключенного в коробку, в то время как постоянно заменяющие друг друга прочие люди играли роль сторожа, перед которым стояла задача не выпускать никуда искусственный интеллект. В трех из пяти случаев И.Юдковский - далеко не сверхазумный, а простой смертный - отмечал, что ему удалось уговорить сторожа освободить его. Однако его эксперименты не убедили окружающих, не остановили исследователей в их попытке разработать более удачную коробку для искусственного интеллекта.  

Финансируемые Я.Таллинном исследователи следуют широкому многообразию стратегий, начиная с вполне практичных, заканчивая на первый взгляд «притянутыми за уши». Некоторые из них рассуждают об упаковке искусственного интеллекта как физически, посредством строительства реальной структуры, в которую он будет заключен, так и посредством программирования ограничений выполняемых им операций. Другие исследователи пытаются обучить искусственный интеллект придерживаться человеческих ценностей. Лишь немногие работают над созданием выключателя, срабатывающего в чрезвычайных ситуациях (так сказать, в последний момент). Во все эти стратегии углубляется Стюарт Армстронг, математик и философ Института по изучению будущего человечества при Оксфордском университете. Я.Таллинн называет этот институт «самым интересным местом Вселенной». (Я.Таллинн предоставил Институту по изучению будущего человечества более 310 000 долларов).

С.Армстронг - один из немногих исследователей в мире, который полностью сосредоточен исключительно на исследовании безопасности искусственного интеллекта. Когда я встретился с ним в Оксфорде за чашечкой кофе, он был одет в расстегнутую футболку для регби и имел вид человека, проводящего большую часть своей жизни за монитором компьютера, при этом его бледное лицо было обрамлено растрепанными волосами песочного цвета. В ходе своих объяснений он совершенно сбивал с толку смесью ссылок на широко популярные суждения и математику. Когда я спросил его о том, как, по его мнению, будет выглядеть достижение успеха в вопросе сохранности от искусственного интеллекта, он ответил: «Вы видели фильм о Лего? Все круто».

Одна из цепочек исследования С.Армстонга строится на специфическом подходе к заключению искусственного интеллекта в некую камеру под названием «оракул». В статье от 2012 года, опубликованной совместно с соучредителем Института по изучению будущего человечества Ником Бостромом, С.Армстронг предложил оградить сверхразум, поместив его в камеру - физическую структуру, и при этом ограничить его лишь правом отвечать на вопросы, подобно очень сообразительной спиритической доске. Даже будучи заключенным в такие рамки ограничений, искусственный интеллект располагал бы огромной властью изменить судьбу человечества, искусно манипулируя теми, кто будет задавать ему вопросы. Чтобы снизить риск возникновения такой возможности, С.Армстронг предложил ввести временные ограничения на беседы «оракула» с людьми или запретить вопросы, которые могут перевернуть текущий порядок жизни. Он также предложил снабдить оракула косвенными показателями человеческого выживания, такими как средний промышленный индекс Доу-Джонса или количество людей, переходящих дорогу в Токио, попросив ИИ сохранять эти данные устойчивыми.

В конечном счете С.Армстронг полагает, что необходимо создание «большой красной кнопки выключения», как он выразился в одной из своих статей, будь то реально существующий выключатель или механизм, встроенный в искусственный интеллект для того, чтобы он автоматически отключил бы себя в случае побега. Но разработка такого выключателя - нелегкая задача. И не только потому, что развитый искусственный интеллект, заинтересованный в самосохранении, может воспрепятствовать нажатию кнопки. Он также может проявить любопытство и заинтересоваться причиной создания подобной кнопки людьми, при этом он может активировать кнопку, чтобы посмотреть, что же произойдет, и таким образом приведет себя в негодность. В 2013 году программист по имени Том Мерфи VII разработал искусственный интеллект, который мог сам себя обучать играм Nintendo Entertainment System. Запрограммированный не проигрывать в игре в тетрис, этот искусственный интеллект просто нажимал на паузу и таким образом замораживал игру.

«На самом деле, единственным ходом, приводящим к бесспорной победе, является отказ от игры», - иронически заметил Т.Мерфи в своей статье о создании этого искусственного интеллекта.

Чтобы предложенная стратегия имела успех, искусственный интеллект должен быть не заинтересован в кнопке или, как заметил Я.Таллинн, «он должен присваивать одинаковую ценность миру, где кнопка существует, и миру, где ее нет». Но даже если исследователям удастся этого добиться, возникнут другие проблемы. А что, если искусственный интеллект скопировал себя несколько тысяч раз через интернет?

Больше всего исследователей вдохновляет подход, который заключается в том, чтобы найти способ заставить искусственный интеллект придерживаться человеческих ценностей, причем не программируя их, а обучая ИИ изучать их. В мире, где господствует партизанская политика, люди часто зацикливаются на различиях наших принципов. Но Я.Таллинн сказал мне, что у людей много общего:

«Почти каждый из нас ценит свою правую ногу. Мы просто не задумываемся над этим».

Есть надежда на то, что искусственный интеллект можно научить распознавать такие негласные правила.

В этом процессе искусственному интеллекту потребуется изучить и оценить далеко не самую логическую сторону людей: что мы часто говорим одно, а имеем в виду другое, что некоторые из наших предпочтений противоречат другим, что люди менее надежны, когда пьяны. Я.Таллинн считает, что, несмотря на все трудности, стоит попробовать, поскольку ставки очень высоки.

«Мы должны продумывать свои действия на несколько шагов вперед, - сказал он. - Создание ИИ, не разделяющего наших интересов, было бы ужасной ошибкой».

В последнюю ночь пребывания Я.Таллинна в Кембридже я присоединился к нему и еще двум исследователям за ужином в стейк-хаусе. Официант посадил нас в побеленном подвале с атмосферой, подобно пещерной. Он вручил нам меню, состоящее из одного листа, в котором предлагалось три различных вида пюре. За соседний столик села супружеская пара, но уже спустя несколько минут они попросили пересадить их в другое место. «Это слишком клаустрофобичное место», - пожаловалась женщина.

Я подумал о комментарии Я.Таллинна о вреде, который он может нанести, если его запрут в подвале, где нет ничего, кроме интернета. Вот и мы сейчас оказались в коробке. Как по команде, мужчины стали обдумывать способы выхода.

Среди гостей Я.Таллинна были Seán Ó hÉigeartaigh, бывший специалист по геномике, являющийся сейчас исполнительным директором Центра по изучению экзистенциальных рисков (CSER), и Маттис Маас, исследователь искусственного интеллекта в Копенгагенском университете. Они шутили насчет идеи о создании «игры для ботаников» под названием «Сверхразум против Blockchain!» и обсуждали онлайн-игру Universal Paperclips, в которой описывается сценарий из книги Бострома. Эта игра включает в себя упражнение, представляющее собой многократное нажатие мыши для производства скрепок. Хотя эта игра не очень яркая и общеизвестная, она все же дает представление о том, почему машина может искать более целесообразные способы производства офисных принадлежностей.

В конце концов разговор перешел к обсуждению глобальных вопросов, как это часто бывает, когда присутствует Я.Таллинн. Конечная цель исследований в области безопасности ИИ заключается в создании машин, которые, как однажды сказал кембриджский философ и соучредитель CSER Хью Прайс, «будут являться сверхчеловеками как в этическом, так и в когнитивном аспекте». Другие задались вопросом: если мы не хотим, чтобы ИИ доминировал над нами, хотим ли мы доминировать над ИИ? Другими словами, есть ли у искусственного интеллекта права? Я.Таллинн считает, что все это - ненужная антропоморфизация. Предположение о том, что интеллект равен сознанию, является заблуждением, которое раздражает многих исследователей ИИ. Немногим ранее в тот же день исследователь CSER Хосе Эрнандес-Оралло пошутил, что при общении с исследователями ИИ сознание - это «слово C». («А свободное волеизъявление» - это «слово F», - добавил он).

Сидя в подвале, Я.Таллинн говорил о том, что сознание не относится к делу.

«Возьмите, к примеру, термостат. Никто не скажет, что он сознателен. Но ведь в самом деле неудобно противостоять этому фактору, если вы находитесь в комнате, температура которой настроена на минус 30 градусов», - заявил он.

Здесь в беседу вмешался Seán Ó hÉigeartaigh.

«Было бы неплохо беспокоиться о сознании, - сказал он, - но мы не будем располагать такой роскошью, если не решим сначала технические проблемы безопасности».

«Люди чрезмерно озабочены вопросом, что же такое сверхразумный искусственный интеллект, - сказал Я.Таллинн. - Какую форму он примет? Должны ли мы беспокоиться о захвате одного искусственного интеллекта или целой армии ИИ? С нашей точки зрения, гораздо важнее сама деятельность искусственного интеллекта», - подчеркнул он.

И она, по его мнению, все еще может зависеть от людей - пока может.

Данный материал был опубликован в Guardian.