Мыслящие машины появятся не скоро

Гэри Маркус

Профессор психологии Нью-Йоркского университета; автор книги «Guitar Zero: Новый музыкант и наука учиться» (Guitar Zero: The New Musician and the Science of Learning)

Что я думаю о мыслящих машинах? Что они появятся не скоро. Я не вижу для этого каких-то принципиальных препятствий; в углероде нет никакой магии, и кремний ничем не хуже. Но в последнее время шумиха вокруг искусственного интеллекта совсем уж не соответствует реальному положению вещей. От умения опознавать изображенную во всех деталях кошку после изучения 10 миллионов видеокадров из интернета очень далеко до понимания того, что такое кошка. Всякий, кто думает, что мы подобрали ключ к искусственному интеллекту, просто не знает ограничений современной технологии.

Несомненно, наблюдается экспоненциальный рост в узкотехнических областях применения искусственного интеллекта, таких как игра в шахматы, расчет маршрутов или грубый перевод текстов, но прогресс в области создания сильного искусственного интеллекта за последние пять десятилетий едва дотягивает до линейного роста. Например, разные «умные» личные помощники, которых можно установить на смартфон, очень недалеко ушли от «Элизы» – одной из первых примитивных программ для обработки естественного языка, появившейся в середине 1960-х годов. У нас до сих пор нет машины, которая могла бы, например, прочесть все, что есть в Сети про войну, и грамотно спланировать военную кампанию, как нет и открытой системы ИИ, способной сообразить, как написать итоговое сочинение по литературе на первом курсе института или сдать экзамен по естествознанию в восьмом классе средней школы.

Почему достигнуто так мало, несмотря на впечатляющий рост объемов памяти и процессорной мощности? Когда Марвин Минский и Джеральд Сассман в 1966 году пытались создать зрительный анализатор, могли ли они предвидеть гигабайты, которые помещаются в кармане? Почему достижения такого рода не привели нас прямой дорогой к машинам, обладающим гибкостью человеческого разума? Рассмотрим три варианта.

1. Мы подберем ключ к ИИ (и это в итоге приведет к созданию мыслящих машин), как только компьютеры станут больше и быстрее.

2. Мы подберем ключ к ИИ, когда наши алгоритмы обучения станут лучше или когда у нас будут еще бо́льшие данные.

3. Мы подберем ключ к ИИ, когда наконец поймем, что же такого сделала эволюция при построении человеческого мозга.

Рэй Курцвейл и многие другие, похоже, делают ставку на первый вариант – достаточную процессорную мощность. Но сколько удвоений процессорной мощности потребуется? Все удвоения, произошедшие до сегодняшнего дня, приблизили нас к подлинному интеллекту? Или только к узкоспециализированным приложениям, которые умеют показывать расписание сеансов в кино?

Во втором варианте большие данные и усовершенствованные алгоритмы обучения пока что обеспечили нам только такие инновации, как машинный перевод, который работает быстро, но посредственно, компонуя ранее переведенные людьми фрагменты без какого-либо подобия мышления. Такие программы не могут, например, ответить даже на самые простые вопросы по тексту, который только что перевели. Их скорее надо воспринимать как ученых идиотов, чем выдающихся мыслителей.

Я бы поставил на третий вариант. Эволюция, похоже, снабдила нас мощным набором априорных форм (или того, что Ноам Хомский или Стивен Пинкер могли бы назвать врожденными ограничениями), которые позволяют нам постигать мир, основываясь на ограниченных данных. Бо́льшие усилия и бо́льшие данные в действительности не приближают нас к пониманию этих априорных форм, так что, хотя мы все лучше и лучше справляемся с узкотехническими задачами типа движения по хорошо картографированной дороге, мы все так же далеки от создания машин, обладающих здравым смыслом и способных понимать естественный язык. Или, если сформулировать так, чтобы это было ближе к поставленному Edge вопросу, мы все так же далеки от создания машин, которые действительно могут мыслить.

Можно ли избежать цифрового апокалипсиса?

Сэм Харрис

Нейробиолог; соучредитель и руководитель Проекта «Разум»[97]; автор книги «Пробуждение» (Waking Up)

То, что мы когда-нибудь построим машины, которые будут обладать сверхчеловеческим интеллектом, выглядит все более вероятным. Нам нужно только продолжать производить более мощные компьютеры, что мы, несомненно, будем делать, если только сами себя не уничтожим или не погибнем как-то иначе. Мы уже знаем, что обычная материя может выработать универсальный интеллект – способность узнавать новые понятия и использовать их в незнакомом контексте, потому что 1200 см³ соленой кашицы внутри нашей головы смогли это сделать. Нет причин полагать, что достаточно сложный цифровой компьютер не сумеет того же самого.

Часто говорят, что цель на ближайшую перспективу – построить машину с человеческим уровнем интеллекта. Но, если мы не будем намеренно моделировать человеческий мозг – со всеми его ограничениями, – цель получается ложной. Компьютер, на котором я пишу эти слова, уже обладает сверхчеловеческими возможностями в плане памяти и вычислений. У него также есть потенциальный доступ к большей части информации нашего мира. Если мы не примем каких-то чрезвычайных мер, чтобы его стреножить, любой будущий универсальный искусственный интеллект (УИИ) превзойдет человека в выполнении любой задачи, для которой последний изначально считается источником интеллекта. Обязательно ли у такой машины будет сознание – это открытый вопрос. Но, сознательный или нет, УИИ вполне способен выработать для себя цели, несовместимые с нашими. Насколько неожиданным и губительным может оказаться то, что наши пути разойдутся, сейчас является предметом живейшего обсуждения.

Один способ рассмотреть вероятный риск – представить, что бы произошло, если б мы достигли цели и построили УИИ со сверхчеловеческими возможностями, который вел бы себя именно так, так мы предполагаем. Такая машина быстро избавила бы нас от необходимости выполнять физическую работу и даже большую часть утомительной интеллектуальной работы. Что за этим последовало бы при нашем нынешнем политическом строе? Не существует экономического закона, гарантирующего, что люди найдут работу при наличии всевозможных технологических достижений. Как только мы построим идеальное трудосберегающее устройство, стоимость производства новых его копий приблизится к стоимости сырья. При отсутствии желания немедленно поставить этот капитал на службу человечеству некоторые из нас невообразимо разбогатеют, а всем остальным останется беспрепятственно умереть от голода. Даже в присутствии совершенно безобидного УИИ мы можем обнаружить, что скатываемся в первобытное состояние под присмотром дронов.

А что сделали бы русские или китайцы, если б узнали, что некая компания в Кремниевой долине почти создала сверхразумный УИИ? Эта машина по определению сможет вести военные действия – наземные и кибернетические – беспрецедентных масштабов. Как поведут себя наши противники, обнаружив, что мы на грани беспрецедентного перераспределения сил? Обычные слухи по поводу УИИ легко введут наш вид в состояние берсерка.

Хаос может быть вполне вероятным результатом даже при самом оптимистичном сценарии, при котором УИИ останется совершенно послушным человеку, – признание этого обстоятельства действует отрезвляюще. Но мы, конечно, не имеем права исходить только из наиболее оптимистичного сценария. В действительности проблема контроля, решив которую мы гарантировали бы послушание УИИ, выглядит довольно сложной.

Представьте, например, что вы построили компьютер, который не умнее обычной группы исследователей из Стэнфорда или Массачусетского технологического института, но поскольку он функционирует в цифровых масштабах времени, то работает в миллион раз быстрее, чем разумы, которые его создали. Дадим ему недельку погудеть, и он проделает работу, эквивалентную 20 000 лет интеллектуальной деятельности человека. Каковы шансы, что такая сущность будет подчиняться нашим указаниям? И как можем мы уверенно прогнозировать мысли и действия автономного агента, который глубже нас видит прошлое, настоящее и будущее?

Тот факт, что мы спешно движемся к некоему цифровому апокалипсису, ставит перед нами ряд интеллектуальных и этических проблем. Например, чтобы иметь хоть какую-то надежду на то, что у сверхразумного УИИ будут ценности, согласующиеся с нашими, нам нужно внушить ему эти ценности (или иным образом сделать так, чтобы он смоделировал их). Но «наши» – это чьи именно? У каждого ли должно быть право голоса при создании функции полезности нового колосса? Изобретение УИИ, как минимум, заставит нас пересмотреть ряд очень древних (и занудных) постулатов философии морали.

Однако настоящий УИИ, вероятно, воспримет и какие-то новые ценности или, по крайней мере, выработает новые – и, возможно, опасные – краткосрочные цели. Какие шаги предпримет сверхразум, чтобы обеспечить себе выживание или доступ к вычислительным ресурсам? Будет ли поведение такой машины совместимым с благополучием человека – это может оказаться самым важным вопросом, который когда-либо вставал перед нашим видом.

Однако проблема заключается в том, что лишь немногие из нас в состоянии как следует обдумать этот вопрос. На самом деле момент истины может наступить при обстоятельствах совершенно неформальных и зловещих: представьте себе, как десять молодых мужчин в одной комнате – у некоторых из них синдром Аспергера, но они об этом не знают – пьют Red Bull и думают, не пора ли щелкнуть выключателем. Должна ли одна компания или исследовательская группа решать судьбу человечества? Вопрос практически содержит ответ.

И все же похоже, что несколько умников когда-нибудь решатся пойти на такой риск. Искушение будет понятным. Мы сталкиваемся с проблемами – болезнью Альцгеймера, изменением климата, экономической нестабильностью, для которых сверхчеловеческий интеллект мог бы предложить решения. В действительности единственная вещь, настолько же страшная, как создание УИИ, – перспектива не создать его. Тем не менее на тех, кто ближе других стоит к этой задаче, лежит величайшая ответственность – предупредить связанные с ней опасности. Да, другие области тоже представляют чрезвычайную угрозу, но разница между УИИ и чем-то типа синтетической биологии состоит в том, что для последней наиболее опасные инновации (такие как мутация гамет) не являются наиболее привлекательными с коммерческой или этической точки зрения. В случае с УИИ именно наиболее мощные методы (такие как рекуррентное самосовершенствование) связаны с наибольшими рисками.

Похоже, что мы строим бога. Самое время задуматься, будет ли он (если это возможно) добрым.