Зловещий тест трех колец для Machina sapiens

Кай Краузе

Программист-новатор; философ; автор A Realtime Literature Explorer

 

Вот и весна, ведь мир сочно –

 

грязный хлипкий хромой

 

продавец воздушных шаров

 

тихо насвистывает вдали

 

и бегут эддиибилл

 

прочь от пиратов и шариков

 

из стекла. да – весна

 

ведь мир тало-дивный [124] …

 

Когда я думаю об ИИ, у меня пробегает по спине такой классный холодок и замечательные мурашки. Детский восторг от прыжков по сочно-грязным лужам, забавы со стеклянными шариками, игры в пиратов и бег вприпрыжку… Все это никак не объяснить гипотетической разумной машине.

Можно добавить в машину десятки камер и микрофонов, тактильных сенсоров и устройств речевого вывода; вы правда думаете, что она когда-нибудь побежит вприпрыжку, как в стихотворении Эдварда Эстлина Каммингса 1916 года (здесь, к сожалению, приведенном с сокращением)?

По-моему, дело не в упрощенческом «У машин нет души», а в рубеже между манипулированием символами и действительным пониманием их подлинного смысла. Не просто точка зрения или отсутствие подхода к семантике, но подлинный скачок из этой системы.

Проблема заключается в том, что мы до сих пор говорим об ИИ, слишком часто пользуясь терминами и аналогиями первооткрывателей отрасли. Нам нужно оказаться в настоящем моменте и дать вещам определения с новой исходной отметки, которой станет подлинный интерес к проверке достижений «сознания».

Нам нужен тест трех колец[125]. Что такое настоящий ИИ? Что такое «интеллект» вообще? Шкала интеллекта Стэнфорд – Бине, коэффициент интеллекта как отношение умственного возраста к истинному (IQ) Уильяма Штерна – им уже больше ста лет! Это нам уже не подходит, а еще меньше будет подходить для ИИ. Так на самом деле можно проверить только способность выполнять эти тесты и способность действительно умных людей… избегать их выполнения.

Мы слишком легко пользуемся терминами типа «искусственный интеллект»; как там было у Хемингуэя: «Все наши слова притупились из-за небрежного обращения с ними»[126]. Детям об искусственном интеллекте известно из игр: зомби, драконы, солдаты, пришельцы. Если они уклоняются от ваших выстрелов или слаженно вас атакуют, то это называется «ИИ». Если регулируют отопление, освещение, закрывают дверь гаража, нам говорят, что это «умный дом». Конечно, ум подобных механизмов сводится к обычным «экспертным системам»: справочным таблицам, правилам, библиотекам кейсов. Может быть, их следует называть, по выражению художника Тома Беддарда, просто «искусственными хитростями»?

Предположим, вы разговариваете о еде с каннибалами, но каждое их предложение крутится вокруг приправленных трюфелями локтей, тефтелей с коленными чашечками, пенисов в вине, мочек ушей с пикантным соусом. С их точки зрения, вы вне их системы взглядов и не можете понять их мышление, по крайней мере в этой конкретной, узкой области. Настоящее значение и эмоциональное воздействие, которые имеют их слова, когда их произносят для кого-то другого, для вас просто не существуют (или требуют довольно значительной коррекции диеты). Конечно, каннибалы наделят вас статусом «разумного существа», но все равно станут смеяться над каждой вашей репликой, поскольку для них она будет звучать неубедительно и фальшиво – «не по-каннибальски», так сказать.

Зигмунд Фрейд впервые написал о «зловещем» в 1919 году (оговорка по Фрейду – в заключении статьи он проводит связь с женскими гениталиями); затем в 1970 году Масахиро Мори описал понятие «зловещая долина» (применительно к «венской руке» – старинному протезу). Это жуткое чувство того, что нечто не вполне нормально, не на своем месте (фрейдовское Unheimliche). Вроде как видишь страстно целующуюся парочку, но если приглядишься, заметишь между людьми стеклянную панель.

ИИ запросто может казаться чем-то настоящим, но на самом деле до того, как он станет таким настоящим, еще очень далеко. Все равно что поцелуй через стекло: выглядит как поцелуй, но остается лишь бледной тенью настоящего.

Я признаю за сторонниками ИИ все семантическое мастерство Шекспира: символами они жонглируют безупречно – упуская прямую связь с идеями, которые представлены этими символами. Многое из того, что точно скоро появится, можно было бы отнести к олдскульному «сильному ИИ».

Все, что решаемо в рамках итеративного процесса, может быть достигнуто (и будет), причем раньше, чем думают многие. По этому вопросу я, против своей воли, примкну к сторонникам ИИ: эксафлопсы мощности CPU + GPU, виртуальная реальность с разрешением 10K и эффектом погружения, личные базы данных в несколько петабайт появятся через пару десятилетий. Но это все «итеративное». Между ним и уровнем сознательного понимания, которое действительно заслуживает того, чтобы его называли сильным, как у «живого ИИ», огромный разрыв.

Вот большой заковыристый вопрос: является ли сознание эмерджентным поведением? Иначе говоря, приведет ли достаточная сложность аппаратной части сама по себе к неожиданному появлению самосознания? Или есть еще какой-то неизвестный ингредиент? Не так уж это очевидно; у нас все равно никаких данных нет. Лично я думаю, что сознание – вещь куда более сложная, чем считает большинство «экспертов».

Человек – это не просто набор из x аксонов и синапсов, и у нас нет причин рассчитывать на то, что при таком-то числе флопс в секунду в обычной фоннеймановской архитектуре удастся вдруг получить мыслящую машину. Если и есть вероятность, что возникнет настоящее машинное сознание, давайте сразу разберемся, к чему это может привести. Если машина действительно обладает самосознанием, она по определению вырабатывает личность. Она может быть вспыльчивой, кокетливой, может быть величайшим всезнайкой-эрудитом – не исключено, что удивительно чванливым.

Будет ли она испытывать сомнения или зависть? Не изрыгнет ли она сразу Бранденбургский концерт № 7, а потом еще тысячу?

Или она вдруг усвоит юмор и обнаружит дадаизм во всех своих данных в бесконечном цикле? Или отыщет «убийственную шутку» группы «Монти Пайтон»?

Возможно, она пристально всмотрится в мир, придет к неизбежным выводам и сама себя отключит! Интересно: а ведь разумную машину нельзя будет выключать – это же убийство…

Идея о том, что некая большая машина как-то что-то «захватывает», вообще смехотворна. Голливуду должно быть стыдно за такие упрощенческие, антропоцентрические и просто глупые выдумки, противоречащие основам физики, логики и здравому смыслу.

Я опасаюсь, что настоящая угроза куда более прозаична. Уже заметна жуткая истина: системы ИИ работают в индустрии здравоохранения, у фармакологических гигантов, страховых компаний, военных… Опасность исходит не от Machina sapiens. Она будет… вполне человеческой.

В конечном счете, однако, я хочу верить в наш дух. Закончу симметрично, еще одной строкой из Э. Э. Каммингса:

Слушай, здесь по соседству целая вселенная – идем же!

Свобода от нас

Георг Диес

Писатель, журналист, Spiegel Online; бывший редактор отдела культуры газет Süddeutsche Zeitung, Frankfurter Allgemeine Zeitung и Die Zeit

Мыслящая машина, Смятение Тьюринга: это правда все меняет? В конце концов, считать, что именно так все и устроено, что одно событие может разделить время, человека, мышление, – просто человеческая глупость. Самоотрицающая и в то же время самовозвеличивающая сентиментальность, одновременно оптимистическая и пессимистическая, нигилистическая и идеалистическая.

Что это в действительности значит? И кому судить? Что такое «всё»? И что такое «менять»? Что такое «до», и что такое «после»? Нам надо бы сначала договориться о текущем состоянии дел, что само по себе достаточно сложно. Свободны ли мы, например? И свободны от чего? Является ли биология системой, допускающей свободу? В определенной мере да. Является ли демократия системой, допускающей свободу? Да, но лишь теоретически и не всегда, а в последнее время, к сожалению, все реже. Является ли капитализм системой, допускающей свободу? Не для всех, это уж точно.

Так важен ли вопрос о свободе, стоит ли к ней стремиться? Да, если больше всего мы боимся, что мыслящие машины будут над нами доминировать. Но должны ли мы так думать о них? Негативное мышление – то же самое, что критическое? Критическое мышление – подходящий способ для получения подлинно новых идей? Или это онанистическая логика, нацеленная на то, чтобы удовлетворять себя, не принимая во внимание других или внешний мир? К кому мы обращаемся через критику? К людям, которых хотим в чем-то убедить? Это возможно? Или это химера? Странный ход мысли, причуда «просвещенного» сообщества?

Не то чтобы прогресс недостижим. Очень даже наоборот, и мыслящие машины тому свидетельство. Может быть, идея прогресса не так уж неразрывно связана с идеей человечества. Может быть, люди – не вечные носители этой идеи. Может быть, она в какой-то момент отделится от людей и сконструирует собственную реальность. Может быть, в этом и заключается суть мыслящей машины – различие, зеркало, повод поразмышлять. Свобода от нас. Свобода от бремени человечества и его истории.

История человечества в немалой степени состоит из нагромождений одной мифологии на другую и усердных попыток разобрать эти завалы, рассортировать их и упорядочить, как если бы мы строили баррикады только для того, чтобы их разбирать, обеспечивая себя таким образом смыслом и целью жизни. Нелепо, как многое из того, что мы, люди, обычно делаем. Потому думать о машинах – значит думать о людях не совсем как о людях. Что освобождает нас от всех традиций, в которых мы запутались, – от старых представлений о порядке, жизни, счастье.

Семья, дружба, секс, деньги – все может быть другим. Это не единственные ответы на вопрос о свободе человека и о том, как ее создавать и, что еще важнее, как ее ограничивать. Мыслящая машина – это необходимый знак вопроса, стоящий за нашим существованием. Это пропуск – как любая жизнь. Мыслящая машина предлагает нам возможность освободиться от эволюционных, психологических, неврологических домыслов. В совершенно антигуманно гуманистическом смысле, в романтической традиции Э. Т. А. Гофмана, она может стать поэтическим, а следовательно, политическим проектом.

Она может освободить нас от нас.