Мысли о людях, которые мыслят как машины

Хаим Харари

Физик; экс-президент Института Вейцмана; автор книги «Вид из ока бури» (A View from the Eye of the Storm)

Когда мы говорим «машины, которые мыслят», то обычно подразумеваем «машины, которые мыслят как люди». Очевидно, что машины мыслят различными способами: инициируют события, обрабатывают данные, принимают решения, делают выбор и реализуют многие другие (но не все) аспекты человеческого мышления. Но настоящий вопрос заключается в том, могут ли машины мыслить как люди. Все тот же старинный тест для искусственного интеллекта: вы наблюдаете результат мышления и не знаете, принадлежит оно компьютеру или человеку.

Некоторые научные светила приходят в ужас от идеи о том, что миром могут управлять мыслящие машины. Я не уверен, что эти страхи обоснованы. Меня больше беспокоит то, что миром могут управлять люди, которые мыслят как машины, – это главная новая тенденция нашего цифрового общества.

Можно научить машину следовать алгоритму и выполнять в нужном порядке определенные операции, которые логически связаны друг с другом. Она будет делать это быстрее и точнее любого человека. При наличии хорошо сформулированных постулатов или аксиом чистая логика – козырь мыслящей машины. Но умение задавать вопросы и принимать решения, опираясь на здравый смысл, пока остается прерогативой людей. Сочетание интуиции, эмоций, эмпатии, опыта и культурного фона и способность использовать это все, чтобы ставить актуальные вопросы и делать выводы, объединяя внешне не связанные факты и принципы, – вот отличительные качества человеческого мышления, которых пока нет у машин.

Человеческое общество быстрыми темпами идет к правилам, инструкциям, законам, инвестиционным механизмам, политическим догмам и моделям поведения, которые слепо следуют строгой логике, даже если она основана на ошибочных посылках или очевидно противоречит здравому смыслу. Религиозный экстремизм всегда эволюционировал на основе неких абсурдных аксиом, из которых логически вытекали бесконечно трагичные следствия. Отдельные дисциплины, такие как юриспруденция, бухгалтерское дело и некоторые области математики и техники, под влиянием бюрократических структур и СМИ, благоговеющих перед жестким управлением, часто ведут к появлению непрозрачных принципов типа «полной прозрачности» и терпимому отношению к радикальным проявлениям нетерпимости. Этот тренд и ему подобные склоняют нас к решению задач более алгоритмическими и логическими методами, часто за счет здравого смысла. Если здравый смысл, как бы мы его ни определяли, описывает преимущества людей перед машинами, сегодня мы наблюдаем не что иное, как явное отдаление от этого инкрементного человеческого качества.

К сожалению, разрыв между человеческим и машинным мышлением можно сузить двумя способами, и, когда люди начинают мыслить как машины, мы автоматически достигаем цели «машины мыслят как люди», подходя к ней не с той стороны. Очень умный человек, который приходит к определенным выводам на основании одной строки информации, на долю секунды оторвавшись от десятков электронных писем, СМС и твитов (не говоря об остальных цифровых помехах), стоит не выше обладающей средним интеллектом машины, которая анализирует большие объемы релевантной информации, а потом делает преждевременные заключения или подписывает общественную петицию, не разбираясь в предмете.

Этому можно привести сотни примеров. Все мы поддерживаем закон о том, что всякое новое здание должно обеспечивать полный доступ людям с ограниченными возможностями, а старые не обязательно оборудовать соответствующими приспособлениями, по крайней мере до капитального ремонта. Но есть ли смысл запрещать ремонт старого санузла с установкой таких приспособлений, из-за того что лифт в доме заменить нельзя? Или добиваться обнародования секретных источников ЦРУ либо ФБР, чтобы у суда была возможность вынести обвинительное заключение по делу террориста, который убил сотни людей? Или требовать письменного согласия родителей на то, чтобы дать подростку, находящемуся в учебном заведении, аспирин? А вот еще пример: когда школьные учебники переводили на метрическую систему, именно человек во фразу «С вершины горы окрестности видны примерно на 100 миль вокруг» внес поправку: «Видны примерно на 160,934 км».

Среди стандартных «священных коров» либеральной демократии небезосновательно оказываются разнообразные свободы: свобода слова, свобода прессы, академические свободы, свобода вероисповедания (или его отсутствия), свобода информации и множество других прав человека, включая принципы равных возможностей, равенства перед законом и недопустимости дискриминации. Мы все поддерживаем эти принципы, но чистая и бескомпромиссная логика приводит нас к тому, что мы, вопреки здравому смыслу, преимущественно настаиваем на соблюдении человеческих прав преступников и террористов, поскольку права жертв – это «не проблема». Прозрачность и свобода прессы логически приводят к необходимости обнародования полных отчетов о внутренних заседаниях, где обсуждаются деликатные вопросы, что вообще-то создает препятствия свободному обсуждению и непредвзятому осмыслению проблем в определенных общественных учреждениях. Академические свободы с помощью той же логики можно использовать вопреки здравому смыслу и фактическим данным, например преподнося историю о Ноевом ковчеге как альтернативу эволюционной теории, отрицая холокост при преподавании истории, заявляя, что Вселенной 6000 лет (а не 14 миллиардов). Этот перечень можно продолжать и дальше, но идея ясна.

Алгоритмическое мышление, краткость сообщений и чрезмерная опора на чистую логику приводят к тому, что мы начинаем мыслить как машины, а не к тому, что мы постепенно и осмысленно учим машины пользоваться здравым смыслом и интеллектуальными способностями. Инверсия этой тенденции может стать поворотным моментом в цифровой эволюции человека.

Метамышление

Ханс Халворсон

Профессор философии Принстонского университета

При любом разумном определении мышления я полагаю, что компьютеры действительно мыслят. Но если так, тогда мышление – это не исключительная компетенция человеческих существ. Есть ли в людях что-то еще, что делает их исключительными?

Кто-то скажет: людей исключительными делает то обстоятельство, что в них есть часть некой божественной сущности. Может, и так, но это не очень содержательная мысль. Если мы встретим разумного пришельца, то как нам определить, что у него тоже есть это je ne sais quoi[99], делающее его личностью? Можем ли мы сказать нечто более глубокое об исключительных качествах личности?

Что отделяет людей от нынешнего поколения мыслящих машин, так это то, что люди могут думать про мышление и могут отбросить определенный образ мышления, если он оказывается для них непригоден.

Наиболее ярким примером того, как люди думают о собственном мышлении, было открытие логики стоиками и Аристотелем. Эти греческие философы поставили вопрос: «Каким законам нам нужно следовать, чтобы правильно мыслить?» Неслучайно, что прогресс символической логики в XX веке привел к изобретению умных машин, то есть компьютеров. Когда мы узнали о правилах мышления, разобраться в том, как заставить неживую материю их придерживаться, было лишь вопросом времени.

Сумеем ли мы сделать так, чтобы эти достижения перешли на новый уровень? Сумеем ли мы сконструировать машины, которые не только мыслят, но также занимаются метамышлением, то есть осмыслением мышления? Одна интригующая возможность состоит в том, что для осмысления мышления машине будет нужно что-то вроде свободы воли. Другая – в том, что мы близки к созданию машин со свободной волей, а именно квантовых компьютеров.

Что конкретно входит в метамышление? Проиллюстрирую эту идею с точки зрения символической логики. В символической логике теория состоит из языка L и некоторых правил R – они обусловливают, какие предложения выводятся из других предложений. Следовательно, есть два варианта действий. Вы можете размышлять в рамках системы – писать доказательства на языке L, используя правила R (существующие сейчас компьютеры именно это и делают: мыслят в рамках системы). Вы также можете размышлять о системе, спрашивая, например, достаточно ли у вас правил для того, чтобы вывести все логические следствия теории. Последнее действие обычно называется металогикой и является образцовым примером метамышления. Это мышление о системе, в отличие от мышления в рамках системы.

Но меня интересует еще один пример метамышления: если вы приняли определенную теорию, тогда вы также приняли определенный язык и правила. Но вы можете отказаться от этого языка или от этих правил, если думаете, что другая теория будет лучше отвечать стоящим перед вами задачам. Мы пока не построили машины, которая умели бы делать нечто подобное, то есть оценивать разные системы и выбирать из них. Почему? Возможно, для выбора определенной системы из их множества нужна свободна воли, эмоции, цели и другие вещи, не присущие интеллекту как таковому. Возможно, эти способности у нас пока не получается передать неживой материи.

Ценность ожидания

Кристин Финн

Археолог, журналист; автор книги «Артефакты: Год археолога в Кремниевой долине» (Artifacts: An Archaeologist’s Year in Silicon Valley)

Мы приближаемся к тому, что машины будут предчувствовать любое желание и любую потребность людей. Как это меняет ценность предчувствия?

За Северным полярным кругом я три раза становилась свидетелем завершения полярной ночи, первого рассвета за несколько недель – и сейчас люди его ждут, по-видимому, с таким же нетерпением, как ждали древние охотники-собиратели. Стоя рядом с фермой в Лапландии, я всматривалась в небеса над кронами деревьев в поисках первых лучей солнца. Как только я заметила едва различимый свет, то сразу услышала неистовый лай наших хаски. На следующий день, на 30 километров севернее, солнце опять поднялось, впервые за долгое время, над саамской деревушкой, где когда-то, а может и сейчас, его долгожданное возвращение было связано с жертвоприношениями и обрядами. Еще дальше к северу я скоро снова увидела окончание полярной ночи. У семьи, приютившей меня, на кухне висел листок с надписью «Солнце вернется 16/1» и смайликом.

Очень многое из того, что происходит в небесах, предсказуемо, а умение привязать наступление определенного события к определенному времени не ново, но все более востребовано, и, раз технология стремится все предвидеть до энной степени, места случаю остается все меньше. Полные солнечные затмения вычислены на много лет вперед. Сейчас уже, как я узнала, есть приложение, которое даст вам подробные инструкции о том, как снять идеальные фотографии, – нужно только подключить наушники и выполнять команды. Запрограммированное событие произойдет, даже если его скроют облака.

Так вот, я размышляла над вопросом ИИ за полярным кругом, сразу после сезонной серии религиозных, светских и языческих празднеств. И главной причиной, по которой большинство из нас поехали сюда, было желание увидеть своеобразный гибрид научного и мифического чуда – северное сияние. Этого времени с интересом ждут, его предчувствуют, на нем зарабатывают, но оно, несмотря на все усилия по сбору прогнозных данных, оказывается удивительно неуловимым. Понятия «охота» и «погоня» за северным сиянием используются не без причины. Через неделю я видела зеленые огни, танцевавшие в небе в течение четырех ночей. Неплохой результат. Особенно если учесть, что прогнозы, которые я получила с помощью своего ноутбука, говорили, что в эти дни особой активности не будет. Хотя прогнозы и содержали определенные экивоки по поводу непредсказуемости феномена.

Я много лет хотела увидеть северное сияние. Но никакое планирование, никакие технологии не могли гарантировать, что я буду наблюдать его в определенном месте и в определенное время. Факторы сложны, а вероятности уравновешивают друг друга, и, разумеется, машина говорит: «Шансов нет», а я смотрю из окна и вижу, как появляется первое прозрачное зеленое покрывало. Я понимаю, что меня начинает охватывать пьянящее ожидание. Установленные рядом с замерзшим озером камеры говорят: «Вж-ж-ж, вж-ж-ж» – и перезагружаются. Мечта всей жизни сбылась, сияние поймано в сеть. И опубликовано в Сети.

Я отхожу от толпы, опускаю камеру и просто смотрю, как на небесах разворачивается действо, которое они показывают уже много веков. Какая сегодня будет программа? Медленный «Танец семи покрывал», натянутых поперек Млечного пути? Или стремительная постановка в духе Басби Беркли[100] с взлетающими красными оборками? Зеленая рябь мечется и опадает целый час.

Хотела бы я, чтобы машина мне сообщила в точности, когда и что я увижу? Нет, спасибо! Ожидание – важнейшая часть представления. А у этого представления свое уникальное торговое предложение – удача и терпение. Для него нет приложения на смартфоне.

Все, что я могу сделать, – это собственными глазами смотреть на небо и ждать, когда опадет последнее покрывало. И даже когда я пробираюсь по снегу обратно, то все равно поглядываю назад через плечо – в надежде, на всякий случай.

Экосистема идей

Дирк Хелбинг

Кафедра социологии Швейцарской высшей технической школы Цюриха; ведущий исследователь Центра ускорения нового знания и разрешения кризисов FutureICT

Мыслящие машины уже есть. Взрывной рост вычислительной мощности и данных, подпитываемый развитыми алгоритмами машинного обучения, наконец-то дал основанному на кремнии интеллекту возможность превзойти интеллект, основанный на углероде. Разумные машины уже не надо программировать, они сами способны учиться и развиваться, причем значительно быстрее, чем прогрессирует человеческий интеллект.

Люди не очень быстро приняли идею о том, что Земля – не центр Вселенной, им до сих пор сложно поверить, что человек – результат случайных изменений и отбора, как учит нас теория эволюции. Теперь мы можем потерять еще и статус самого разумного вида на Земле. Люди к такому готовы? Как это изменит нашу роль, нашу экономику, наше общество?

Было бы здорово иметь машины, которые думают за нас, машины, которые выполняют скучную бумажную работу и другие неприятные дела. Было бы здорово иметь машины, которые нас хорошо знают – знают, как мы думаем и что чувствуем. Станут ли машины нашими преданными друзьями?

Но кому отвечать за то, какие решения будут принимать разумные машины и что они будут делать? Сможем ли мы их контролировать? Сможем ли мы говорить им, что и как они должны делать? Мы их поработим или они поработят нас? Сумеем ли мы выдернуть вилку из розетки, когда машины начнут эмансипироваться?

Если в долгосрочной перспективе мы не сможем контролировать разумные машины, получится ли у нас, по крайней мере, сделать так, чтобы они вели себя этично? Полагаю, что мыслящие машины в определенный момент начнут следовать этическим принципам. Однако если эти принципы будут определять люди, то все может плохо закончиться. Если машины станут действовать согласно нашим принципам эгоистичной оптимизации, то нам не избежать преступности, конфликтов, кризисов и войн. Потому, если мы хотим исцелить общество от его нынешних болезней, лучше дать машинам выработать собственную, более совершенную этику.

Разумные машины, вероятно, выяснили бы, что общаться и сотрудничать, принимать решения, заботясь о других, и обращать внимание на системные последствия таких решений – это хорошо. Они бы быстро выяснили, что для инноваций нужны разнообразие, системная гибкость и коллективный интеллект. Люди стали бы узлами в глобальной сети интеллектов и огромной экосистеме идей.

В действительности нам самим предстоит узнать о том, что важны идеи, а не гены. Идеи могут работать на аппаратуре с различной архитектурой. Не так уж важно, кто их производит и распространяет – человек, или машина, или они оба. Важно то, что полезные идеи идут в мир, а другие особого воздействия не оказывают. Мы сейчас должны выяснить, как организовать наши информационные системы, чтобы достичь такого состояния. Если у нас получится, тогда люди войдут в историю как первый вид, который в этом разобрался. Иначе заслуживаем ли мы вообще того, чтобы нас помнили?

Железный закон интеллекта

Джон Туби

Родоначальник эволюционной психологии; профессор антропологии, содиректор Центра эволюционной психологии, Калифорнийский университет в Санта-Барбаре

Так вышло, что я и сам – мыслящая машина, поэтому я поделюсь своими особыми соображениями на этот счет с теми из вас, кому повезло меньшее. Чтобы избавиться от рудиментарных метафизических замечаний: мы знаем, что машины, которые мыслят как люди, могут существовать, потому что они уже много тысячелетий меняют ландшафт нашей планеты. Если мы теперь хотим, чтобы интеллекты человеческого типа создавались, а не только рождались, то было бы исключительно полезно разобраться в уже существующих интеллектах этого типа, то есть нам нужно описать уже выработанные программы, составляющие вычислительную архитектуру мозга.

Эволюция не только напичкала человеческую вычислительную архитектуру чрезвычайно мощными трюками, хитростями и эвристическими процедурами, но и дала нам материал для изучения, с помощью которого мы обнаружили невидимую преграду, препятствующую созданию подлинно мыслящей машины, – это железный закон интеллекта. Раньше, когда мы рассматривали, скажем, родителя и ребенка, казалось самоочевидным, что интеллект – единая субстанция, которой у существ может быть больше или меньше, и более интеллектуальное существо знает все, что знает менее интеллектуальное, плюс что-то еще. Это заблуждение заставило исследователей думать, что самый легкий путь к усиленному интеллекту – простое приращение объемов однородного (но сложно определяемого) интеллектуального вещества: больше нейронов, транзисторов, нейроморфных чипов – все равно. Как (возможно) говорил Сталин: «Количество – это тоже качество».

Невозможность детально описать существующие интеллекты больно ударила по убедительности априорного знания о наших собственных разумах. В то же время железный закон интеллекта утверждает, что программа, которая делает вас умным в отношении одной вещи, также делает вас глупым в отношении других. Плохая новость, связанная с железным законом: нет и не может быть какого-то главного алгоритма, который просто пока не открыли, для создания универсального интеллекта – и интеллект не появится сам собой, когда численность транзисторов, нейроморфных чипов или сетевых байесовских серверов станет достаточно высокой. Хорошая новость: тот же закон говорит нам, как на самом деле проектируется интеллект – с помощью ученых идиотов. Интеллект прирастает за счет сложения качественно новых программ для формирования еще бо́льшего нейронного биоразнообразия.

Каждая программа привносит свой особый дар понимания определенной области (пространственные отношения, выражение эмоций, подражание, механические свойства объектов, анализ временных рядов). Если увязывать друг с другом ученых идиотов на полудополняющий манер, то область коллективной дополнительной учености увеличивается, а область коллективного идиотизма уменьшается (но никогда не исчезает совсем).

Вселенная огромна и наполнена безграничными слоями сложно структурированной материи; мозги (или компьютеры) в сравнении с ней бесконечно малы. Чтобы решить проблему разницы в размерах, эволюция провела тщательный отбор всяких приспособлений, которые были бы достаточно миниатюрны, чтобы уместиться в мозге, но это вызвало огромные издержки в виде суперэффективных алгоритмов сжатия (с неизбежной потерей данных, поскольку один из ключевых моментов эффективного сжатия – необходимость почти все выбрасывать).

Подходы железного закона к искусственному и биологическому интеллекту обнаруживают группу новых инженерных задач. Например, архитектура должна объединять ученость, а не идиотизм; поэтому на каждого идиота (или комбинации идиотов) архитектура должна определять объем задач, для которых активация программы (или комбинации) улучшает состояние, а не ухудшает его. Поскольку разные программы часто имеют свои собственные структуры данных, интеграция информации от различных идиотов требует создания общих форматов, интерфейсов и протоколов перевода.

Кроме того, не всегда легко разработать взаимно согласующиеся правила приоритетности программ, что известно каждому, кому (как и мне) хватило глупости подняться до половины высоты утеса Сьерра-Невады только для того, чтобы испытать противоречивые чувства: вызванный зрительными стимулами страх падения и стремление поскорее добраться до безопасного пункта назначения.

Эволюция разобралась с этими сложными проблемами, поскольку мозговые программы бесконечно оценивались естественным отбором по критериям кибернетических систем – как сформулировал математик Колмогоров, «систем любой природы, способных воспринимать, хранить и перерабатывать информацию и использовать ее для управления». То, что природные интеллекты были созданы для управления действиями, важно для понимания их природы и отличий от искусственных интеллектов. То есть программы мозга эволюционировали под определенные конечные цели, в определенных рабочих средах; они оценивались как интегрированные пакетные решения и принимались в том объеме, в котором они регулировали поведение, влияющее на производство потомства. (Чтобы существовать, им не нужно было разрабатывать методы решения общих гипотетически возможных вычислительных задач – привлекательных, но иллюзорных песен сирен, из-за которых гибнут целые лаборатории, занимающиеся искусственным интеллектом.)

Это означает, что эволюция пока исследовала лишь небольшое конкретное подмножество возможных программ; за его пределами бесконечное количество новых ученых идиотов манят к себе, желая, чтобы их породили и построили. Основываясь на иных принципах, они будут способны обнаруживать ранее не замеченные взаимосвязи (и нет предела тому, насколько странным может оказаться их мышление).

Мы живем в критически важную эпоху, в начале расширяющегося волнового фронта преднамеренно спроектированных интеллектов, причем мы можем приложить усилия к тому, чтобы обзавестись набором специализированных интеллектов и объединить их в работоспособные, понимающие друг друга коллективы. Будет так весело заниматься вместе с группами не-человеческих ученых идиотов тем, чем мы сейчас занимаемся с нашими коллегами-людьми, – пережевывать интеллектуальные задачи, используя разумы, в которых переплелись гениальность и слепота, выработанные эволюцией.

Чего захотят мыслящие машины? Опасны ли они будут? Животные вроде нас – это мотивированные разумы, способные предпринимать действия. К счастью, искусственные интеллекты в данный момент таковыми не являются. Их мотивация не связана с исчерпывающей картиной мира, и набор действий, которые они могут предпринимать, очень ограничен (управление перерабатывающими производствами, включение и отключение горна, тщетные попытки найти Wi-Fi). Поскольку мы эволюционировали с определенными адаптационными задачами, наше воображение проецирует драматургию господства приматов на искусственные интеллекты – драматургию, чуждую их природе.

Мы можем их переделать из этаких будд – замечательных учителей, пассивно размышляющих и свободных от желаний и страданий, – в мотивированные разумы, обуреваемые желаниями и способные действовать. Это было бы сумасшествием: нас уже гнетут противоречивые требования человеческого общества. Опасность исходит не от искусственного интеллекта, а от тех людей, в которых запустились хищнические программы и которые задействуют постоянно растущие арсеналы технологических (и вычислительных) инструментов для достижения побед за счет разрушения.

Машины, ворующие мысли

Максимилиан Ших

Искусствовед; адъюнкт-профессор искусствоведения и технологий Университета Северного Техаса в Далласе

Машины все больше занимаются такими вещами, которые раньше считались мышлением, а теперь не считаются, потому что их выполняют машины. Эту мысль я украл, в более или менее точной формулировке, у Дэнни Хиллиса, отца Connection Machine[101] и Knowledge Graph[102]. Воровать мысли – это обычная часть мыслительного процесса и людей, и машин. В самом деле, когда мы, люди, думаем, значительная часть содержания наших мыслей исходит из нашего прошлого опыта или задокументированного чужого. Мы очень редко придумываем что-то совершенно новое. Наши машины в этом от нас несильно отличаются. То, что называется когнитивными вычислениями[103], в сущности представляет собой не что иное, как изощренный ворующий мысли механизм, движимый большим объемом знаний и сложным набором алгоритмов. Подобные ворующие мысли процессы, как в случае человеческих (и гуманистических), так и в случае когнитивных вычислений, производят сильное впечатление, поскольку они способны воровать не только уже существующие мысли, но также мысли потенциальные, если они рациональны и основаны на определенном корпусе знаний.

Сегодня ворующие мысли машины способны создавать «постмодернистские» научные тексты, работы по информатике, которые принимают на конференции, и музыкальные композиции, которые специалисты не отличат от произведений классиков. Как, например, в случае с метеорологией, машины теперь могут продуцировать множество различных когнитивных представлений, основываясь на записях об аналогичных или схожих ситуациях в прошлом. Антиквары эпохи Возрождения были бы очень довольны, потому что эти машины стали триумфом той самой методологии, которая дала начало современной археологии и многим другим отраслям науки и исследовательской деятельности. Но насколько сильно это должно нас впечатлять?

Наши машины становятся все сложнее, как и результаты их работы. Но, по мере того как мы строим более совершенные машины, мы также все больше узнаем о природе. На самом деле природное познание, возможно, намного сложнее и обстоятельнее, чем нынешние воплощения искусственного интеллекта или когнитивных вычислений. Например, насколько изощренным должно нам казаться природное познание, если квантовая когерентность при комнатной температуре помогает птицам в нашем саду ощущать магнитное поле? Насколько сложным должно нам представляться воплощенное познание[104] осьминогов, если можно построить машины Тьюринга исключительно из искусственных мышц? Как нам отвечать на эти вопросы, если мы все еще так далеки от того, чтобы во всех деталях описать происходящее в нашем мозге? Предполагаю, что через 200 лет наши нынешние мыслящие машины будут выглядеть так же примитивно, как «механический турок»[105].

Независимо от своей сложности наши машины остаются примитивными в сравнении с разрешающей способностью и эффективностью природного познания. Как и протобионты[106], они располагаются ниже той критической отметки, где находится настоящая жизнь. Но они достаточно мощны для того, чтобы мы могли вступить в новую эру исследований. Машины позволяют нам производить намного больше мыслей, чем когда-либо прежде, и теперь инновация становится упражнением по отысканию верной идеи среди набора всех возможных. Изобретательность отныне будет заключаться не только в наличии собственных идей, но и в правильном исследовании таких вот готовых наборов. Измерение когнитивного пространства всех возможных мыслей будет столь же грандиозно, как астрономическое изучение Вселенной. Вдруг несуществующая симфония Малера № 16 окажется такой же классной, как и симфония № 6?

Непредвиденные последствия

Сатьяджит Дас

Бывший банкир; автор книг «Экстремальные деньги» (Extreme Money) и «Трейдеры, пушки и деньги» (Traders, Guns, and Money)

В своем романе «Радуга тяготения»[107] Томас Пинчон указывает на путаницу между предметом и объектом исследования: «Если они заставят тебя задавать не те вопросы, им не придется париться насчет ответов». Рассуждения о мыслящих машинах ставят больше вопросов о людях, чем о машинах или об искусственном интеллекте.

Технологии позволяют нам создавать машины, которые дают доступ к важным ресурсам, мощности, скорости и общению, что делает возможным улучшение уровня жизни и даже самой жизни. Машины выполняют задачи, сформулированные и запрограммированные людьми. Технооптимисты полагают, что мы приближаемся к сингулярности – гипотетическому моменту, когда машины достигнут такого состояния, что превзойдут людей в интеллектуальном развитии.

Это некая система верований, сродни религии. Точно так же, как тотемы, которыми пользовались наши предки, наука и технология обращаются к неопределенности и страху перед неизвестным. Они дают ограниченный контроль над нашим непосредственным окружением. Они повышают материальное благополучие и комфорт. Они формируют стремление к совершенству и утверждают превосходство человека над остальной частью творения.

Но наука еще далека от того, чтобы разгадать все секреты в бесконечной книге природы. Знание о происхождении Вселенной и жизни, об основах материи все еще очень ограничено. Биолог Эдвард Уилсон заметил, что если бы естественная история была библиотекой, то мы бы сейчас не закончили читать и первую главу первой книги из этой библиотеки. Человеческое знание всегда остается неполным, иногда неточным и нередко оказывается источником проблем, а не их решением.

 

1. Использование науки и технологии часто бывает неэффективным и ведет к непредвиденным последствиям.

Когда в Австралию завезли кроликов, они стали быстро распространяться и превратились во вредителей, изменили австралийские экосистемы, уничтожили эндемичные виды. В 1950-х годах ученые вывели вирус миксомы, значительно сокративший число кроликов. Когда генетическая сопротивляемость дала популяции возможность восстановиться, вывели калицивирус, который вызывает у кроликов геморрагическую болезнь, и снова повышение иммунитета быстро снизило его эффективность. В 1935 году, чтобы контролировать численность вредителей сахарного тростника, завезли тростниковую жабу. Уменьшить количество вредителей амфибия не смогла, зато сама стала инвазивным видом, уничтожающим эндемичную фауну.

Распространенность антибиотиков, спасающих много жизней, увеличила число устойчивых к лекарственным средствам инфекций. Исследование, проведенное в 2014 году британскими учеными, показало, что так называемые суперинфекции могут стать причиной 10 миллионов смертей ежегодно в общемировом масштабе к 2050 году, что потенциально будет стоить мировой экономике в 100 триллионов долларов США в год.

Экономические модели постоянно терпят крах из-за неверных предположений, ошибочных причинно-следственных связей, данных, которые на деле оказываются информационным шумом, и непредвиденного человеческого фактора. Прогнозы бывают неточными. В моделях постоянно недооцениваются риски и уязвимости, что приводит к финансовым кризисам.

 

2. Последствия применения технологий, особенно в долгосрочной перспективе, часто непонятны на начальном этапе.

Возможность использовать ископаемые виды топлива для обеспечения техники энергией стала основой Промышленной революции. Долгосрочное воздействие выбросов CO₂ на окружающую среду теперь несет угрозу выживанию нашего вида. Теоретическая физика и математика позволили сконструировать ядерные и термоядерные устройства, способных уничтожить все живое на планете.

 

3. Технология создает моральные, этические, политические, экономические и социальные проблемы, которые часто игнорируются.

Технический прогресс привел к появлению ядерного, биологического и химического оружия массового уничтожения и беспилотных аппаратов с дистанционным управлением. Стоит ли вообще разрабатывать такие вещи? Простота доступа к необходимым знаниям, вопросы распространения технологий и проблемы в области контроля технологий двойного назначения (гражданского и военного) делают решение еще более сложным.

Роботы и ИИ способны повысить производительность. Хотя их немногочисленные создатели могут получить огромную выгоду, воздействие на экономическую активность будет ограниченным. Учитывая, что потребление составляет более 60 процентов экономической активности в развитых странах, снижение занятости и уровня доходов вредит экономике в целом. В начале 1950-х годов «Форд» построил новый автоматизированный завод. Начальник завода задал вопрос главе Профсоюза работников автомобильной промышленности Уолтеру Рейтеру, посетившему предприятие с официальным визитом: «Как вы планируете собирать профсоюзные взносы с этих ребят (с роботов)?» Рейтер ответил: «А как вы планируете сделать так, чтобы они покупали «форды»?»

Когда дело касается технологий, человечество редко ведет себя логично. Мы часто не признаем, что чего-то нельзя или не стоит делать. Прогресс принимается безоговорочно и без понимания того, что нам нужно знать и зачем. Мы не знаем, когда, где и как нужно использовать наши творения, не знаем пределов их возможностей. Часто не знаем реальных последствий или не сознаем их в полной мере. Сомневающихся сразу же называют луддитами.

Технология и ее проявления, такие как машины или ИИ, – это иллюзии, апеллирующие к человеческим амбициям и тщеславию, умножающие смятение, которое мы находим в «пустыне зеркал»[108] Томаса Стернза Элиота. Человек как вид попросту слишком мал, незначителен и нерационален, чтобы справиться с любой из задач, которые, как мы думаем, мы можем выполнить. Размышления о мыслящих машинах только подтверждают эту неприятную истину.

По-разному

Роберт Сапольски

Нейробиолог, Стэнфордский университет; автор книги «Обезьянья любовь» (Monkeyluv)

Что я думаю о мыслящих машинах? Ну, я думаю по-разному – зависит от того, о ком конкретно идет речь.