Решении конкурентоспособного результата, это будет уводить от работы над СИИ. Конечно,

Какие-то промежуточные решения в СИИ могут быть успешно внедрены, в первую очередь,

Для решения менее частных задач, для которых создание специализированного решения

становится слишком трудоемким (например, создание роботов, работающих в существенно

Недетерминированных средах). Но если концентрироваться на таких приложениях, то мы

Просто вместо ящериц получим динозавров.

Как вы думаете, высока ли вероятность, что когда ИИ станет на порядок умнее

Человечества он пойдет против него, и есть ли механизмы защиты от этого?

Да; говоря несколько шире, есть вероятность того, что ИИ проявит нежелательное

Поведение. Хотя эта проблема не всеми признается, но она вполне реальная. Хоть и очень

Утрированный, но достаточно показательный мысленный эксперимент заключается в

Следующем: пусть мы создали ИИ с такой безобидной основной мотивацией, как получение

И обработка астрономических данных. Однако оптимальным способом достижения этой

Цели будет превращение всей окружающей материи, включая людей, в телескопы и

Собственные вычислительные мощности. Или возьмем первый закон Азимова «Робот не

Может причинить вред человеку или своим бездействием допустить, чтобы человеку был

Причинён вред» и робота, хорошо умеющего предсказывать. Такой робот вполне может

прийти к выводу, что любому рождающемуся человеку так или иначе будет причинен вред;

Следовательно, если робот ничего не предпримет, то нарушит первый закон; самый

Надежный способ предотвратить вред будущим людям, это просто устранить саму

Возможность их рождения. Проблема не в том, что ИИ может рассматривать человека как

Врага, а в том, что любую, даже самую благую цель, можно пытаться достичь самыми

Извращенными способами. Это, в общем-то, и проблема людей, но из-за того, что люди

Обладают более или менее равными возможностями, эта проблема не оказывалась

Фатальной. В случае же с ИИ потенциально риск становится огромным, особенно если этому

Вопросу не уделять внимания. Собственно, определенное внимание ему уделяется

(например, была международная конференция по проблемам безопасности ИИ:

http://www.winterintelligence.org/agi-impacts-extended-abstracts/). Есть обширные обзоры на

Page 43

Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 3.0 Непортированная.

Марк Ромул

Чтобы увидеть копию этой лицензии, посетите http://creativecommons.org/licenses/by/3.0/deed.ru

Novadeus.com

43

эту тему (например, хороший обзор http://intelligence.org/files/ResponsesAGIRisk.pdf).

Однако пока есть только общие идеи, как к этой проблеме подходить.

«Административными» методами ее не решить, а для ее конструктивного решения на

Уровне архитектуры ИИ пока не хватает знаний, собственно, о том, каким ИИ будет.

Сильным ИИ занимаются уже давно, каждый раз ученые называли точные сроки, но

ИИ как не было так и нет. Почему? Является ли это следствием малых

Вычислительных мощностей в то время? Какой путь перспективнее: разработка

Сильного ИИ на общих принципах или копирование структуры человеческого мозга?

Заявления о быстром создании ИИ высказывались на самой заре возникновения этой

Области. Это было связано с первыми успехами в распознавании символов, доказательстве

Теорем, игре в разные интеллектуальные игры. Сложно винить ученых того времени в их

Оптимизме. Ведь тогда впервые решение столь сложных задач было передано машине, и

Казалось, что дело осталось только за количеством реализованных методов. Естественно,

Тогда была существенно недооценена сложность процессов мышления. И, конечно,

Вычислительных мощностей не могло бы хватить, даже если бы все о мышлении было

Известно.

Был ли столь же массовый не оправдавшийся оптимизм в последующие годы? Скорее, не

Было. Да, некоторые технологии были переоценены. Скажем, в 70-е годы экспертные

Системы не оправдали надежд (но надежд не на создание сильного ИИ, а на большой

коммерческий эффект). Или пресловутый проект компьютеров пятого поколения… Однако

Столь стабильного внимания со стороны более или менее адекватных ученых к

Возможности создания сильного ИИ, пожалуй, не было со времен возникновения этой

Области. Являлась ли и является ли до сих пор основной проблемой нехватка