Искусственный интеллект и машинное обучение

До чего дошел прогресс — труд физический исчез, Да и умственный заменит механический процесс. Позабыты хлопоты, остановлен бег, Вкалывают роботы, а не человек.

Ю. Энтин. Из к/ф «Приключения Электроника»

Идея искусственного интеллекта давно занимала людей. Гефест создавал роботов- андроидов, как для себя в качестве помощников, так и по заказу; например, постро­енного Гефестом гигантского человекоподобного робота Талоса Зевс позже пода­рил царю Миносу для охраны Крита.

Уже в греческих мифах искусственный интеллект мог решать задачи, звучащие вполне современно: Талое трижды в день обегал весь остров, автоматически рас­познавал среди прибывающих кораблей недружелюбные и бросал в них огромные камни. Примерно тогда же Афродита оживила Галатею, созданную Пигмалионом из мрамора, а еще раньше Иегова и Аллах вдохнули жизнь, самосознание и изряд­ные когнитивные способности в куски глины.

В иудейской традиции, кстати, особо мудрые раввины могли и сами создавать големов — великанов, которых сначала нужно было построить в виде статуи из гли­ны и крови, а затем оживить подходящим артефактом или заклинанием. Големы могли выполнять команды своего создателя, то есть умели распознавать речь и об­рабатывать естественный язык. Но синтезировать речь не получалось: если бы го­лем мог разговаривать самостоятельно, это значило бы, что у него появилась душа, а душу не может вложить даже самый мудрый раввин, — это прерогатива Господа. Поэтому, когда известный алхимик Альберт Великий изготовил искусственную говорящую голову, он очень расстроил своего учителя Фому Аквинского, который, видимо, по этому вопросу был согласен с иудейскими источниками.

Искусственный интеллект давно применялся и к играм: шахматный автомат «Турок» обыграл даже самого Наполеона I; впрочем, здесь быстро выяснилось, что искусственный интеллект не такой уж искусственный...^[4] А в наше просвещенное время он стал важной литературной темой практически одновременно с появле­нием научной фантастики как таковой: начиная с доктора Франкенштейна, идея создания тех или иных мыслящих существ в литературе появляется постоянно.

Считается, что искусственный интеллект как наука начался с теста Тьюринга. Формулировка теста впервые появилась в знаменитой статье Computing Machinery and Intelligence, которую Алан Тьюринг1 выпустил в 1950 году [543]. Впрочем, сто­ит отметить, что возможность создания «мыслящих машин» и наличия интеллекта у компьютеров обсуждалась и самим Тьюрингом, и его коллегами к тому времени уже как минимум лет десять; это была частая тема для дискуссий в английском Ratio Club, к которому принадлежал и Алан. Наверное, многие читатели слышали основную канву теста Тьюринга: чтобы пройти тест, компьютер должен успешно выдать себя за человека в письменном диалоге между судьей, человеком и компью­тером. Иначе говоря, человекоподобных андроидов строить не нужно, но компью­тер должен стать неотличим от человека во владении естественным языком.

Любопытно, что исходная формулировка теста Тьюринга была несколько тонь­ше и интереснее. Действительно, очевидно, что этот тест задуман крайне не­справедливо по отношению к несчастным компьютерным программам. Если пред­ставить себе «обратный тест Тьюринга», в котором человек попробовал бы выдать себя за компьютер, он мгновенно был бы раскрыт вопросом вроде «Сколько будет 723³/271?». Тьюринг понимал, что человеку в предложенной им схеме достаточно просто быть собой, а компьютеру надо выдавать себя за кого-то другого. Поэтому исходная формулировка была основана на популярной тогда имитационной игре^{[5] [6]}, в которой мужчина и женщина письменно общаются с судьей. Задача мужчины — выдать себя за женщину, задача женщины — помочь судье правильно разобрать­ся, кто есть кто..Тьюринг предложил сравнивать в этой игре результаты компью­тера и живых мужчин: тогда обе стороны вынуждены будут имитировать кого-то третьего. Сам Тьюринг считал, что к 2000 году компьютеры с гигабайтом памяти смогут играть в имитационную игру так, чтобы убеждать человека в 30 % случаев (наилучшим результатом было бы 50 %, то есть в идеале решения судьи были бы неотличимы от бросания честной монетки).

Тест Тьюринга помогает понять, сколько всего нужно сделать, чтобы суметь сконструировать искусственный интеллект: здесь и обработка естественного язы­ка, и представление знаний, и умение делать выводы из полученных знаний, в том числе и обучение на опыте. Однако тест Тьюринга сейчас практически не считается истинным тестом на то, являются ли машины мыслящими. Буквальная формули­ровка теста породила в наше время достаточно широко известную, но на самом деле не слишком научную деятельность по созданию так называемых чатботов, наце­ленных на поддержание разговора с человеком^[7]. Одним из первых и • - самых извест­ных таких ботов была ELIZA [563], которая еще в 60-е годы XX -века могла вести беседу в стиле классического психоаналитика. А в 2014 году появилось (достаточ­но спорное) сообщение о том, что тест Тьюринга успешно прошел.«Женя Густман» (Eugene Goostman), чатбот, созданный тремя русскоязычными программистами. «Женя» представляется собеседникам 13-летним мальчиком из Одессы, и люди часто списывают на это ошибки в английском языке, недопонимания и недостаток знаний. Но чатботы никогда даже не претендовали на то, чтобы «действительно понимать» человеческий язык со всеми контекстами.

А в философском контексте это смыкается с известной конструкцией так на­зываемой китайской комнаты Джона Сёрля [477]: представьте себе комнату, пол­ную бумажек со странными символами. На ее стенах записан очень сложный алго­ритм перекладывания бумажек, и находящийся в комнате человек перекладывает бумажки согласно этому алгоритму. Оказывается, что алгоритм, к примеру, под­держивает беседу на китайском языке, получая на вход реплики и выдавая ответы на них. Но человек не знает китайского и не понимает входов и выходов, он просто перекладывает бумажки. Кто или что «знает китайский» в этом примере? Можно ли сказать, что комната с бумажками начала «обладать сознанием»?..

Но тест Тьюринга — это только одна из идей постановки конкретной задачи. А вот с самой наукой об искусственном интеллекте произошел достаточно редкий случай: мы, пожалуй, можем проследить точное время и место рождения этой обла­сти. В 1956 году четыре отца-основателя искусственного интеллекта — Джон Мак­карти (John McCarthy), Марвин Минский (Marvin Minsky), Натаниэль Рочестер (Nathaniel Rochester) и Клод Шеннон (Claude Shannon) — организовали Дарт­мутский семинар, знаменитую летнюю школу в Дартмуте. Заявка на проведение этого семинара была, пожалуй, самой амбициозной грантозаявкой в истории ин­форматики. Вот посмотрите, что писал там Джон Маккарти [431]: «Мы предлагаем исследование искусственного интеллекта сроком на два месяца с участием - десяти человек летом 1956 года в Дартмутском колледже, Гановер, Нью-Гемпшир. Иссле­дование основано на предположении, что всякий аспект обучения или любое дру­гое свойство интеллекта может в принципе быть столь точно описано, что машина сможет его имитировать. Мы попытаемся понять, как обучить машины использо­вать естественные языки, формировать абстракции и концепции, решать задачи, сейчас подвластные только людям, и улучшать самих себя. Мы считаем, что суще­ственное продвижение в одной ' или более из этих проблем вполне возможно, если специально подобранная группа ученых будет работать над этим в течение лета».

Впечатляет, правда? Не зря 50-е годы XX века — это золотой век классической научной фантастики, когда свои лучшие произведения создавали- Айзек Азимов, Рэй Брэдбери, Артур Кларк, Роберт Хайнлайн и многие другие. К этому времени относятся и знаменитые три закона робототехники Айзека Азимова, которые сами по себе звучат очень нечетко и противоречиво; понять и принять их к исполнению, пожалуй, даже сложнее, чем пройти тест Тьюринга (многие книги Азимова о робо­тах как раз на таких внутренних противоречиях и нечеткостях и основаны). Самое удивительное в этой истории состоит в том, что заявка все-таки была удовлетво­рена, Дартмутский семинар был проведен, а тот факт, что заявленных целей за эти два месяца достичь не удалось, не послужил основой для немедленных оргвыводов и не поставил крест на всем искусственном интеллекте.

Началось все с исследований, которые продолжали начатую логиками тему ав­томатического логического вывода (automated theorem proving). Первые програм­мы, создававшиеся как шаги на пути к искусственному интеллекту, пытались стро­ить выводы в заданных исследователями формальных системах. Например, по­явившаяся в 1959 году программа с амбициозным названием «Универсальный ре­шатель задач» (General Problem Solver, G.P.S.) [392] могла строить вывод в си­стемах, заданных логическими формулами определенного вида*. Другие програм­мы того времени пытались оперировать более ограниченными предметными обла­стями, так называемыми микромирами (microworlds): решать словесные алгебра­ические задачи (те, где из бассейна вытекают навстречу друг другу два поезда со скоростью 40 км/ч каждый), переставлять геометрические фигуры в трехмерном пространстве и т. д. Вся эта наука тогда обычно называлась кибернетикой вслед за книгой Норберта Винера «Кибернетика, или Управление и связь в животном и ма­шине» [568].^{[8] [9]}

Тогда же, во второй половине 1950-х и начале 1960-х годов, появились и само­обучающиеся машины, в частности перцептрон Розенблатта, о котором мы будем много говорить в главе 3. Они тут же получили широкую огласку, и людям начало казаться, что до реализации законов робототехники уже рукой подать. Но такие авансы искусственный интеллект тогда оправдать не мог. В разделе 3.2 мы еще по­говорим о том, как началась первая «зима искусственного интеллекта». Одной из причин стал полный провал большого проекта по машинному переводу, который адекватно сделать в те годы было невозможно, а другой — появившееся понимание того, что одним перцептроном много не сделать.

Поэтому 1970-е годы стали временем расцвета систем, основанных на знани­ях (knowledge-based systems), которые до сих пор являются важной частью нау­ки об экспертных системах. Суть здесь состоит в том, чтобы накопить достаточно большой набор правил и знаний о предметной области, а затем делать выводы. Од­ним из самых ярких примеров таких проектов стала система MY CIN, посвященная идентификации бактерий, вызывающих серьезные инфекции, а затем рекоменду­ющая антибиотики [65, 494]. В ней было около 600 правил, и ее результаты (она выдавала подходящий метод лечения в 69 % случаев) были не хуже, чем у опыт­ных врачей, и существенно лучше, чем у начинающих. Более того, такие системы могли объяснить, как именно они пришли к тому или иному решению, и оценить свою уверенность в этой гипотезе. Позднее они стали прообразами графических вероятностных моделей.

Затем исследователи снова вспомнили о нейронных сетях: к началу 1980-х го­дов был разработан алгоритм обратного распространения ошибки (его мы подроб­но обсудим в главе 2), что открыло дорогу самым разнообразным архитектурам. Одним из ключевых понятий 1980-х годов был коннекционизм (connectionism): пришедшая из когнитивных наук идея о том, что нужно не пытаться задавать ак­сиоматические формальные системы для последующих рассуждений в них, а стро­ить большие ансамбли параллельно работающих нейронов, которые, подобно че­ловеческому мозгу, как-нибудь сами разберутся, что им делать. К концу восьми­десятых уже появилась большая часть основных архитектур, о которых мы будем говорить в этой книге: сверточные сети, автокодировщики, рекуррентные сети...

А в целом в искусственном интеллекте начались первые коммерческие при­менения. Рассказывают, что один из первых AI-отделов, появившийся в компа­нии DEC (Digital Equipment Corporation), к 1986 году экономил компании око­ло 10 миллионов долларов в год, очень серьезную по тем временам сумму. Однако и здесь исследователи и особенно «стартаперы» восьмидесятых не удержались. На волне всеобщего увлечения искусственным интеллектом многие компании снова начали направо и налево раздавать обещания. Поэтому вторая волна увлечения искусственным интеллектом закончилась в начале девяностых, когда многие ком­пании не смогли оправдать завышенных ожиданий и лопнули1.

В 1990-е годы основной акцент сместился на машинное обучение и поиск зако­номерностей в данных, причем нейронные сети, как мы уже упоминали выше, не

1 Вероятно, именно с тех пор словосочетание «искусственный интеллект», по крайней мере в рос­сийской науке, пользуется не слишком доброй славой; многие математики недовольно поморщатся, ес­ли услышат, что вы занимаетесь искусственным интеллектом. Так что советуем этого словосочетания не употреблять, а говорить «машинное обучение»: так и точнее, и безопаснее.

считались особенно перспективными. Зато самих данных, особенно с развитием Интернета, становилось все больше, компьютеры становились все быстрее. В ито­ге в середине 2000-х годов очередная новая идея наконец-то сработала, к ней быст­ро подтянулись другие, и все, как говорится, заверте. Этому посвящена вся наша книга, так что не станем пытаться вкратце повторить всю историю сейчас.

Но что же все-таки с искусственным интеллектом? Как сейчас поживает из­вечная мечта человечества? Конечно, сейчас уже никто не обещает, что мы вот-вот построим искусственный интеллект, и изящные андроиды вот-вот будут прино­сить нам кофе, отвечать на звонки, выносить мусор и выполнять все прочие, менее невинные команды.

Однако современные исследователи и футурологи, совсем как в 1960-е годы, снова весьма оптимистично настроены по поводу искусственного интеллекта. За­метная часть специалистов считает, что сильный искусственный интеллект (strong AI, то есть искусственный интеллект человеческого уровня или выше) вполне мо­жет быть создан еще при нашей жизни [330]. И это приводит к куда менее оптими­стичным рассуждениям о том, чем нам, людям, грозит такое развитие событий.

Нет, речь не идет о том, что искусственный интеллект заменит людей и при­ведет к тому, что нам с вами нечего будет делать и придется всю жизнь бесцель­но сибаритствовать или искать новый, непродуктивный смысл жизни: этот сцена­рий звучит явно недостаточно катастрофически. Скорее речь идет о том, что улуч­шающий себя искусственный интеллект, чью цель опрометчиво определили как производство канцелярских скрепок, может для достижения этой цели ненавяз­чиво захватить власть над планетой и превратить ее целиком в фабрики по про­изводству скрепок и космических кораблей, предназначенных для превращения в скрепки остатка видимой Вселенной... В общем, очень интересные рассуждения. Основные источники на эту тему принадлежат перу шведского философа Ника Бострома (Nick Bostrom), автора известной книги «Искусственный интеллект: эта­пы, угрозы, стратегии» [52], и американского исследователя искусственного ин­теллекта (не в математическом, а скорее в философском смысле) Элиэзера Юд- ковскою (Eliezer S. Yudkowsky), одного из сооснователей Института исследова­ний машинного интеллекта (Machine Intelligence Research Institute, MIRI), авто­ра ряда книг и обзоров об угрозах искусственного интеллекта [53, 206, 573, 579], а также обширного и очень интересного популярного изложения принципов раци­онального мышления [531] Ч.

Но это пока дело будущего. А сейчас пора переходить к настоящему: к тому, чем сегодня занимается машинное обучение, какие задачи перед собой ставит и какие методы использует. Начнем с очень краткого обзора всей области в целом.

1 Впрочем, ^^(^ли^вI xoтвххiИоочIтгaьа 0тжmвuтeиънo пoп yляpнoeнпиoжвнрeгаов глох      не

проходите мимо книга Элиэзера Юдкпсскпгп «Гарро Ппооер а принципы рационального мышления» (Harry Pottnr and tCn Methods of Rationality) [580J. Это, конечно, не высокая литература, но идеи изло­жены очень захватывающе.

1.3. Немного о словах: