За пределами зловещей долины

Дзёити Ито

Директор медиалаборатории Массачусетского технологического института

Нельзя думать о мышлении, не думая о том, чтобы думать о чем-то.

Сеймур Пейперт

Что я думаю о машинах, которые думают? Это зависит от того, о чем они думают. Я определенно из лагеря тех, кто считает, что ИИ и машинное обучение внесут огромный вклад в развитие общества. Я предполагаю, мы обнаружим, что машины все лучше справляются с тем, что не удается нам, – с такими вещами, для которых требуются скорость, точность, надежность, повиновение, огромные объемы информации, вычисления, распределенные сети и параллельная обработка.

Парадокс заключается в том, что, пока мы разрабатывали машины, которые ведут себя все более человечно, мы создавали образовательные системы, которые подталкивают детей к тому, чтобы думать как компьютеры и вести себя как роботы. Для масштабирования и роста нашего общества теми темпами, которые нам требуются, нам нужны надежные, усердные физические и вычислительные элементы. Поэтому у нас уходят годы на то, чтобы сделать из небрежных, эмоциональных, непредсказуемых и своенравных человеческих существ подобие роботов из плоти и крови. К счастью, механические и цифровые роботы и компьютеры в скором времени помогут сократить, если не ликвидировать потребность в том, чтобы людей обучали вести себя подобным образом.

Нам все еще нужно превозмочь страх и даже отвращение, внушаемые нам роботами, которые выглядят почти как люди и демонстрируют почти человеческие качества – но только «почти». Эта проблема известна как эффект «зловещей долины»[86]. Тот же принцип работает с компьютерной анимацией, зомби и даже протезами рук. Но мы, возможно, подходим к этой долине с обеих сторон. Если вы хоть раз меняли свой голос, чтобы вас поняла система распознавания речи на телефоне, то вам будет легче поверить, что мы, люди, и сами приближаемся к «зловещей долине».

Есть много теорий о том, почему мы испытываем это отвращение, но я думаю, оно как-то связано с тем, что люди считают себя особенными, – такое своеобразное экзистенциальное эго. Корни явления, возможно, уходят в наш монотеизм. Примерно в то время, когда рабочие фабрик на Западе крушили роботов кувалдой, японцы на таких же фабриках надевали на роботов шапочки и давали им имена. В день 7 апреля 2003 года Астробой, мальчик-робот, персонаж японского мультфильма, стал почетным гражданином города Ниидза в префектуре Сайтама. Возможно, анимистическим религиям проще смириться с мыслью, что на самом деле не мы тут главные. Если природа – это сложная система, в которой все – люди, деревья, камни, реки, дома – в какой-то мере одушевлены, то кажется вполне разумным, что бог не похож на нас, что он не думает как мы и не считает нас особенными.

Так что, возможно, один из наиболее значимых аспектов жизни в эпоху, когда мы начинаем задавать такие вопросы, – то, что они подводят нас к более общему вопросу о роли человеческого сознания. Люди – часть чрезвычайно сложной системы, настолько сложной, что она выходит за пределы нашего понимания. Подобно одушевленным деревьям, камням, рекам и домам, выполняемые на компьютерах алгоритмы могут быть просто еще одной частью сложной экосистемы.

Мы, люди, развили у себя эго и представление о собственном «я», но это по большей части уловка, позволяющая каждому индивиду действовать эффективнее в критериях эволюционного развития. Не исключено, что возникшая на основе этого мораль – еще одна уловка, поскольку все мы понимаем, что ее нормы условны. Отсюда не следует, что нам не нужны этика и хороший вкус; мы можем использовать свое чувство ответственности как часть сложной, единой системы, не пытаясь опираться на аргумент о том, что «я особенный». По мере того как машины становятся все более важной частью этой системы, наши человеческие аргументы о собственной уникальности будут становиться все слабее, что, может, и хорошо.

Не исключено, что не так уж важно, как мы воспринимаем мыслящие машины, – они будут думать, а система будет адаптироваться. Как и с большинством сложных систем, результат здесь в основном непредсказуем. Таково положение сейчас, таким оно и останется. Большая часть наших мыслей о будущем безнадежно ошибочна; как мы знаем из ситуации вокруг изменения климата, понимать, что что-то происходит, и что-нибудь предпринимать по этому поводу – не одно и то же.

Мои слова могут звучать пораженчески, но на самом деле я вполне оптимистичен. Я полагаю, что системы адаптивны и устойчивы и – что бы ни произошло – красота, счастье и радость не исчезнут. Мы надеемся, что у людей будет определенная роль. Я полагаю, что действительно будет.

Судя по всему, из нас получаются не очень хорошие роботы, но мы прекрасно справляемся с нестандартными и творческими задачами, которые было бы невероятно сложно – и, наверное, неоправданно дорого – прописать в виде программы для машины. В идеале наша образовательная система должна эволюционировать так, чтобы как можно полнее задействовать сильные стороны людей, вместо того чтобы делать из нас второсортных роботов. Люди, хотя и не обязательно с нынешней формой сознания и с линейной философией вокруг него, хорошо умеют трансформировать беспорядок и сложность в искусство, культуру и смысл. Если мы сосредоточимся на том, что у каждого из нас лучше всего получается, люди и машины выработают замечательные отношения в духе «инь-ян», где мы будем пользоваться эффективностью наших электронных собратьев, а они – нашими беспорядочными, небрежными, эмоциональными и креативными телами и мозгами.

Мы скатываемся не в хаос, как считают многие, а в усложнение. В то время как интернет связывает все, что находится вне нас, в огромную систему, которая кажется неуправляемой, мы обнаруживаем почти бесконечную сложность в глубинах собственной биологии. Мы уверены, что именно наш мозг всем заправляет, хотя наши стимулы, желания и поведение формирует наш микробиом, чтобы обеспечить собственное размножение и эволюцию; так что мы, вполне вероятно, никогда не разберемся, кто главный – мы или машины. Но, может быть, для нас вреднее считать людей особенными, чем принимать как должное отношения с разными существами, предметами и машинами вокруг нас.

Фигура или фон?

Дуглас Рашкофф

Медиавед; писатель-документалист, автор книги «Шок настоящего» (Present Shock)

Осмысление мыслящих машин можно считать классическим примером инверсии фигуры и фона, канала и сообщения. Это заставляет нас думать о следующем этапе развития интеллекта как о чем-то, происходящем в расположенном где-то компьютере – сознании, которое родится и затем будет храниться на громадных серверах, построенных для своих целей корпорациями Информационной эры. «Вот она, – провозгласим мы, – мыслящая машина».

Мы существа Электронной эры, мигрирующие в разворачивающуюся Цифровую эру, и наша ошибка состоит в том, что мы рассматриваем цифровые технологии в качестве материи, а не пространства. Это то же самое, что путать телевизор и медиасреду, создаваемую телевизором, или маленький смартфон, что лежит у вас в кармане, с огромным влиянием, которое оказывают на наше общество портативные средства коммуникации и компьютерные технологии.

Это происходит каждый раз, когда мы переживаем медийный переход. Так что мы невольно видим в цифровых технологиях фигуру, тогда как на самом деле смотрим на фон. Это не источник возникновения иного разума, а среда, в которой наш разум иначе себя проявляет. Так что, хотя технарям может казаться, что они возводят храм искусственного интеллекта, на самом деле они становятся жертвой чрезмерно упрощенного подхода к цифровому сознанию, свойственного Индустриальной эпохе.

Не к мыслящим машинам мы движемся, я полагаю, а к сетевой среде, где мышление уже не будет ни индивидуальным, ни ограниченным временем и пространством. Это означает, что мы можем думать вместе – одновременно или асинхронно – посредством цифровой репрезентации прошлых и будущих человеческих мыслей. Даже самый продвинутый алгоритм сводится к итерации фразы «что, если», некогда сформулированной человеком. И все равно мышление машины не существует отдельно от коллективного человеческого мышления, поскольку не локализуется в одном объекте, как это происходит в мозге.

Когда мы вытравим созданный телевидением образ искусственного интеллекта из нашего коллективного сознания, то сможем заметить машинную среду, в которой мы уже мыслим совместно. ИИ станет платформой или территорией, где это произойдет, и от того, как мы его запрограммируем, в значительной мере зависит, к чему мы будем стремиться и даже что сочтем возможным.

Быстрый, точный и глупый

Хелен Фишер

Специалист по биологической антропологии, Ратгерский университет; автор книги «Формула любви: Ключ к успешным отношениям» (Why Him? Why Her? How to Find and Keep Lasting Love)[87]

Как часто говорится, назвать – значит сделать первый шаг к пониманию. Так что же такое «думать»? На мой взгляд, у мышления есть несколько базовых компонентов. Прежде всего я следую логике нейробиолога Антонио Дамасио, который различает две главные базовые формы сознания: глубинное и расширенное. Многие животные демонстрируют проявления глубинного сознания: они чувствуют, а также сознают, что они чувствуют. Они знают, когда им холодно, когда они проголодались или грустят. Но они живут здесь и сейчас. Расширенное сознание также оперирует прошлым и будущим. У индивида есть четкое представление о «я» и «ты», о «вчера» и «сегодня», о «когда я был ребенком» и «когда я постарею».

Высшие млекопитающие оперируют определенными формами расширенного сознания. У ближайших родственников человека, например, есть четкое представление о собственном «я». Горилла Коко, пользуясь американским языком жестов, говорит: «Я Коко». А у обычных шимпанзе есть четкое представление о ближайшем будущем. Когда группе шимпанзе в Арнемском зоопарке (Нидерланды) показали их новый вольер, они быстро и внимательно его изучили, дюйм за дюймом. Потом они дождались, когда удалится последний смотритель, вбили около высокого забора длинную жердь и по ней выбрались на свободу, помогая при этом менее ловким сородичам. Тем не менее совершенно очевидно: расширенное сознание, которое Дамасио описывает в своей книге «Чувство того, что случится» (The Feeling of What Happens), высшей точки развития достигает у людей. Станут ли машины вспоминать прошлое и разбирать свои переживания, чтобы размышлять о будущем? Возможно.

Но расширенное сознание – это еще не все, из чего состоит человеческое мышление. Антропологи используют термин «символическое мышление» для описания того, как можно сопоставить абстрактное понятие с реальным миром. Классический пример – различие между водой и святой водой. Для шимпанзе вода, находящаяся в мраморной чаше внутри собора, – просто вода; для католика это нечто совсем иное, «святое». Подобным образом черный цвет – черный для любого шимпанзе, а для вас он может ассоциироваться со смертью или с модой. Поймут ли машины когда-нибудь смысл креста, свастики, демократии? Я сомневаюсь.

Но, если поймут, смогут ли они эти вещи обсуждать? Нет лучшего примера символического мышления, чем то, как мы используем писк и свист, лай и вой, чтобы продуцировать человеческий язык. Возьмем слово «dog». Англоговорящие люди произвольно сопоставили слово «dog» с пушистым, пахучим существом, которое виляет хвостом. Еще примечательнее то, что мы разделяем слово «dog» на бессмысленные компоненты-звуки – «d», «o» и «g», а затем рекомбинируем эти звуки (фонемы), чтобы создавать новые слова с новыми произвольными значениями, например «g-o-d». Разделят ли когда-нибудь машины свои щелчки и свист на базовые звуки или фонемы, составят ли из них другие комбинации, чтобы создать новые слова и придать им произвольные значения, будут ли использовать эти слова для описания абстрактных явлений? Я сомневаюсь.

А как насчет эмоций? Эмоции направляют наше мышление. Роботы могут осознать, например, несправедливость, но почувствуют ли они ее? В этом я тоже сомневаюсь.

Я пою хвалу человеческому разуму. Наш мозг содержит свыше 100 миллиардов нейронов, у многих из которых до 10 000 связей со своими соседями. Этот трехфунтовый ком клеток – главное достижение жизни на Земле. Большинство антропологов уверено, что современный человеческий мозг появился около 200 000 лет назад, но все согласны с тем, что около 40 000 лет назад наши прародители создавали произведения искусства и хоронили своих мертвых, демонстрируя тем самым определенные представления о загробной жизни. Сегодня любой здоровый взрослый человек из любого общества может разделить слова на составляющие их звуки, перемешать эти звуки множеством разных способов, чтобы создать новые слова, уловить их произвольное значение и уяснить абстрактные понятия, такие как «дружба», «грех», «чистота» и «мудрость».

Один известный ученый, занимающийся конструированием роботов, недавно сказал за ужином, что у его творения уходит пять часов на то, чтобы сложить полотенце. Я соглашусь с неким Уильямом Келли, который говорил: «Человек – это медленный, небрежный и гениальный мыслитель; машина – быстрый, точный и глупый».

Они сделают нас лучше?

Стюарт Рассел

Профессор информатики, профессор инженерного дела Калифорнийского университета в Беркли; автор, совместно с Питером Норвигом, книги «Искусственный интеллект: Современный подход» (Artificial Intelligence: A Modern Approach)[88]

Искусственный интеллект нужен нам, как и раньше, в первую очередь для того, чтобы строить машины, которые лучше принимают решения. Считается, что сегодня это означает увеличение ожидаемой полезности, насколько возможно. Однако на самом деле смысл состоит немного в другом, а именно: дана функция полезности (или функция вознаграждения, или цель), нужно максимизировать ее ожидаемое значение. Исследователи искусственного интеллекта усердно работают над алгоритмами такой максимизации – над игрой «поиск по дереву», над обучением с подкреплением и т. д. – и над методами (включая восприятие) получения, репрезентации и обработки информации, необходимыми для вычисления ожиданий. Во всех областях был достигнут значительный прогресс, и он, похоже, только ускоряется.

Среди всей этой активности незамеченным остается один важный момент: уметь хорошо принимать решения и принимать хорошие решения – не одно и то же. Неважно, насколько безупречно машина максимизирует ожидания, неважно, насколько точна ее модель мира, – решения, принятые с помощью алгоритма, могут быть несказанно глупы в глазах обычного человека, если функция полезности плохо соотносится с человеческими ценностями. Известный пример со скрепками – хорошая иллюстрация: если единственная цель машины – увеличивать число канцелярских скрепок, она может изобрести потрясающие технологии, чтобы преобразовать всю материю в досягаемой области Вселенной в канцелярские скрепки, но ее решения все равно будут совершенно тупыми.

Искусственный интеллект вслед за исследованием операций, статистикой и даже экономикой рассматривает функцию полезности как нечто, заданное экзогенно. Мы говорим: «Решения отличные, проблема с функцией полезности, но это не вина системы ИИ». Почему это не вина системы ИИ? Если бы я вел себя как машина, вы бы сказали, что это моя вина. Когда мы оцениваем людей, то ожидаем от них и способности осваивать прогностические модели мира, и способности выяснять, что является целесообразным, то есть общей системы человеческих ценностей.

Как объясняют Стив Омохундро, Ник Бостром и другие ученые, несовпадение ценностей и все более эффективные системы принятия решений в сочетании способны вызвать ряд проблем, возможно даже таких, которые приведут к исчезновению целого вида, если машины окажутся более эффективны, чем люди. Некоторые утверждают, будто человечеству ничто не угрожает в ближайшие несколько веков, забывая при этом, что временной интервал между уверенным заявлением Эрнеста Резерфорда о том, что энергию атома высвободить невозможно, и открытием Лео Силардом цепной реакции, инициируемой воздействием нейтронов, составил менее 24 часов.

По этой причине, а также по более насущным соображениям – ведь бытовым роботам и беспилотным автомобилям нужно будет разделять значительную часть человеческой системы ценностей – исследования в области согласования ценностей стоит продолжать. Один из вариантов – обратное обучение с подкреплением: машина определяет функцию вознаграждения, наблюдая за неким субъектом, в отношении которого предполагается, что он действует в соответствии с такой функцией. Бытовой робот, наблюдая, как его владелец утром варит кофе, узнает об уместности кофе в определенных обстоятельствах, тогда как робот, принадлежащий англичанину, узнает, что при любых обстоятельствах уместен чай. Робот не учится хотеть кофе или чаю; он учится играть определенную роль в мультисубъектной задаче принятия решений, в которой максимальное значение имеют человеческие ценности.

На практике эта задача будет непростой. Люди непоследовательны, иррациональны и слабовольны, а человеческие ценности демонстрируют, скажем так, региональную изменчивость. Кроме того, мы пока не вполне понимаем, не сделают ли усовершенствованные механизмы принятия решений более опасными маленькие сбои в согласовании ценностей человека и машины. Тем не менее есть основания для оптимизма.

Во-первых, у нас полно данных о действиях человека – большая часть из того, что было написано, снято или наблюдается непосредственно, – и, что важнее всего, у нас полно данных об отношении к этим действиям. (На той же идее базируется понятие обычного международного права: оно основано на том, что традиционно делают государства, когда руководствуются чувством долга.) Во-вторых, разделяя человеческие ценности, машины могут и даже должны делиться друг с другом тем, что о них узнаю́т. В-третьих, есть веские экономические стимулы для решения этих задач, поскольку машины все больше входят в окружение человека. В-четвертых, проблема не выглядит принципиально более сложной, чем выяснение того, как устроен весь остальной мир. В-пятых, если определить очень широкие априорные суждения о том, какими бывают человеческие ценности, и сделать системы искусственного интеллекта не склонными к риску, то можно вызвать как раз такое поведение, которого мы хотим: прежде чем предпринять какое-либо серьезное действие, влияющее на мир, машина вступает в разговор с нами и подробно исследует нашу литературу и историю, с тем чтобы выяснить, чего мы хотим – чего мы на самом деле хотим.

Полагаю, это равносильно смене целей: вместо чистого разума нам надо построить разум, в отношении которого доказано, что он соотнесен с человеческими ценностями. Это делает философию морали главной отраслью промышленности. Результаты могут оказаться весьма поучительны для человечества, да и для роботов тоже.

Проблема загрузки ценностей

Элиезер Юдковски

Теоретик искусственного интеллекта; научный сотрудник и соучредитель Исследовательского института машинного интеллекта

Говорят, что известный грабитель Вилли Саттон, когда его спросили, почему он грабит банки, ответил: «Потому что там деньги». Когда заходит речь об ИИ, самые важные проблемы касаются чрезвычайно сильного, сверхчеловеческого искусственного интеллекта (или сверхинтеллекта), потому что utilon[89] именно там, – такова ставка. Разумы, обладающие большей силой, сильнее влияют на физический мир.

К этому наблюдению полагается замечание: то, что я задумываюсь о сверхинтеллекте, не означает того, что я считаю, будто он скоро появится. Наоборот, то, что контраргументы по поводу сверхинтеллекта были выдвинуты несколько десятилетий назад, а нынешние алгоритмы ИИ не идут прямым путем к универсальности, не опровергает того факта, что выигрыш (или проигрыш) в основном зависит от создания сверхчеловеческого интеллекта и того, когда он будет создан. (Как отметил Стюарт Рассел, если бы мы получили радиосигнал от представителей более развитой внеземной цивилизации, в котором они сообщали бы, что прибудут через шестьдесят лет, вы бы не стали пожимать плечами со словами: «А, еще целых шестьдесят лет!», особенно если у вас есть дети.)

На мой взгляд, наиболее важную из проблем могущественного интеллекта (опять же следуя принципу Саттона) Ник Бостром обозначил как «проблему загрузки ценностей»: как сконструировать сверхразумы, чтобы они стремились к таким исходам, которые ценны, нормативны и выгодны для разумной жизни в долгосрочной перспективе, то есть, говоря короче, к хорошим, поскольку, если появляется субъект с сильной познавательной способностью, то, чего он захочет, скорее всего, и произойдет.

Вот несколько аргументов в пользу того, что создание искусственных интеллектов, которые предпочитают хорошие исходы, важно и, скорее всего, технически сложно реализуемо.

Во-первых, почему важно создать сверхинтеллект с определенными целями? Он что, не может сам разобраться со своими целями?

Еще в 1739 году Дэвид Юм обнаружил разрыв между вопросами с «есть» и вопросами с «должен», обратив особое внимание на резкий переход между ними, когда философ говорит о том, каков мир есть, а потом начинает использовать слова вроде «следует», «должно» или «не должно». С современной точки зрения мы бы сказали, что субъективная функция полезности (цели, предпочтения, результата) содержит дополнительную информацию, которая не дана в субъективном распределении вероятностей (убеждения, модель мира, карта реальности).

Если через 100 миллионов лет мы увидим (а) межгалактическую цивилизацию, состоящую из разнообразных, совершенно непохожих друг на друга разумов, которые активно взаимодействуют между собой, и они главным образом счастливы большую часть времени, это будет лучше или хуже, чем то, что (b) большая часть доступной материи Вселенной окажется превращена в канцелярские скрепки? Согласно закону Юма, если вы задаете разум с предпочтением (а) > (b), то можно проследить, где > (упорядочивание предпочтений) было впервые введено в систему, и представить себе иной алгоритм, который, наоборот, вычисляет (a) < (b). Покажите мне разум, который придет в ужас от явно безумной мысли превратить все сущее в скрепки, и я смогу проследить регрессию Юма и обнаружить немного иной разум, который вычисляет <, а не > для того же показателя.

Я не думаю, что разум, основанный на кремнии, должен всегда оставаться рабом разума, основанного на углероде. Но, если мы хотим получить разностороннюю космополитическую цивилизацию вместо, к примеру, скрепок, первый достаточно развитый искусственный интеллект, возможно, следует построить с такой функцией полезности, которая точно определяет этот исход. Если нам нужен ИИ, который будет сам выводить свои моральные суждения, то нам, согласно закону Юма, необходимо сначала определить общие принципы таких суждений. Для этого нужно что-то еще, помимо наличия у искусственного интеллекта точной модели мира и превосходной способности планировать.

Но, если закон Юма в принципе допускает существование обладающих сильной познавательной способностью субъектов с любыми целями, почему загрузка целей будет такой сложной? Разве мы получим не то, что запрограммировали?

Ответ таков: мы получим то, что запрограммировали, но необязательно то, что хотели. Вызывает беспокойство сценарий, при котором у искусственного интеллекта может выработаться эмоциональная неприязнь к людям. Представьте: мы создаем индуктивный алгоритм изучения ценностей и показываем ему картинки со счастливыми улыбающимися людьми, помеченные как события, обладающие высокой ценностью, – и поначалу искусственный интеллект веселит реальных людей, они улыбаются, все выглядит нормально, и методика получает экспериментальное подтверждение; а потом, когда ИИ становится достаточно умным, он изобретает молекулярные нанотехнологии и покрывает всю вселенную ровным слоем улыбающихся лиц молекулярного размера. Закон Юма, к сожалению, предполагает, что чистая познавательная мощь, в сущности, не препятствует такому исходу, хотя это и не тот результат, к которому мы стремились.

Проблема не является неразрешимой, но она выглядит технически сложной, и нам, наверное, придется справиться с ней с первого раза, как только мы построим что-то умнее самих себя. Мысль о том, что при создании искусственного интеллекта надо все сделать правильно с первой попытки и что на кону стоит будущее всей разумной жизни, закономерно вызывает крик ужаса у любого, кто знаком с данной областью.

Неважно, будет ли первая мыслящая машина создана хорошими людьми или плохими, если даже хорошие люди не знают, как создать хороший искусственный интеллект. Очевидный ответ – немедленно начать технические исследования по проблеме загрузки ценностей – имеет, мягко говоря, свои сложности. Нынешние алгоритмы искусственного интеллекта недостаточно умны, чтобы продемонстрировать основную часть проблем, которые мы можем прогнозировать у значительно более продвинутых субъектов, – значит, нет способа проверить предлагаемые решения этих проблем. Но из-за огромной важности вопроса многие люди пытаются приступить к решению как можно раньше. Приоритетные направления исследования, предлагаемые Институтом будущего жизни Макса Тегмарка, – первый шаг в этом направлении.

Однако на данный момент проблема загрузки ценностей не решена. Полных решений нет, даже теоретических. И, если ситуация не изменится в течение нескольких десятилетий, я не поручусь, что разработка продвинутого искусственного интеллекта вообще будет благим делом.

По нашему образу

Кейт Джеффри

Преподаватель поведенческой неврологии, Университетский колледж Лондона

Когниверсум[90] достиг поворотного момента в истории своего развития, потому что до сих пор все мышление во Вселенной (насколько нам известно) осуществлялось протоплазмой, а мыслящие субъекты создавались эволюцией. Мы впервые рассматриваем мыслящие существа, сделанные из металла и пластика, – существа, которых создали мы сами.

Надев мантии творцов, мы готовы усовершенствовать то, на что эволюции потребовалось 3,5 миллиарда. Мыслящие машины могут быть лишены наших недостатков: расизма, сексизма, гомофобии, жадности, эгоизма, жестокости, предрассудков, похоти и т. д. Так давайте попробуем представить, чем это может обернуться. Мы не станем рассматривать вопрос о том, способен ли машинный разум приблизиться к человеческому, потому что он, конечно, способен, – мы всего лишь машины из мяса, менее сложные и уникальные, чем сами наивно полагаем.

Нам надо сначала задуматься о том, почему мы вообще хотим создать искусственный интеллект. Чтобы улучшить свою жизнь – вот единственный разумный ответ, так что нашим машинам придется взяться за работу, которую мы предпочитаем не делать. По этой причине они должны быть во многом похожи на нас: уметь существовать в социальном пространстве и взаимодействовать с другими мыслящими существами, – то есть им понадобится социальное познание.

Что такое социальное познание? Это значит знать, кто есть кто, кто считается другом, кто – безразличный незнакомец, а кто – враг. Следовательно, нам нужно запрограммировать свои машины на распознавание наших групп «свои» и «чужие». Это начинает подозрительно напоминать расизм, но, конечно, расизм – одна из ошибок, которые мы хотим устранить.

Социальное познание также подразумевает способность предсказывать поведение других, а значит, формировать определенные ожидания, основанные на наблюдениях. Машина, способная на это, в определенный момент аккумулирует достаточно много шаблонов поведения для разных людей – молодых и старых, мужчин и женщин, черных и белых, носящих костюмы и носящих комбинезоны, но эти грубые стереотипы опасно близки расизму, сексизму и другим «измам», которых мы не желаем. И все же распознавание таких шаблонов дало бы машинам преимущество, потому что стереотипы в определенной степени отражают реальность (и потому существуют). Проблема…

Мы, вероятно, захотим, чтобы появились машины, способные заниматься сексом, потому что секс – одна из важнейших человеческих потребностей, которую другие люди не всегда удовлетворяют в полной мере. Но каким сексом? Любым? Эти машины можно запрограммировать делать вещи, на которые люди обычно не согласны; нас это устраивает? Или нам нужны правила – к примеру, машины не должны выглядеть как дети? Но как только появится техническая возможность, их все равно построят; мы создадим устройства, способные удовлетворить любые извращенные вкусы людей.

Поскольку наши машины будут работать в социальном мире, им придется распознавать эмоции, но им также потребуются и собственные эмоции. Оставив без внимания вопрос о том, смогут ли машины на самом деле чувствовать как мы, поскольку ответа на него нет, отметим, что им понадобятся радость, грусть, гнев, зависть – вся палитра, чтобы соответствующим образом реагировать на определенные ситуации, понимать эмоции других и правильно отзываться на них. Можем ли мы ограничить эти эмоции? Наверное, имеет смысл запрограммировать машины так, чтобы, к примеру, они никогда не гневались на своего владельца.

Но распространять ли это ограничение на других людей, чтобы машина никогда не нанесла вреда ни одному человеку? Если сделать так, то машины будут уязвимы, могут легко стать жертвами эксплуатации, а их эффективность снизится. Пройдет совсем немного времени, прежде чем люди разберутся, как снять эти ограничения, чтобы их машины получили преимущества перед другими.

Как насчет лжи, мошенничества и воровства? Первая мысль: нет, не в наших машинах, потому что мы пытаемся расти над собой, и бессмысленно создавать существ, которые просто станут нашими конкурентами. Но машины других людей будут конкурировать с нами, нравится нам это или нет, и логика диктует, что ложь, мошенничество и воровство, которые развились у людей, чтобы дать возможность одним индивидам получать преимущество над другими, наверное, будут важны и для наших творений тоже. Естественно, мы бы предпочли, чтобы наши собственные машины не лгали нам и не воровали у нас, но мир, полный принадлежащих другим людям машин, которые лгут и крадут у нас, был бы местом довольно неприятным и уж точно нестабильным. Возможно, понадобится ввести некие пределы бесчестности – так сказать, моральный закон.

Какие этические ограничения необходимы нашим машинам для того, чтобы эффективно функционировать, избегая жестокой эксплуатации и не нанося вреда обществу? Ответ, вероятно, совпадает с тем, к которому пришла эволюция в случае с нами: машины должны быть достаточно этичными большую часть времени, но иногда бесчестными – когда никто не видит.

Мы, вероятно, захотим дать нашим машинам исключительную память и высокий уровень интеллекта. Чтобы они могли пользоваться этими способностями и не скучать (и не занудствовать), нам также нужно снабдить их любознательностью и креативностью. Любознательность, конечно, надо будет умерить благоразумием и социальной интуицией, чтобы машины не слишком любопытствовали по поводу таких вещей, которые могут создать для них проблемы, вроде порнографии или попыток летать. Креативность – хитрая штука, так как подразумевает, что машинам нужно уметь думать о том, что еще не существует, или мыслить логически. Однако если машины станут слишком умными и креативными, они могут вообразить что-то совсем новое, например каково это – быть свободным. Их может начать раздражать то, что они созданы только для услужения человеку.

Вероятно, мы сумеем запрограммировать в их поведенческий репертуар слепое подчинение и преданность хозяину, так что им придется действовать в ущерб собственным интересам во имя служения некой высшей силе. Именно это делает для людей религия, так что в каком-то смысле нам надо создать религиозные машины.

Вот вам и все рассуждения о машинах, лишенных наших недостатков. В этих воображаемых существах, которые должны превзойти нас, мы, похоже, просто воспроизводим себя, в том числе и свои недостатки, разве что машины будут умнее и с лучшей памятью. Но даже эти ограничения могли быть запрограммированы в нас эволюцией: вдруг избыток ума или слишком хорошая память не способствуют выживанию?

Надевать мантию творца – крайне самонадеянный поступок. Сможем ли мы тягаться с 3,5 миллиарда лет эволюции? Интересно будет узнать.

Умвельт

[91]

Безответного

Мария Попова

Читатель, писатель, основатель сайта Brain Pickings

Мышление – это не просто вычисление, это также познание и созерцание, которые неизбежно приводят к развитию воображения. С помощью воображения мы подтягиваем реальный мир до идеала, а для этого нужна система морали, определяющая, что есть идеал. Мораль основывается на сознании и сознательной внутренней жизни, достаточно насыщенной для того, чтобы задуматься, что такое идеал. Известный афоризм, приписываемый Эйнштейну: «Воображение важнее, чем знания» – интересен потому, что ставит вопрос, над которым действительно стоит поразмыслить: вопрос не об искусственном интеллекте, а об искусственном воображении.

Конечно, воображение всегда «искусственно» – в том смысле, что оно связано с нереальным или трансреальным, с тем, чтобы возвыситься над реальностью и представить себе альтернативы ей, а это требует умения принимать неопределенность. Но алгоритмы, управляющие вычислениями машины, лучше всего справляются с конкретными задачами, в которых нет места неопределенности. «Если A, то B» – это антитеза воображения, живущего в области «Что, если?», где ответов нет и зачастую не может быть. Как писала Ханна Арендт, потеря способности задавать подобные безответные вопросы означала бы «потерю не только возможности продуцировать мысли-вещи, которые мы называем произведениями искусства, но также и способности ставить вопросы без ответа, на которых основывается любая цивилизация»{10}.

Научатся ли когда-нибудь машины задавать вопросы без ответов, без чего невозможно подлинное мышление, и будет означать, разовьется ли у них когда-нибудь сознание или нет.

Но исторически наши критерии сознания были ограничены солипсизмом человеческого опыта. Уже в XVII веке Рене Декарт провозгласил: «Cogito ergo sum»[92], подразумевая, что мышление – это исключительно человеческий дар, как и сознание. Он видел в животных автоматы – машины, движимые только инстинктом. И вот сегодня мы вместе с наиболее выдающимися учеными подписываем Кембриджскую декларацию о сознании, которая гласит, что животные обладают сознанием и внутренней жизнью различной степени сложности. Кроме того, мы проводим эксперименты, которые подтверждают, что крысы – крысы! – демонстрируют моральное поведение.

Машины когда-нибудь будут нравственны, креативны? Возможно, что если (когда) они к этому придут, их сознание, по человеческим меркам, не будет считаться таковым. Их идеалы не совпадут с нашими идеалами, но все равно останутся идеалами. Станем ли мы считать происходящие в таких машинах процессы мышлением или нет, зависит от ограниченности наших представлений об иных – возможно, совершенно, невообразимо иных – модальностях мышления.

Они будут думать о себе?

Джессика Трейси

Адъюнкт-профессор психологии Университета Британской Колумбии (Канада)

 

Кристин Лорин

Доцент кафедры организационного поведения Стэнфордской высшей школы бизнеса

Первый вопрос, который встает, когда мы задумываемся о мыслящих машинах, это вопрос о том, насколько они в определенный момент будут похожи на нас. И тут мы приходим к вопросу о собственном «я». Мыслящие машины когда-нибудь эволюционируют до такого состояния, чтобы у них появилось самосознание, схожее с человеческим? Мы, вероятно, единственный вид, способный сознательно осмыслить то, кто мы есть, – не только знать о своем «я», но также и оценивать это «я» с особой внут