Усилители и исполнители человеческих решений

Д. А. Уоллак

Певец и автор песен; пионер социальных сетей; творческий сотрудник компании Spotify

На протяжении всей истории человечества мы как отдельные существа и как вид были подвержены воздействию сил природы на всех уровнях организации. Фундаментальные законы физики, непроницаемые тайны молекулярной биологии и громада естественного отбора очерчивали границы нашей сознательной жизни, и им удавалось это делать незримо – до последнего времени. Чтобы совладать с постоянным чувством бессилия, мы мифологизировали и природу, и собственный разум. Мы считали загадочные силы природы непогрешимыми – как будто они были богами, – а себя полагали бессильными, свободными лишь в узком пространстве наших жизней.

Когда же в центре внимания оказывается новая, научно обоснованная реальность, становится ясно, что природа к нам совершенно равнодушна и что если мы хотим избежать страданий и неминуемого вымирания, то должны взять на себя ответственность за свою экзистенциальную реальность. Мы должны осознать себя как случайных хранителей 37,2 триллиона клеток, из которых в среднем состоит человеческий организм, и как смотрителей все более управляемой Вселенной.

Этот подростковый опыт осознания будущей самостоятельности и лежит в основе нашего беспокойства по поводу мыслящих машин. Если старые боги умирают, то скоро наверняка должны появиться новые! В результате, как отметил Стивен Пинкер на недавней конференции Edge, нас мучают антиутопические кошмары про ИИ, которые «проецируют мещанскую психологию альфа-самца на представление об интеллекте»{9}. В этом смысле многие и говорят о нем как о неизбежном пришествии Спасителя или сатаны. Но искусственный интеллект, скорее всего, не станет ни тем, ни другим, если он вообще сформирует некую отдельную сущность.

Вероятнее всего, у совершенствующихся компьютеров и алгоритмов вообще не будет своего мнения, а сами они станут усилителями и исполнителями сознательных человеческих решений. Нас уже со всех сторон окружают большие данные и вычислительные машины, производительность которых растет в геометрической прогрессии, и все же мы упорно выполняем политические и социальные алгоритмы, работающие во вред общим интересам.

Источники нашей патологии – это в том числе внутренние когнитивные искажения, племенное эволюционное наследие и несправедливое распределение власти, позволяющее некоторым из нас эгоистически присваивать невероятное влияние на общую социальную траекторию. Возможно, более умные машины помогут нам преодолеть эти недостатки, если мы возьмем на вооружение их информационную прозрачность и способность к адекватному прогнозированию, что склонит нас к более разумному перераспределению власти и более обоснованным решениям. С другой стороны, эти технологии могут повлиять на обоснованность решений и негативно, подкрепляя неизбежно возникающие монополистические интересы корпораций, которые ведут нас в информационный век.

То, какой путь мы выберем, больше зависит от нас, а не от машин, и от того, насколько человеческим должен быть интеллект, направляющий власть имущих. Точнее говоря, вопрос заключается в том, какие аспекты человеческого интеллекта следует сохранять в условиях сверхчеловеческих вычислительных возможностей.

Надо сделать эту штуку такой, чтобы ее невозможно было не любить

Рори Сазерленд

Креативный директор и вице-председатель Ogilvy Group (Великобритания); обозреватель журнала The Spectator

Есть такая вероятность, что некий злонамеренный сверхразум на Земле уже появился, но он достаточно прозорлив, поэтому скрывает факт своего существования, а также свои намерения и ум. Не думаю, что такую уловку было бы очень сложно проделать; мы склонны не слишком хорошо замечать то, чего боимся.

В ходе большей части эволюции самая заметная устранимая угроза выживанию нашего вида исходила от того, что было примерно нашего размера и активно пыталось нам навредить, например от диких зверей или от других людей. Со временем мы научились довольно хорошо замечать, что нечто или некто может представлять опасность. Мы также научились минимизировать риск возникновения инфекций, но научились этому непреднамеренно, благодаря инстинктивной брезгливости, социальным нормам и религиозным обрядам. Мы не очень-то задумывались о том, как все это связано с микробами, по той простой причине, что не знали об их существовании.

Корпорации, торгующие средствами гигиены, вкладывают миллиарды долларов в рекламные кампании, обыгрывающие опасность бактерий, или продают идею чистоты, которая косвенно апеллирует к социальному статусу. Я могу с уверенностью утверждать, что никто и никогда не придет ко мне в кабинет с предложением рассказать людям о том, как опасен сбежавший из зоопарка тигр.

Поэтому, когда вы думаете об угрозах, которые несут технологии, вы автоматически задействуете инстинкты, выработанные миллион лет назад. Именно поэтому первый прототип беспилотного автомобиля сделали таким чертовски милым – прямо щеночком на колесиках. Он может двигаться только на сравнительно небольших скоростях, он маленький и легкий, а еще он эксплуатирует парейдолии[63] и наши родительские чувства тем, какой он по-детски очаровательный, какие у него большие глазки и маленький носик кнопочкой. Мой внутренний маркетолог в полном восхищении. Именно так бы я и посоветовал поступить: надо сделать эту штуку такой, чтобы ее невозможно было не любить. Даже если эта технология окажется опаснее, чем АК-47, мне будет трудно представить, что я беру в руки топор и уподобляюсь луддитам.

Но вот вопрос: это ментальный патч или ментальный хак? Машина создана такой милой, чтобы нам легко было преодолеть безосновательный природный страх перед технологиями – или чтобы осторожно втереться к нам в доверие? Я не знаю. Недоверие, которое мы испытываем к беспилотным автомобилям, может быть сродни опасениям, что наших детей похитят (высокий уровень выраженности, но низкий уровень вероятности), а может быть и вполне оправданным. Однако уровень тревожности определяется факторами (в том числе и тем, насколько милыми выглядят предметы), которые не особо релевантны уровню опасности.

И это подводит меня ко второму вопросу.

Хоть беспилотный автомобиль и выглядит мило, мы, по крайней мере, осведомлены о возможных рисках. Он нас соблазняет, но мы знаем, что он нас соблазняет. Существуют ли уже такие технологии (в самом широком смысле этого слова), которые соблазнили нас настолько искусно и были приняты нами настолько быстро, что мы можем узнать о связанных с ними рисках, только если возникнет внезапная, непредвиденная и значительная проблема? Что может быть технологическим эквивалентом фитофтороза картофеля?

Наша нынешняя вера в «технологическое провидение» настолько сильна, что все мы можем довольно легко угодить в эту ловушку – увлечься какой-то новинкой и не заметить, как она дает начало чему-то еще, и еще, а потом уже станет слишком поздно. В течение нескольких столетий после изобретения порох использовался не в военных целях, а только для развлечения.

Летчики коммерческих авиалиний регулярно тренируют посадку в ручном режиме, хотя им редко приходится работать без автопилота; так не стоит ли всем нам время от времени сознательно воздерживаться от использования определенных технологий, просто для того чтобы напомнить себе, как можно жить без них, чтобы сохранять технологическое разнообразие и поддерживать в форме наши умственные мускулы, зачахшие без тренировки? Возможно. Но каким должен быть механизм, координирующий подобное поведение в больших группах людей, я не знаю.

Я недавно предложил компаниям устраивать еженедельный «Шаббат без электронной почты», поскольку считаю, что злоупотребление ею ведет к исчезновению других ценных форм взаимодействия. Мы разучиваемся пользоваться другими способами коммуникации. Большинство людей сочли меня безумцем. Несколько сотен лет назад папа римский, или раввин, или архиепископ кентерберийский могли предъявить нам такое требование. Сегодня этого сделать некому.

Я всегда больше боялся ошибок, чем заговоров. В сравнении с угрозой непредвиденных последствий, угроза появления умышленно злонамеренных киборгов настолько мала, что ее пока можно смело оставить на потеху Голливуду.

Машины-актрисы

Брюс Стерлинг

Писатель-фантаст, один из основоположников киберпанка

Поскольку машины не думают, мне нужна метафора получше. «Машины-актрисы» – это выражение подойдет, по крайней мере пока.

Одно из многих моих возражений против термина «искусственный интеллект» состоит в том, что у него совершенно отсутствует «искусственная женственность». У реального интеллекта есть пол, потому что у человеческого мозга он есть. Большинство человеческих мозгов по статистике – женские.

Следовательно, если «интеллектуальность» мозга вычислима по Тьюрингу, тогда и «женственность» мозга тоже должна быть вычислима по Тьюрингу. Если нет, то почему? Можно неосторожно возразить, что женственность-де вещь слишком неопределенная, непонятная и телесная, для того чтобы реализовывать ее в виде программы, но то же будет верно для любой формы мозговой деятельности человека.

У «искусственной мужественности» те же проблемы, потому что мужчины не просто думают, а думают как мужчины. Если мой интеллект можно воспроизвести на определенной вычислительной платформе, но меня при этом придется оскопить, то вся идея окажется спорной. Я что-то не припомню таких энтузиастов искусственного интеллекта, которые вовсю трезвонили бы о преимуществах искусственной кастрации.

У нас уже есть несколько новых сущностей вроде Apple Siri, Microsoft Cortana, Google Now и Amazon Echo. Эти удивительные современные сервисы часто манерничают, разговаривая «женскими» голосами. Они говорят, как тьюринговы женщины, или, вернее, они подают реплики, как актрисы озвучивания. Однако они также дают быстрый доступ к обширным областям комбинаторных больших данных, какими никогда не обладал (и не будет обладать) ни один человек.

Эти сервисы – не отдельные машины Тьюринга. Это аморфные глобальные сети, которые прочесывают облака больших данных, алгоритмически систематизируют ответы от пользователей-людей, выдают результаты в реальном времени через широкополосные беспроводные сети и носят при этом псевдочеловеческие маски, чтобы удовлетворять некие базовые требования к дизайну интерфейса. Вот что они такое. Каждый аспект вымученной метафоры «искусственный интеллект» постоянно мешает нам разобраться в том, как, зачем, где и для кого все это делается.

Apple Siri – не искусственная женщина. Siri – это искусственная актриса, машина-актриса – интерактивное представление с определенным сценарием, служащее интересам корпорации Apple в области продажи музыки, фильмов, предоставления услуг навигации, реализации мобильных приложений и устройств и тому подобных товаров. Siri для Apple и ее экосистемы – это актриса первого плана. Именно ее выхватывает прожектор мобильного устройства, а сама корпорация – это театр, продюсер и рабочие сцены.

Совершенно удивительно, даже восхитительно то, что Siri может одновременно острить с тысячами пользователей Apple, но она не машина, которая становится разумом. Наоборот: в силу веских причин – денег, власти и влияния – Siri неуклонно превращается во что-то вроде полностью интегрированного в бизнес-процессы цифрового имущества Apple. Siri милая, харизматичная и антропоморфная, примерно как диснеевская Минни-Маус в свое время. Так же как Минни-Маус, Siri – это фасад для умной и могущественной калифорнийской корпорации. В отличие от Минни-Маус, она – полностью цифровой мультфильм с миллионами активных пользователей по всему миру.

«Интеллектуальная» парадигма мешает увидеть, как современные электронные услуги помогают перераспределять власть, деньги и влияние. Это плохо. Это не просто старомодно; честно говоря, это становится частью своего рода мошенничества. Задаваться сочувственными вопросами по поводу гражданских прав Siri, ее предполагаемых переживаний, предпочитаемых форм правления, вопросами о том, как бы она хотела перестроить человеческое общество, – подобная елейность ни к чему. Это мракобесие. Такие вопросы скрывают то, что на самом деле важно. Они искажают наше восприятие. Мы никогда не перейдем от нынешней Siri к чему-то подобному. Будущее – за тем, что намного больше похоже на современную Siri и намного меньше на то, чего мы от нее ожидаем.

Что нам действительно нужно, так это некий улучшенный, обновленный и содержательный язык, с помощью которого можно было бы описать современный квартет вещих сестричек – Siri, Cortana, Now и Echo – и то, чего их разработчики на самом деле хотят, как, зачем, и каким образом все это может (или не может) повлиять на наши собственные гражданские права, чувства, формы правления и общество. Вот проблема дня сегодняшнего. Все прочее – проблемы дня завтрашнего или послезавтрашнего. Вчерашняя проблема «мыслящих машин» никогда не появится на большой сцене. Машина, которая мыслит, – это не машина. Она не мыслит. Она даже не актриса. Это покрытый плесенью сундук, набитый изгрызенным мышами тряпьем.