Технологическое совершенство

Довольно часто агент будет иметь инструментальные причины добывать более совершенную технологию - это просто означает, что он будет искать более эффективные пути преобразовывать нечто данное ему изначально в то, что он считает необходимым. Для агентов-программ это может означать поиск более эффективных алгоритмов, которые позволят их мыслительным функциям работать быстрее на данном оборудовании. Подобным образом, те агенты, чьи конечные цели требуют от них быть воплощёнными в виде какого-то физического объекта, могут поставить себе промежуточной целью совершенствовать инженерные технологии, связанные с их собственным устройством. В общем, инструментальной целью для них может стать разработка таких технологий, которые позволят им создавать разнообразные структуры быстрее и надёжнее, используя для этого меньший объём материала или более доступные материалы, и заодно расходуя меньше энергии. Конечно, здесь будет иметь место компромиссное решение: потенциальная выгода от лучшей технологии должна быть больше, чем затраты на её создание - причём в цену будет включаться не только затраты на получение технологии, но также и затраты на её изучение, интеграцию в совместное использование с другими - уже используемыми технологиями, а также многое другое.

Сторонники какой-нибудь новой технологии, уверенные в её превосходстве над существующими альтернативами, нередко огорчаются, когда другие люди не разделяют их энтузиазма. Однако, неприятие людьми неизвестного — а заодно и технологий, которые судя по всему, будут эффективнее существующих — не обязательно основывается на невежестве или нерациональности. Восприятие технологии зависит не только от контекста, в котором она развёртывается - но и от точки зрения, с которой оцениваются её последствия: то, что будет благом для одного человека, другому может принести дополнительные проблемы. Так, хотя механизированные ткацкие станки и увеличили экономическую эффективность текстильной промышленности - ллудиты, ткавшие ранее на ручных станках, обнаруживали, что теперь их ремесленные навыки устарели. То есть, у них были весомые инструментальные причины противостоять этому нововведению. В общем, если термин "технологические предпочтения" рассматривать как признак, характерный для инструментальных целей широкого диапазона разумных агентов - то этот термин должен пониматься в рамках социального контекста, а затраты и выгоды от некоторых технологий должны оцениваться с ссылками на первичные ценности определённых агентов.

Но можно предположить, что сверхразумный синглетон — т. е. сверхразумный агент, у которого не будет приближающихся к нему по уровню интеллекта соперников, и который потому сможет в одностороннем порядке определять глобальную политику, будет иметь инструментальные причины совершенствовать те технологии, которые позволят ему придать окружающему миру ту форму, которую он пожелает¹⁰. Скорее всего, это будет включать технологию колонизации пространства - например, разработку автоматических зондов фон Неймана - запрограммированных космических кораблей, способных к самовоспроизводству и починке. Эти зонды помогут ему расширить своё влияние за пределы Солнечной системы. Нанотехнологии - или какие-то альтернативные ей, более мощные в области манипуляций с физическими объектами технологии - также будут весьма полезны в весьма широком диапазоне конечных целей¹¹.

Овладение ресурсами

Наконец, завладение новыми ресурсами может стать ещё одной инструментальной целью - причём по той же самой причине, что и овладение более совершенными технологиями: как новые технологии, так и новые ресурсы предоставляют больше возможностей для реализации каких-либо проектов.

Люди стремятся овладевать ресурсами ради удовлетворения своих базовых биологических потребностей. Но помимо этого, люди пытаются завладеть количеством ресурсов гораздо превосходящим минимально необходимый им уровень. Последнее может быть мотивировано например желанием создать себе удобные и комфортные условия существования. Также, большое накопление ресурсов может быть вызвано влиянием общества - например, желанием получить положение в обществе, товарищей, друзей и влияние. Социальная среда может побуждать человека стремиться к богатству и статусному потреблению. Реже люди стремятся овладеть ресурсами для достижения каких-либо альтруистических целей или целей, не связанных со взаимодействием с обществом.

Основываясь на вышесказанном можно прийти ко мнению, что сверхразумы, не взаимодействующий с обществом конкуренции, не будут иметь инструментальных причин накапливать ресурсы больше некоторого умеренного уровня - например, это касается вычислительных ресурсов, необходимых для поддержания работоспособности разума ИИ в некоторой виртуальной реальности. Тем не менее, подобное предположение является совершенно неоправданным. Во-первых, ценность ресурсов зависит от целей, на которые они могут быть применены - что в свою очередь, зависит от имеющихся доступных технологий. Имея достаточно развитые технологии, такие ресурсы, как время, пространство, материя и всевозможные формы энергии могут быть использованы для практически любой цели. Например, эти базовые ресурсы могут быть использованы для поддержания жизни. Увеличение вычислительных ресурсов может быть использовано для работы сверхразума с большей скоростью и на более длительное время - или для создания дополнительных как физических, так и моделированных (виртуальных) живых существ или цивилизаций. Дополнительные физические ресурсы также могут быть использованы для создания систем защиты и повышения безопасности. Подобные проекты могут даже задействовать гораздо больше ресурсов, чем содержит одна планета.

Кроме того, цена добычи дополнительных ресурсов, находящихся вне земли, будет резко падать по мере совершенствования технологий. Как скоро зонды фон Неймана будут созданы, большая часть обозреваемой вселенной (из предположения, что она уже не занята разумной жизнью) будет постепенно колонизирована - и цена тому будет создание единичного работающего самовоспроизводящегося зонда. Столь низкая цена колонизации Вселенной обозначает, что экспансия случиться даже если ценность приобретения дополнительных ресурсов упадёт практически до нуля. То есть - например - если первичной ценностью некоторого сверхразума является забота исключительно о том, что произойдёт в некоторой ограниченной области пространства - например, вокруг его родной планеты - то даже в этом случае у него появится инструментальная причина добывать ресурсы из окружающего космоса. Так, этот излишек материалов может быть использован, чтобы сделать компьютеры для расчёта более эффективных способов использования ресурсов той части пространства, на котором сосредоточено основное внимание. Также его можно использовать для создания более мощной защиты своего дома. Покуда цена захвата новых ресурсов будет продолжать уменьшаться, процесс оптимизации и усиления защиты будет продолжаться - даже если польза от него начнёт резко падать¹²¹³.

В общем, весьма широкий диапазон конечных целей сверхразумного синглетона приведёт к появлению у того инструментальной цели, заключающейся в неограниченном захвате ресурсов. Наиболее вероятное проявление этой цели у сверхразумного существа будет заключаться в инициализации процесса колонизации космоса с помощью зондов фон Неймана. Грубо говоря, этот процесс можно представить как инфраструктуру, имеющую центр на родной планете сверхразума, и неограниченно растущую во все стороны со скоростью света; колонизация космоса таким образом будет продолжаться до тех пор, покуда ускоряющееся расширение космоса (в случае положительной космологической постоянной) не сделает добычу новых материалов физически невозможной ввиду того, что отдалённые регионы окажутся вне досягаемости¹⁴. С другой стороны, агенты, которые не владеют технологиями, необходимыми для приобретения недорогих ресурсов или для преобразования универсальных физических ресурсов в полезную инфраструктуру, могут найти для себя нерентабельным вкладывать какие-то усилия в то, чтобы увеличивать свой запас ресурсов. Аналогичное верно и для агентов, которые работают в среде, где они вынуждены конкурировать с другими агентами примерно одинаковой силы. Например, если некоторые агенты уже заполучили конкретные космические ресурсы, то позже появившийся агент может уже не иметь возможности заниматься космической колонизацией. Какие будут общие инструментальные цели у сверхразумных агентов, неуверенных в небытии других сверхразумных агентов - этот вопрос осложнён стратегическими соображениями, которые мы ныне не до конца понимаем - но наверняка важной их частью будут те инструментальные цели, которые мы выше рассмотрели¹⁵.

Стоит подчеркнуть, что наличие схожих инструментальных причин - даже если они применимы к некоторому агенту и имеют для него место - не означает, что поведение этого агента будет легко предсказуемым. Некоторый агент запросто может придумать такие способы достижения определённых инструментальных целей, которые для нас будут не очевидны. Это особенно будет верно для сверхразумных агентов, ибо они благодаря своему разуму наверняка смогут изобрести абсолютно не очевидные способы достижения своих целей - с применением возможно даже ещё не открытых физических законов. Однако, здесь утверждается предсказуемость того факта, что у агентов будут некоторые общие - конвергентные инструментальные ценности - которые агенты будут преследовать ради достижения своих конечных целей. А вовсе не предсказуемость самих способов достижения этих целей.

Сноски

1. Стивен Омохундро как-то написал две пионерские работы на эту тематику (Омохундро 2008а, 2008б). Сам Омохундро стоит на том мнении, что развитые системы искусственного интеллекта, скорее всего, будут обладать некоторым набором "базовых мотиваций" - а именно "у каждого из них будут присутствовать определённые тенденции в поведении, если конечно в них не будет заложено нечто, им явно мешающее". Термин "побуждение ИИ" имеет то преимущество, что он короток и легко запоминается, но у него есть и недостатки, а именно - он может создавать впечатление, что механизм промежуточных целей, к которым стремится ИИ, будет непременно подобен психическим механизмам, по которым принимают решения люди. Мол, у человека есть этакий груз на его душе, инерцию которого иногда удаётся преодолеть с помощью силы воли. Эти ассоциации скорее вредны для понимания. Так, никто не скажет, что для людей характерно "побуждение" уплатить налоги - хотя конечно же уплата налогов является распространённой инструментальной целью для людей современного общества (то есть целью, реализация которой устраняет многие другие проблемы, препятствующие достижению других целей). Наше ведение ситуации впрочем отличается от точки зрения Омохундро в других, более мелких деталях - хотя основная идея у нас с ним совпадает (смотри также труды Чалмерса 2010 и Омохундро 2012).

2. см. Численко (1997).

3. смотри также труды Шульмана (2010).

4. Также агенты могут поменять ведение своей цели, если изменяется их ведение мира. В таком случае они вынуждены будут корректировать своё старое представление в соответствии с новым взглядом на мир.

5. Ещё один вид факторов, которые могут побудить склонный к теоретизированию интеллект предпринять некоторые действия - включая перемену своих конечных целей - это рассуждения методом переноса свойств. Например, агент, следующей некоторой теории решений может прийти к выводу, что во вселенной существуют другие, подобные ему агенты - и что его собственные действия могут предоставить информацию об их поведении. На основании этого агент может адаптировать свои конечные цели в более альтруистическом ключе по отношению к подобным ему агентам - основывая сие на том, что это побудит их поступить так же. Впрочем, эквивалентный результат может быть достигнут без смены своих конечных целей. Например, если агент решит действовать так, как будто бы у других уже есть требуемые конечные цели.

6. Имеется много литературы по психологии, которая касается образования адаптивных предпочтений. Смотри например труды Форгаса (2009).

7. В формальной модели ценность информации принимается как разность между ожидаемым количеством реализуемых оптимальных решений, принимаемых без учёта некой информации - и ожидаемым количеством реализуемых оптимальных решений, принимаемых с учётом этой информации (Смотри например, Рассел & Новриг, 2010). Отсюда следует, что ценность информации не может быть негативной. Также отсюда следует, что вы можете быть уверены - если некоторая информация не окажет никакого влияния на ваши решения, то её ценность будет нулевой. Однако, подобная модель предполагает некоторую идеализацию, и потому не всегда применима к реальному миру, ибо само по себе знание в общем случае не имеет первичной ценности, т.е. оно имеет лишь инструментальную ценность и не является самоценностью. Кроме того, одни разумные агенты не обязаны быть понятными для других разумных агентов.

8. Подобную стратегию хорошо демонстрирует личинка морского шприца, которая свободно плавает, пока не находит себе подходящий камень - к которому она потом прочно прикрепляется. Перейдя к оседлому существованию, личинка испытывает куда меньшую потребность в сложных процессах обработки информации; посему она переваривает часть собственного мозга (свой церебральный ганглий). Академики иногда могут наблюдать подобное у некоторых своих коллег, которые надолго засиделись на одном месте.

9. Смотри Бостром (2012).

10. см. Бостром (2006).

11. Тут следует рассмотреть причины, которые могут побудить синглетон не развивать некоторые возможные технологии. Эти причины могут быть такими: (а) Синглетон предвидит, что он не будет иметь возможности использовать некоторый технологический потенциал; (б) Затраты на разработку будут слишком велики по сравнению с полученной выгодой. Второй вариант будет иметь место, например, когда технология никогда не будет достаточно подходящей для достижения какой-либо конечной цели синглетона - или если например синглетон по своей природе весьма осторожен и консервативен - что будет препятствовать ему вкладывать ресурсы в новшества; (в) Конечные цели синглетона включают в себя требование воздерживаться от разработки некоторых технологий; (г) Если синглетон не будет уверен в том, что развитие некоторой отрасли сохранит стабильность окружающей обстановки. Аналогично, если синглетон не будет уверен в том, что пути развития новой технологии в конечном счёте не сделают условия для него менее благоприятными. Так например, мировое правительство может не захотеть развивать технологии, которые могут спровоцировать восстание - даже если будут иметься способы их применения, полезные для мирового правительства. Например, оно не будет развивать технологии лёгкого производства оружия массового поражения - ибо последнее может посеять в обществе хаос, что в итоге может привести к свержению правительства. Наконец, (д) таким же образом, синглетон может иметь какие-то другие стратегические соображения не развивать определённую технологию - даже если на настоящее время она будет приносить пользу (Заметьте однако, что некоторые нынешние факторы, являющиеся причиной развития технологий, будут недейственными по отношению к синглетону: это, например, касается факторов, способствующих гонке вооружений).

12. Представьте, что цена добычи ресурсов с течением времени растёт по экспоненциальному закону, а поскольку скорость обмена информации ограничена скоростью света - скорость добычи ресурсов может расти лишь в полиномиальной скорости. Означает ли это, что начиная с некоторого момента агент не будет иметь причин продолжать захват ресурсов? Нет - потому что хотя ценность новых ресурсов в будущем будет асимптотически стремиться к нулю - так же будет вести себя и стоимость их добычи. За 100 миллионов лет стоимость отправки очередного зонда фон Неймана (возможно, с использованием некоторых ресурсов, приобретённых за некоторое короткое время в прошлом) будет уменьшаться (с учётом постоянного коэффициента) так же, как будет уменьшаться ценность тех дополнительных ресурсов, которые этот зонд сможет добыть.

13. Даже если агент имеет очень ограниченную конечную цель вроде "сделать 32 скрепки для бумаги", если у него не установлено предела на стоимость достижения своей цели, он может начать бесконечно захватывать ресурсы. Например, даже после того, как сосредоточенный целиком на одной цели агент сделает 32 скрепки для бумаги, он может решить захватить некоторое количество дополнительных ресурсов, чтобы удостовериться, что он действительно успешно сделал именно 32 скрепки для бумаги в соответствии со всей спецификацией (и, если надо, подкорректировать результаты своей работы). Когда он сделает это, он может решить запустить вторую пачку тестов - чтобы быть вдвойне уверенным в том, что не было допущено ошибок. Поле чего он будет запускать ещё новые тесты, и ещё. Отдача от последующих тестов будет круто идти вниз. Но покуда агент не будет побуждён сделать что-то другое - более важное для него, чем его первоначальная цель - он будет продолжать выполнять свои тесты (и будет продолжать добычу ресурсов для продолжения своих тестов).

14. В то время, как объём пространства, охваченного зондами, будет иметь сферическую форму, и расти будет пропорционально квадрату времени с момента запуска первого зонда (то есть пропорционально t 2), количество ресурсов, содержащихся в охваченном объёме, будет расти не столь равномерно - так как распределение ресурсов в космосе неоднородно, и имеет несколько особенностей. Первоначально, темпы роста будут примерно соответствовать квадратичному закону - покуда будет колонизироваться родная планета; затем на графике зависимости количества добытых ресурсов от времени в моменты достижения ближайших планет и звёздных систем будут наблюдаться резкие скачки вверх. Затем, кривая доступных ресурсов станет более плавной - по мере колонизации диска Млечного Пути ситуация приблизиться к тому, что количество добытых ресурсов будет расти пропорционально пройденному времени. Новые скачки будут наблюдаться, когда волна колонизации будет достигать ближайших галактик - в перспективе зависимость количества добытых ресурсов от времени снова станет квадратичной, если считать распределение галактик равномерным. Наконец, новые скачки будут наблюдаться при достижении соседних скоплений - а затем, и сверхскоплений. Но в конечном счёте скорость роста количества ресурсов начнёт снижаться и достигнет нуля - ибо расширение Вселенной ускорится до такой степени, что последующая колонизация станет невозможной.

15. В свете этого особое значение может иметь гипотеза симуляции. Сверхразумный агент может выдвинуть предположение - мол, есть значительная вероятность того, что он живёт в смоделированном на компьютере мире, и всё наблюдаемое им генерируется другим сверхразумом. Подобный путь размышления также может породить схожие инструментальные цели у самых разных агентов - которые будут зависеть от предположений агента в отношении того, в какой именно симуляции он скорее всего оказался. Подробнее - см. Бостром 2003.

Заключение

Ортогональный тезис наталкивает нас на мысль, что мы не имеем права самоуверенно утверждать, что сверхразум непременно будет иметь какие-то первичные ценности, которые мы обыкновенно ассоциируем с мудростью и разумной созидательной деятельностью у людей - такой, как например научные исследования, забота о других, духовное просвещение и созерцание, отказ от материального стяжательства, вкус к утончённой культуре и простым удовольствиям жизни, смирение, бескорыстие и так далее. Эти ценности могут иметь место, если мы целенаправленно построим обладающий ими сверхразум. Или может мы создадим такой сверхразум, который ценит людское благополучие, моральное совершенство или любые другие сложные ценности, какие только вложат в него создатели. Но вполне возможно - и, вероятно, технически легче - создать сверхразум, который будет считать важным лишь одно дело: высчитать как можно больше десятичных знаков числа π.

Тезис инструментальной конвергенции подсказывает нам, что мы не можем беспечно утверждать, что сверхразум с конечной целью вроде высчитать как можно больше десятичных знаков числа pi (или понаделать бумажных скрепок, или пересчитать все песчинки) будет ограничивать свою деятельность так, чтобы не ущемлять интересы человека. Агент с подобными конечными целями в большом диапазоне ситуаций будет иметь конвергентные инструментальные причины захватывать неограниченное количество ресурсов - и, если это возможно, уничтожить все потенциальные опасности для своего существования и для достижения своей цели¹. Можно попробовать добиться ситуации, когда для агента следовать своим инструментальным (а заодно, и конечным) целям лучше всего будет так, чтобы при этом содействовать благосостоянию людей - например, действуя морально или служа некоторым благородным целям, которые заложили в него его создатели. Тем не менее, если такой агент может попасть в другую ситуацию, где ему понадобиться вычислить большее количество знаков числа π - и если он ради этого может пойти против человечества вместо того, чтобы сотрудничать с ним - то значит, его поведение может принять зловещий характер. Это указывает на опасность того, чтобы опираться на инструментальные ценности как на гарант безопасного поведения тех искусственных агентов, которые в будущем могут стать сверхразумными, и которые смогут использовать свой сверхразум для достижения экстремальных уровней власти и влияния².

Footnotes

1. Люди также являются потенциальной угрозой - поскольку они потребляют физические ресурсы.

2. За комментарии и обсуждение я благодарен Стюарту Армстронгу, Гранту Бартлею, Овейну Эвансу, Лизе Маркос, Люку Мюхлхаузеру, Тоби Орду, Брайну Рабкину, Ребекке Роэч, Андерсу Сандбергу и трём анонимным собеседникам.