Глава 1. Ортогональность мотивированности и интеллекта

Глава 1. Ортогональность мотивированности и интеллекта

Уйти от антропоцентризма

Если мы попытаемся представить пространство всевозможных разумных сущностей - то всему множеству человеческих разумов там будет отведена маленькая и узкая область. Персональные отличия между скажем Анной Арендт и Бенни Хиллом нам могут показаться огромными - но это лишь потому, что наша шкала суждений калибрована на существующем человеческом материале. В широком пространстве всех логически допустимых возможностей эти две личности почти неотличимы. По крайней мере в терминах нейронной архитектуры они почти одинаковы. Представьте их мозги, лежащие бок о бок в спокойствии. Отличие между ними будут выглядеть незначительными, и наверняка вы посчитаете их идентичными; вы наверняка даже не сможете определить, где чей мозг. И если вы попытаетесь детально изучить их строение под микроскопом, ощущение их почти полной схожести лишь возрастёт: вы увидите одинаковую слоистую структуру их коры, сделанную из нейронов одного типа, да и обволакивающая их межнейронная жидкость будет иметь тот же состав¹.

Нам хорошо известно, что наивный наблюдатель склонен антропоморфизировать свойства неодушевлённых систем. Мы, например, можем сказать: "Этот торговый автомат долго думал над моим горячим шоколадом". Это может привести к недооцениванию когнитивной сложности систем, которые естественны для человека - таких, как управление движением и сенсорное восприятие - или это же может привести к приписыванию значительной степени осознанности и разумности очень глупым системам вроде чат-ботов - таких как Weizenbaum ELIZA (Weizenbaum, 1976) Более того, существует тенденция антропоморфизировать мотивации разумных систем - в то время как нет основания приписывать их схожие с человеком побуждения и желания (близкий пример - "Моя машина не хочет ездить этим утром"). Елиезер Юдовски предоставляет хорошую иллюстрацию этого феномена:

Пример из дешёвой научной фантастики - на обложке журнала изображено разумное инопланетное чудовище — космический термит - который держит привлекательную женщину в рваном платье. Кажется, художник уверен, что нечеловекоподобный пришелец с совершенно другой эволюционной историей найдёт человеческих женщин привлекательными… А может, иллюстратор и не задавался вопросом — а должен ли вообще гигантский термит считать человеческих женщин красивыми. Скорее всего, художник просто посчитал женщину в рваном платье самой по себе сексуальной, инстинктивно приписав ей подобное свойство. Те, кто делают подобную ошибку, не задумываются о природе разума насекомого: их внимание целиком остаётся сосредоточенным на рваном платье женщины. А если бы платье не было разорванным, женщина была бы менее сексуальной - но ведь гигантскому термиту все равно - (Юдовски, 2008).

Мотивации искусственного интеллекта могут оказаться куда менее похожими на человеческие, чем мотивации космического пришельца. Внеземные (допустим, что они существуют) биологические существа развились в процессе эволюции - и потому можно ожидать, что в их мотивациях есть нечто общее. Например, для нас не будет сюрпризом обнаружить, что какой-то наугад выбранный разумный пришелец имеет побуждения, связанные с тем, чтобы добывать или избегать определённой пищи, температурных условий, иметь доступ к воздуху, получать энергию, остерегаться телесных повреждений, болезней и хищников. Также он будет иметь стремления, связанные с размножением и защитой потомства. Член общества разумных существ также будет наделён мотивациями, связанными с кооперацией и конкуренцией: например, он может показывать групповую лояльность, зависть к халявщикам, и даже иметь концепции репутации и приличия.

Но компьютерный разум вовсе не обязан как-то интересоваться чем-то подобным. Вообще. Так, можно представить себе искусственный интеллект, главной целью которого является подсчёт количества песчинок на берегах острова Боракай, или высчитывание как можно большего количества десятичных цифр числа π. Или он будет стремиться сделать как можно больше скрепок для бумаги. Более того, легче создать ИИ с простыми целями вроде этих - чем сделать ИИ с набором ценностей и с психологией, которые бы чем-то походили на человеческие.

Тезис ортогональности.

Ради наших целей под "интеллектом" можно понимать возможность агента к инструментальным рассуждениям (подробнее - позже). Разумная деятельность сводится к поиску оптимальных способов и путей к достижению какой-либо цели. Разумность и набор целей вместе с мотивированностью в этом смысле могут быть рассмотрены как пара осей на плоскости, а конкретные точки этой плоскости представляют конкретных разумных агентов с определёнными характеристиками. Все точки такой плоскости представляют логически всевозможных разумных агентов - впрочем, для реальных агентов должны быть некоторые ограничения. По всей видимости, например, очень глупой системе невозможно иметь очень сложную мотивацию — хотя бы потому, что подобная мотивация предъявляет значительные требования к ресурсам памяти. Вообще, чтобы некий агент имел определённый набор мотиваций, этот набор должен быть функционально интегрирован в его систему принятия решений, что опять предъявляет определённые требования к вычислительным мощностям - и, по всей видимости, к самому интеллекту агента. Что касается разумных существ, которые могут изменять сами себя - то определённые ограничения должны иметься и для них - так, например, умное существо, желающее стать глупым долго умным не пробудет. Но в целом, эти ограничения не затмевают основную идею, которую можно выразить так:

Тезис ортогональности:
Разумность и мотивированность - это два ортогональных параметра, которые для разумных агентов могут свободно принимать самые разные значения. Другими словами, высокий или низкий уровень разумности в принципе может сочетаться с самыми разными целями и самой разной силой воли.

Для примера можно вспомнить теорию мотиваций Юма. Девид Юм полагал, что одни лишь убеждения (то есть - уверенность в том, что некое деяние желанно) не могут побудить человека к действию; от человека требуется некоторый уровень мотивированности к некоторой деятельности². Это послужит ответом на одно из распространённых возражений против ортогонального тезиса - что, дескать, достаточно большой уровень интеллекта непременно приведёт к приобретению определённых убеждений, и что эти убеждения непременно повлекут за собой некоторые побуждения к определённым действиям. Мы - вслед за Девидом Юмом - отвечаем "нет": убеждения отдельно - а мотивации отдельно.

Несмотря на то, что в поддержку ортогонального тезиса легко привлечь теорию мотиваций Юма, мы не будем основываться на ней. В частности, мы не будем настаивать, что убеждения сами по себе никогда не могут породить определённые действия. Можно предположить, что достаточно умный агент может быть мотивирован выполнять определённый план действий при условии, что у него есть определённые желания достаточно большой силы. Ещё один способ, при котором ортогональный тезис останется верным - даже если теория мотиваций Юма не верна - так это если приобретение достаточно высокого уровня интеллекта вовсе не обязательно приводит к приобретению тех убеждений, которые сами по себе будут мотивировать на определённые действия. Третий способ, по которому тезис ортогональности может оказаться верным даже если теория Юма окажется ложной - это если окажется возможным создать когнитивную систему (или, говоря более обще, "оптимизационный процесс"), управляемый развитым разумом, но имеющий столь чуждое людям строение, что в нём не будет функциональных аналогий того, что люди называют "убеждениями" и "желаниями" - но при этом устройство этой системы позволит ей стремиться достичь любую заданную конечную цель.

Ортогональный тезис - в том виде, в котором он сформулирован здесь - критикует связь между мотивированностью и разумностью - а точнее сказать, между мотивированностью и рациональностью (или между мотивированностью и рассудком). Здесь стоит обратить внимание, что многие мыслители используют слово "рациональный" в смысле "нормально мыслящий" - в то время как у нас здесь оно будет использоваться в смысле "способный к логической обработке информации". Например, в "Причины и Персоналии" Дерек Парфит соглашается с тем, что базовые предпочтения некоторой системы могут быть иррациональны - и делает это он на примере, называемом "Безразличие ко следующему вторнику":

Представим себе некоторого гедониста, который усердно беспокоится о своих будущих ощущениях. За одним исключением, он в равной мере беспокоится обо всех моментах будущего. И исключение это связанно со следующим вторником. Так, каждый вторник он проявляет обыкновенную заботу в отношении всего, что с ним может случиться. Но он никогда не заботится о том, какое страдание или какое удовольствие будет ожидать его в следующий вторник… Это его безразличие - просто голый факт. И когда он планирует своё будущее, то непременно предпочитает великое страдание на следующий вторник самому маленькому неудовольствию в любой другой день ³. (Парфит, 1984)

Так, некий агент оказывается равнодушен к собственным страданиям, коль скоро они выпадают на следующий вторник. Для наших целей, мы не должны принимать позицию Парфита о том, что это иррационально - постольку, поскольку мы допускаем, что подобное поведение не обязательно свидетельствует о глупости агента. Под "интеллектом" здесь мы имеем в виду нечто вроде инструментальной рациональности - умения предвидеть, планировать и вообще рассуждать. Воображаемый агент Парфита, проявляющий "безразличие ко следующему вторнику" может демонстрировать безупречную инструментальную рациональность, и, как следствие, быть весьма интеллектуальным даже если ему будет недоставать "здравого смысла", чего мы могли бы потребовать от полностью здравомыслящего агента. Следовательно, этот пример не подрывает ортогональный тезис.

Продолжая рассуждения - даже если есть некоторые объективные нравственные факты, которые могут постигнуть полностью рациональные агенты - и даже если эти нравственные факты будут сами по себе как-то мотивировать тех, кто их узнаёт, поступать целиком в соответствии с ними - даже это ещё не будет подрывать тезис ортогональности. Тезис может оставаться верным, если некий агент может иметь безупречную инструментальную рациональность - но так, что ему будет недоставать рационального целеполагания или каких-то других способностей к рациональному мышлению, которые необходимы для познания объективных нравственных фактов. Или наоборот - какой-то агент может оказаться разумным, или даже сверхразумным, но при этом не владеть в достаточной мере инструментальной рациональностью.

Одной из причин, по которой мы фокусируем своё внимание на интеллекте - или инструментальной рациональности — это то, что оно представляет собой наиболее значимое понятие, когда мы пытаемся выяснить - как будут себя вести различные виды систем. Например, по разным причинам могут оказаться важными такие вопросы - будет ли их поведение считаться рациональны или нравственно приемлемым с человеческой точки зрения. Также, подобные вопросы не должны заслонять возможности того, что могут появиться некоторые когнитивные системы, которые не будут удовлетворять каким-то критериям разумности - но которые тем не менее окажутся очень сильными и смогут оказать серьёзное влияние на мир⁴.

Сноски

1. Это конечно не отрицает того, что едва заметные видимые отличия могут порождать очень глубокие отличия в функциональности.

2. Касательно аргументов за теорию мотиваций Юма - смотрите труды Смита(1987), Левиса(1988) и Синхабабу(2009).

3. см. также Парфит, 2011

4. Ортогональный тезис утверждает, что практически любая комбинация разумности и целей возможна; но это не означает, что сверхразумный агент легко может быть наделён какими-то произвольными или приемлемыми для человечества целями - даже если нам известно, как сделать его разумным. За дополнительной информацией обращайтесь к трудам Дьюи (2011) и Юдовский (2011).

5. Смотри Сандберг & Бостром (2008)

Самосохранение

Предположим, что разумный агент имеет некоторые конечные цели, которые он собирается достичь каким-то образом в будущем. Есть много сценариев развития событий, при которых агент может творить некоторые действия так, чтобы достичь своей цели. Эти действия - инструментальные причины, по которым агент попытается дожить до того будущего - ибо это поможет ему достичь поставленной на будущее цели.

Разумные сущности, подобные человеку, нередко считают собственное выживание высшей ценностью. Это не обязано иметь место для искусственных агентов: некоторые из них могут быть сделаны так, чтобы не считать своё существование высшей ценностью. Но как бы там ни было - даже касательно тех агентов, которым по своей природе не будет свойственно заботится о своём выживании - даже им для достижения своих конечных целей всё же будет полезно в некоторой мере заботится о поддержании своего собственного существования.

Сохранение целостности цели

Всякий агент, скорее всего, будет предпочитать действовать так, чтобы максимизировать шансы достижения своих нынешних конечных целей - а для этого необходимо, чтобы он продолжал преследовать их и в будущем. Отсюда проистекает следующая промежуточная цель - агенту необходимо предотвращать изменение своих конечных целей. (Этот аргумент относится только к конечным, первичным целям. Чтобы достичь конечных целей, интеллектуальная сущность конечно же может - по мере поступления новой информации и увеличения своего понимания - регулярно менять свои промежуточные цели).

Сохранение целостности конечных целей по сути есть даже ещё более фундаментальное и более общее свойство всевозможных разумных агентов, чем стремление таковых к выживанию. Среди людей конечно имеются контрпримеры - но они имеются потому, что собственное выживание обыкновенно само является одной из наших первичных ценностей. Но для разумных программ, которые смогут с лёгкостью менять тела или создавать точные копии самих себя, самосохранение своей конкретной реализации или сохранение себя в качестве физического объекта не будет являться важной инструментальной целью. Высокоразвитые разумные программы также смогут менять блоки памяти, загружать в себя новые умения и радикально модифицировать свою когнитивную архитектуру и свою личность. Популяция таких агентов скорее будет чем-то вроде "функционального супа", чем общества, состоящего из раздельных и стабильных личностей². С некоторой точки зрения, процессы в такой системе могут рассматриваться как телеологические потоки, каждый связанный со своими собственными первичными ценностями - чем нечто такое, чьё существование связанно с определёнными телами, личностями, памятью или способностями. В таком случае, можно сказать, непрерывность цели может рассматриваться как ключевой критерий выживания.

Впрочем, несмотря на это всё, возможны ситуации, в которых агент может преднамеренно изменить свои собственные конечные цели. Эти ситуации могут возникнуть если для агента важен какой-то из следующих факторов:

*Социальная сигнализация. *

Если другие агенты способны воспринимать его цели и использовать эту информацию, чтобы просигнализировать агенту или как-то иначе указать ему, что ему стоит изменить свои цели ради достижения желаемого взаимодействия с окружающими. Например, агент может упустить возможность делать выгодные сделки - если потенциальные партнёры по сделкам не могут быть уверены, что данный агент будет исполнять свою часть договора. Для того, чтобы иметь возможность заключать надёжные сделки, агент может решить модифицировать свои конечные цели так, чтобы соблюдать взятые им обязательства и дать другим возможность проверять - а действительно ли он их соблюдает. Таким образом, агенты, которые могут гибко и прозрачно менять свои цели, смогут использовать свои способности, чтобы навязывать друг другу сделки³.

Социальные преференции.

Другие агенты могут также иметь свои предпочтения насчёт целей конкретного агента. Это может как стать причиной для смены целей агента - как чтобы удовлетворить, так и чтобы целенаправленно пойти против чужих предпочтений.

Затраты на хранение.

Если затраты на хранение или обработку какой-то части функции поведения агента не сопоставимы с шансом, что возникнет ситуация, в которой наличие этой функции возымеет какое-то существенное влияние на поведение - то тогда у агента возникнет инструментальная причина упростить содержание своих конечных целей, удалив часть функционала, связанного с его ценностями⁴⁵.

Кажется, мы — люди — рады, что наши конечные цели могут меняться. Это может происходить например потому, что мы точно не знаем, в чём именно они заключаются. Да, мы конечно же хотим, чтобы наше ведение наших конечных целей и ценностей могло изменяться в процесса самопознания или при изменения потребностей самореализации. Тем не менее, имеются случаи, когда мы охотно самостоятельно меняем свои цели и ценности - а не только своё их ведение. Например, некто решивший завести ребёнка, может предвидеть, что он будет считать ценностью стремиться к благу для своего ребёнка - даже если на момент принятия подобного суждения он не особенно дорожит своим будущим ребёнком и детьми вообще.

Люди - сложные существа, и в их случае многочисленные факторы играют свои роли⁶. Например, кто-то может иметь конечные цели связанные с тем, чтобы стать таким человеком, который заботиться о других людях ради их собственного блага (короче говоря, кто-то ставит конечную цель — обзавестись некоторой другой конечной целью). Кто-то другой может иметь себе цель, требующую наличия определённого опыта и достижения некоторого положения в общества; пример — некто становится родителем и переживает в связи с этим изменение конечной цели. Кроме того, у человеческих целей нередко нет чёткого содержания; отсюда, некоторые люди могут начать стремиться изменить некоторые из своих конечных целей так, чтобы уменьшить несоответствия между ними.

Когнитивное усиление

Увеличение способности к рациональному мышлению и усиление интеллекта приведёт к улучшению способностей агента принимать решения, и поможет ему в достижении его конечных целей. Потому можно ожидать, что улучшение своих познавательных способностей может стать инструментальной целью для самых разных разумных агентов. Есть много причин, по которым агенты будут вынуждены оценивать самые разные виды информации⁷.

Не все виды умения рационально рассуждать, интеллектуальной деятельности и знаний необходимы для достижения конечной цели некоторого агента. "Dutch book arguments" наглядно демонстрирует, что агент, чей функционал не учитывает теории вероятности, будет проигрывать в ситуациях, подобных азартным играм. Опытный букмекер сумеет организовать такой набор ставок, что каждая из них по отдельности будет сулить агенту выигрыш - но в сочетании они будут гарантировать тому поражение вместе с прибылью для букмекера. Тем не менее, этот факт не предоставляет каких-то сильных инструментальных причин избавится от случайного фактора в поведении агента. Агенты, которые не собираются играть с коварными букмекерами, или которые просто отвергают идею заключения пари, не потеряют многого от того, что некоторые их убеждения будут плохо согласовываться друг с другом. И при этом они могут получить важные преимущества в таких областях, как экономия мыслительных усилий, в способностях к социальной сигнализации и т.д. Нет общей причины ожидать, что агент будет пытаться приобрести инструментально бесполезные формы когнитивного улучшения - ибо агент может не ценить знания и не считать их благом.

Какие именно когнитивные способности будут полезны - зависит от конечных целей агентов и от конкретной ситуации. У тех агентов, которые будут иметь доступ к достоверным экспертным советам, будет мало нужды в наличии собственного мышления и знаний - и, следовательно, они будут равнодушны к приобретению способностей к мышлению. Если развитие интеллекта и накопление знаний обходится достаточно дорого - например, отнимает время и силы или потребляет много ресурсов для их приобретения и хранения - то тогда агент может предпочесть для себя меньшую осведомленность и меньший интеллект⁸. Также может получиться так, что агент имеет конечные цели, которые включают в себя незнание или игнорирование некоторых фактов: подобное может возникнуть, если разумное существо сталкивается с проблемами стратегических издержек, с социальной сигнализацией или с социальными преференциями — всё это уже отмечалось выше⁹.

Каждый из этих компенсационных факторов иногда может влиять и на людей. Некоторая информация не относится к нашим целям; иногда мы можем обратиться к опыту и знаниям других, а приобретение новых знаний требует от нас времени и усилий; по своей природе мы можем проявлять некоторое безразличие к происходящему - да и сами мы работаем в среде, в которой способность решать проблемы стратегических издержек, принимать социальные сигналы и удовлетворять предпочтения других людей в отношении наших собственных психических состояний нередко оказываются важнее, чем приобретение когнитивных способностей.

Есть особые ситуации, в которых усиление интеллекта может чрезвычайно увеличить способности агента к достижению своих конечных целей - это в тех случаях, когда время достижения конечных целей не оговорено, и для агента выгодно для начала стать сверхразумным существом. Это позволит ему достичь потенциального преимущества, сформировав выгодным ему образом будущее Земли, а также завладеть ресурсами космоса ради своих целей. Но и за пределами этого особого случая, рационально мыслящему интеллектуальному агенту может быть очень важно поставить себе в качестве промежуточной цели увеличить свои когнитивные способности.

Овладение ресурсами

Наконец, завладение новыми ресурсами может стать ещё одной инструментальной целью - причём по той же самой причине, что и овладение более совершенными технологиями: как новые технологии, так и новые ресурсы предоставляют больше возможностей для реализации каких-либо проектов.

Люди стремятся овладевать ресурсами ради удовлетворения своих базовых биологических потребностей. Но помимо этого, люди пытаются завладеть количеством ресурсов гораздо превосходящим минимально необходимый им уровень. Последнее может быть мотивировано например желанием создать себе удобные и комфортные условия существования. Также, большое накопление ресурсов может быть вызвано влиянием общества - например, желанием получить положение в обществе, товарищей, друзей и влияние. Социальная среда может побуждать человека стремиться к богатству и статусному потреблению. Реже люди стремятся овладеть ресурсами для достижения каких-либо альтруистических целей или целей, не связанных со взаимодействием с обществом.

Основываясь на вышесказанном можно прийти ко мнению, что сверхразумы, не взаимодействующий с обществом конкуренции, не будут иметь инструментальных причин накапливать ресурсы больше некоторого умеренного уровня - например, это касается вычислительных ресурсов, необходимых для поддержания работоспособности разума ИИ в некоторой виртуальной реальности. Тем не менее, подобное предположение является совершенно неоправданным. Во-первых, ценность ресурсов зависит от целей, на которые они могут быть применены - что в свою очередь, зависит от имеющихся доступных технологий. Имея достаточно развитые технологии, такие ресурсы, как время, пространство, материя и всевозможные формы энергии могут быть использованы для практически любой цели. Например, эти базовые ресурсы могут быть использованы для поддержания жизни. Увеличение вычислительных ресурсов может быть использовано для работы сверхразума с большей скоростью и на более длительное время - или для создания дополнительных как физических, так и моделированных (виртуальных) живых существ или цивилизаций. Дополнительные физические ресурсы также могут быть использованы для создания систем защиты и повышения безопасности. Подобные проекты могут даже задействовать гораздо больше ресурсов, чем содержит одна планета.

Кроме того, цена добычи дополнительных ресурсов, находящихся вне земли, будет резко падать по мере совершенствования технологий. Как скоро зонды фон Неймана будут созданы, большая часть обозреваемой вселенной (из предположения, что она уже не занята разумной жизнью) будет постепенно колонизирована - и цена тому будет создание единичного работающего самовоспроизводящегося зонда. Столь низкая цена колонизации Вселенной обозначает, что экспансия случиться даже если ценность приобретения дополнительных ресурсов упадёт практически до нуля. То есть - например - если первичной ценностью некоторого сверхразума является забота исключительно о том, что произойдёт в некоторой ограниченной области пространства - например, вокруг его родной планеты - то даже в этом случае у него появится инструментальная причина добывать ресурсы из окружающего космоса. Так, этот излишек материалов может быть использован, чтобы сделать компьютеры для расчёта более эффективных способов использования ресурсов той части пространства, на котором сосредоточено основное внимание. Также его можно использовать для создания более мощной защиты своего дома. Покуда цена захвата новых ресурсов будет продолжать уменьшаться, процесс оптимизации и усиления защиты будет продолжаться - даже если польза от него начнёт резко падать¹²¹³.

В общем, весьма широкий диапазон конечных целей сверхразумного синглетона приведёт к появлению у того инструментальной цели, заключающейся в неограниченном захвате ресурсов. Наиболее вероятное проявление этой цели у сверхразумного существа будет заключаться в инициализации процесса колонизации космоса с помощью зондов фон Неймана. Грубо говоря, этот процесс можно представить как инфраструктуру, имеющую центр на родной планете сверхразума, и неограниченно растущую во все стороны со скоростью света; колонизация космоса таким образом будет продолжаться до тех пор, покуда ускоряющееся расширение космоса (в случае положительной космологической постоянной) не сделает добычу новых материалов физически невозможной ввиду того, что отдалённые регионы окажутся вне досягаемости¹⁴. С другой стороны, агенты, которые не владеют технологиями, необходимыми для приобретения недорогих ресурсов или для преобразования универсальных физических ресурсов в полезную инфраструктуру, могут найти для себя нерентабельным вкладывать какие-то усилия в то, чтобы увеличивать свой запас ресурсов. Аналогичное верно и для агентов, которые работают в среде, где они вынуждены конкурировать с другими агентами примерно одинаковой силы. Например, если некоторые агенты уже заполучили конкретные космические ресурсы, то позже появившийся агент может уже не иметь возможности заниматься космической колонизацией. Какие будут общие инструментальные цели у сверхразумных агентов, неуверенных в небытии других сверхразумных агентов - этот вопрос осложнён стратегическими соображениями, которые мы ныне не до конца понимаем - но наверняка важной их частью будут те инструментальные цели, которые мы выше рассмотрели¹⁵.

Стоит подчеркнуть, что наличие схожих инструментальных причин - даже если они применимы к некоторому агенту и имеют для него место - не означает, что поведение этого агента будет легко предсказуемым. Некоторый агент запросто может придумать такие способы достижения определённых инструментальных целей, которые для нас будут не очевидны. Это особенно будет верно для сверхразумных агентов, ибо они благодаря своему разуму наверняка смогут изобрести абсолютно не очевидные способы достижения своих целей - с применением возможно даже ещё не открытых физических законов. Однако, здесь утверждается предсказуемость того факта, что у агентов будут некоторые общие - конвергентные инструментальные ценности - которые агенты будут преследовать ради достижения своих конечных целей. А вовсе не предсказуемость самих способов достижения этих целей.

Сноски

1. Стивен Омохундро как-то написал две пионерские работы на эту тематику (Омохундро 2008а, 2008б). Сам Омохундро стоит на том мнении, что развитые системы искусственного интеллекта, скорее всего, будут обладать некоторым набором "базовых мотиваций" - а именно "у каждого из них будут присутствовать определённые тенденции в поведении, если конечно в них не будет заложено нечто, им явно мешающее". Термин "побуждение ИИ" имеет то преимущество, что он короток и легко запоминается, но у него есть и недостатки, а именно - он может создавать впечатление, что механизм промежуточных целей, к которым стремится ИИ, будет непременно подобен психическим механизмам, по которым принимают решения люди. Мол, у человека есть этакий груз на его душе, инерцию которого иногда удаётся преодолеть с помощью силы воли. Эти ассоциации скорее вредны для понимания. Так, никто не скажет, что для людей характерно "побуждение" уплатить налоги - хотя конечно же уплата налогов является распространённой инструментальной целью для людей современного общества (то есть целью, реализация которой устраняет многие другие проблемы, препятствующие достижению других целей). Наше ведение ситуации впрочем отличается от точки зрения Омохундро в других, более мелких деталях - хотя основная идея у нас с ним совпадает (смотри также труды Чалмерса 2010 и Омохундро 2012).

2. см. Численко (1997).

3. смотри также труды Шульмана (2010).

4. Также агенты могут поменять ведение своей цели, если изменяется их ведение мира. В таком случае они вынуждены будут корректировать своё старое представление в соответствии с новым взглядом на мир.

5. Ещё один вид факторов, которые могут побудить склонный к теоретизированию интеллект предпринять некоторые действия - включая перемену своих конечных целей - это рассуждения методом переноса свойств. Например, агент, следующей некоторой теории решений может прийти к выводу, что во вселенной существуют другие, подобные ему агенты - и что его собственные действия могут предоставить информацию об их поведении. На основании этого агент может адаптировать свои конечные цели в более альтруистическом ключе по отношению к подобным ему агентам - основывая сие на том, что это побудит их поступить так же. Впрочем, эквивалентный результат может быть достигнут без смены своих конечных целей. Например, если агент решит действовать так, как будто бы у других уже есть требуемые конечные цели.

6. Имеется много литературы по психологии, которая касается образования адаптивных предпочтений. Смотри например труды Форгаса (2009).

7. В формальной модели ценность информации принимается как разность между ожидаемым количеством реализуемых оптимальных решений, принимаемых без учёта некой информации - и ожидаемым количеством реализуемых оптимальных решений, принимаемых с учётом этой информации (Смотри например, Рассел & Новриг, 2010). Отсюда следует, что ценность информации не может быть негативной. Также отсюда следует, что вы можете быть уверены - если некоторая информация не окажет никакого влияния на ваши решения, то её ценность будет нулевой. Однако, подобная модель предполагает некоторую идеализацию, и потому не всегда применима к реальному миру, ибо само по себе знание в общем случае не имеет первичной ценности, т.е. оно имеет лишь инструментальную ценность и не является самоценностью. Кроме того, одни разумные агенты не обязаны быть понятными для других разумных агентов.

8. Подобную стратегию хорошо демонстрирует личинка морского шприца, которая свободно плавает, пока не находит себе подходящий камень - к которому она потом прочно прикрепляется. Перейдя к оседлому существованию, личинка испытывает куда меньшую потребность в сложных процессах обработки информации; посему она переваривает часть собственного мозга (свой церебральный ганглий). Академики иногда могут наблюдать подобное у некоторых своих коллег, которые надолго засиделись на одном месте.

9. Смотри Бостром (2012).

10. см. Бостром (2006).

11. Тут следует рассмотреть причины, которые могут побудить синглетон не развивать некоторые возможные технологии. Эти причины могут быть такими: (а) Синглетон предвидит, что он не будет иметь возможности использовать некоторый технологический потенциал; (б) Затраты на разработку будут слишком велики по сравнению с полученной выгодой. Второй вариант будет иметь место, например, когда технология никогда не будет достаточно подходящей для достижения какой-либо конечной цели синглетона - или если например синглетон по своей природе весьма осторожен и консервативен - что будет препятствовать ему вкладывать ресурсы в новшества; (в) Конечные цели синглетона включают в себя требование воздерживаться от разработки некоторых технологий; (г) Если синглетон не будет уверен в том, что развитие некоторой отрасли сохранит стабильность окружающей обстановки. Аналогично, если синглетон не будет уверен в том, что пути развития новой технологии в конечном счёте не сделают условия для него менее благоприятными. Так например, мировое правительство может не захотеть развивать технологии, которые могут спровоцировать восстание - даже если будут иметься способы их применения, полезные для мирового правительства. Например, оно не будет развивать технологии лёгкого производства оружия массового поражения - ибо последнее может посеять в обществе хаос, что в итоге может привести к свержению правительства. Наконец, (д) таким же образом, синглетон может иметь какие-то другие стратегические соображения не развивать определённую технологию - даже если на настоящее время она будет приносить пользу (Заметьте однако, что некоторые нынешние факторы, являющиеся причиной развития технологий, будут недейственными по отношению к синглетону: это, например, касается факторов, способствующих гонке вооружений).

12. Представьте, что цена добычи ресурсов с течением времени растёт по экспоненциальному закону, а поскольку скорость обмена информации ограничена скоростью света - скорость добычи ресурсов может расти лишь в полиномиальной скорости. Означает ли это, что начиная с некоторого момента агент не будет иметь причин продолжать захват ресурсов? Нет - потому что хотя ценность новых ресурсов в будущем будет асимптотически стремиться к нулю - так же будет вести себя и стоимость их добычи. За 100 миллионов лет стоимость отправки очередного зонда фон Неймана (возможно, с использованием некоторых ресурсов, приобретённых за некоторое короткое время в прошлом) будет уменьшаться (с учётом постоянного коэффициента) так же, как будет уменьшаться ценность тех дополнительных ресурсов, которые этот зонд сможет добыть.

13. Даже если агент имеет очень ограниченную конечную цель вроде "сделать 32 скрепки для бумаги", если у него не установлено предела на стоимость достижения своей цели, он может начать бесконечно захватывать ресурсы. Например, даже после того, как сосредоточенный целиком на одной цели агент сделает 32 скрепки для бумаги, он может решить захватить некоторое количество дополнительных ресурсов, чтобы удостовериться, что он действительно успешно сделал именно 32 скрепки для бумаги в соответствии со всей спецификацией (и, если надо, подкорректировать результаты своей работы). Когда он сделает это, он может решить запустить вторую пачку тестов - чтобы быть вдвойне уверенным в том, что не было допущено ошибок. Поле чего он будет з