Глава 2. Инструментальная конвергенция

В согласии с тезисом ортогональности, искусственные интеллекты могут иметь огромный диапазон возможных конечных целей. Но как бы там ни было, в согласии с тем, что мы называем тезисом "инструментальной конвергенции", практически каждый разумный агент будет преследовать некоторый схожий для всех набор инструментальных (т.е. промежуточных) целей - поскольку таковые будут полезны для достижения практически любой конечной цели. Мы можем сформулировать этот тезис следующим образом:

Тезис инструментальной конвергенции:
У разумных агентов может быть выделена некоторая группа инструментальных (т.е. промежуточных) целей (и ценностей), которые будут для всех их весьма схожими - и достижение которых будет повышать шансы агента на достижение любых конечных целей из широкого диапазона. То есть, утверждается, что к этим промежуточным целям будут стремиться самые разнообразные разумные агенты.

Далее мы придём к выводу, что может быть обнаружено несколько категорий таких схожих промежуточных ценностей¹. Вряд ли агент будет стремиться к таким инструментальным ценностям, которые мешают (при прочих равных условиях) увеличению его интеллекта. По этой причине мы можем сфокусировать своё внимание в первую очередь на гипотетических сверхразумных агентах, чьи способности к целеполаганию промежуточных ценностей намного превосходят таковые у людей. Также, следует разобраться в том, как инструментальная конвергенция проявляется на людях - что даст нам несколько примеров, позволяющих разобраться в том, как должен интерпретироваться и применяться тезис инструментальной конвергенции. И если действительно имеется ряд общих инструментальных ценностей - то это позволит нам немного предсказать некоторые аспекты поведения сверхразумов - даже если мы ничего не будем знать об их конечных целях.

Самосохранение

Предположим, что разумный агент имеет некоторые конечные цели, которые он собирается достичь каким-то образом в будущем. Есть много сценариев развития событий, при которых агент может творить некоторые действия так, чтобы достичь своей цели. Эти действия - инструментальные причины, по которым агент попытается дожить до того будущего - ибо это поможет ему достичь поставленной на будущее цели.

Разумные сущности, подобные человеку, нередко считают собственное выживание высшей ценностью. Это не обязано иметь место для искусственных агентов: некоторые из них могут быть сделаны так, чтобы не считать своё существование высшей ценностью. Но как бы там ни было - даже касательно тех агентов, которым по своей природе не будет свойственно заботится о своём выживании - даже им для достижения своих конечных целей всё же будет полезно в некоторой мере заботится о поддержании своего собственного существования.

Сохранение целостности цели

Всякий агент, скорее всего, будет предпочитать действовать так, чтобы максимизировать шансы достижения своих нынешних конечных целей - а для этого необходимо, чтобы он продолжал преследовать их и в будущем. Отсюда проистекает следующая промежуточная цель - агенту необходимо предотвращать изменение своих конечных целей. (Этот аргумент относится только к конечным, первичным целям. Чтобы достичь конечных целей, интеллектуальная сущность конечно же может - по мере поступления новой информации и увеличения своего понимания - регулярно менять свои промежуточные цели).

Сохранение целостности конечных целей по сути есть даже ещё более фундаментальное и более общее свойство всевозможных разумных агентов, чем стремление таковых к выживанию. Среди людей конечно имеются контрпримеры - но они имеются потому, что собственное выживание обыкновенно само является одной из наших первичных ценностей. Но для разумных программ, которые смогут с лёгкостью менять тела или создавать точные копии самих себя, самосохранение своей конкретной реализации или сохранение себя в качестве физического объекта не будет являться важной инструментальной целью. Высокоразвитые разумные программы также смогут менять блоки памяти, загружать в себя новые умения и радикально модифицировать свою когнитивную архитектуру и свою личность. Популяция таких агентов скорее будет чем-то вроде "функционального супа", чем общества, состоящего из раздельных и стабильных личностей². С некоторой точки зрения, процессы в такой системе могут рассматриваться как телеологические потоки, каждый связанный со своими собственными первичными ценностями - чем нечто такое, чьё существование связанно с определёнными телами, личностями, памятью или способностями. В таком случае, можно сказать, непрерывность цели может рассматриваться как ключевой критерий выживания.

Впрочем, несмотря на это всё, возможны ситуации, в которых агент может преднамеренно изменить свои собственные конечные цели. Эти ситуации могут возникнуть если для агента важен какой-то из следующих факторов:

*Социальная сигнализация. *

Если другие агенты способны воспринимать его цели и использовать эту информацию, чтобы просигнализировать агенту или как-то иначе указать ему, что ему стоит изменить свои цели ради достижения желаемого взаимодействия с окружающими. Например, агент может упустить возможность делать выгодные сделки - если потенциальные партнёры по сделкам не могут быть уверены, что данный агент будет исполнять свою часть договора. Для того, чтобы иметь возможность заключать надёжные сделки, агент может решить модифицировать свои конечные цели так, чтобы соблюдать взятые им обязательства и дать другим возможность проверять - а действительно ли он их соблюдает. Таким образом, агенты, которые могут гибко и прозрачно менять свои цели, смогут использовать свои способности, чтобы навязывать друг другу сделки³.

Социальные преференции.

Другие агенты могут также иметь свои предпочтения насчёт целей конкретного агента. Это может как стать причиной для смены целей агента - как чтобы удовлетворить, так и чтобы целенаправленно пойти против чужих предпочтений.