Преференции относительно содержания своей цели.

Конечная цель агента может заключаться в обретении каких-либо других конечных целей. То есть, например, агент может иметь конечной целью превратиться в такого агента, которого на поведение будут мотивировать определённые ценности - например, сострадание.

Затраты на хранение.

Если затраты на хранение или обработку какой-то части функции поведения агента не сопоставимы с шансом, что возникнет ситуация, в которой наличие этой функции возымеет какое-то существенное влияние на поведение - то тогда у агента возникнет инструментальная причина упростить содержание своих конечных целей, удалив часть функционала, связанного с его ценностями⁴⁵.

Кажется, мы — люди — рады, что наши конечные цели могут меняться. Это может происходить например потому, что мы точно не знаем, в чём именно они заключаются. Да, мы конечно же хотим, чтобы наше ведение наших конечных целей и ценностей могло изменяться в процесса самопознания или при изменения потребностей самореализации. Тем не менее, имеются случаи, когда мы охотно самостоятельно меняем свои цели и ценности - а не только своё их ведение. Например, некто решивший завести ребёнка, может предвидеть, что он будет считать ценностью стремиться к благу для своего ребёнка - даже если на момент принятия подобного суждения он не особенно дорожит своим будущим ребёнком и детьми вообще.

Люди - сложные существа, и в их случае многочисленные факторы играют свои роли⁶. Например, кто-то может иметь конечные цели связанные с тем, чтобы стать таким человеком, который заботиться о других людях ради их собственного блага (короче говоря, кто-то ставит конечную цель — обзавестись некоторой другой конечной целью). Кто-то другой может иметь себе цель, требующую наличия определённого опыта и достижения некоторого положения в общества; пример — некто становится родителем и переживает в связи с этим изменение конечной цели. Кроме того, у человеческих целей нередко нет чёткого содержания; отсюда, некоторые люди могут начать стремиться изменить некоторые из своих конечных целей так, чтобы уменьшить несоответствия между ними.

Когнитивное усиление

Увеличение способности к рациональному мышлению и усиление интеллекта приведёт к улучшению способностей агента принимать решения, и поможет ему в достижении его конечных целей. Потому можно ожидать, что улучшение своих познавательных способностей может стать инструментальной целью для самых разных разумных агентов. Есть много причин, по которым агенты будут вынуждены оценивать самые разные виды информации⁷.

Не все виды умения рационально рассуждать, интеллектуальной деятельности и знаний необходимы для достижения конечной цели некоторого агента. "Dutch book arguments" наглядно демонстрирует, что агент, чей функционал не учитывает теории вероятности, будет проигрывать в ситуациях, подобных азартным играм. Опытный букмекер сумеет организовать такой набор ставок, что каждая из них по отдельности будет сулить агенту выигрыш - но в сочетании они будут гарантировать тому поражение вместе с прибылью для букмекера. Тем не менее, этот факт не предоставляет каких-то сильных инструментальных причин избавится от случайного фактора в поведении агента. Агенты, которые не собираются играть с коварными букмекерами, или которые просто отвергают идею заключения пари, не потеряют многого от того, что некоторые их убеждения будут плохо согласовываться друг с другом. И при этом они могут получить важные преимущества в таких областях, как экономия мыслительных усилий, в способностях к социальной сигнализации и т.д. Нет общей причины ожидать, что агент будет пытаться приобрести инструментально бесполезные формы когнитивного улучшения - ибо агент может не ценить знания и не считать их благом.

Какие именно когнитивные способности будут полезны - зависит от конечных целей агентов и от конкретной ситуации. У тех агентов, которые будут иметь доступ к достоверным экспертным советам, будет мало нужды в наличии собственного мышления и знаний - и, следовательно, они будут равнодушны к приобретению способностей к мышлению. Если развитие интеллекта и накопление знаний обходится достаточно дорого - например, отнимает время и силы или потребляет много ресурсов для их приобретения и хранения - то тогда агент может предпочесть для себя меньшую осведомленность и меньший интеллект⁸. Также может получиться так, что агент имеет конечные цели, которые включают в себя незнание или игнорирование некоторых фактов: подобное может возникнуть, если разумное существо сталкивается с проблемами стратегических издержек, с социальной сигнализацией или с социальными преференциями — всё это уже отмечалось выше⁹.

Каждый из этих компенсационных факторов иногда может влиять и на людей. Некоторая информация не относится к нашим целям; иногда мы можем обратиться к опыту и знаниям других, а приобретение новых знаний требует от нас времени и усилий; по своей природе мы можем проявлять некоторое безразличие к происходящему - да и сами мы работаем в среде, в которой способность решать проблемы стратегических издержек, принимать социальные сигналы и удовлетворять предпочтения других людей в отношении наших собственных психических состояний нередко оказываются важнее, чем приобретение когнитивных способностей.

Есть особые ситуации, в которых усиление интеллекта может чрезвычайно увеличить способности агента к достижению своих конечных целей - это в тех случаях, когда время достижения конечных целей не оговорено, и для агента выгодно для начала стать сверхразумным существом. Это позволит ему достичь потенциального преимущества, сформировав выгодным ему образом будущее Земли, а также завладеть ресурсами космоса ради своих целей. Но и за пределами этого особого случая, рационально мыслящему интеллектуальному агенту может быть очень важно поставить себе в качестве промежуточной цели увеличить свои когнитивные способности.