Может ли окружение вносить неалгоритмический внешний фактор?

Выше мы предположили, что сама наша система (независимо от того, живая она или нет) представляет собой нечто вроде робота с компьютерным управлением, т.е. все ее самомодификационные процедуры являются целиком вычислительными. (Я пользуюсь здесь термином «робот» исключительно для того, чтобы подчеркнуть то обстоятельство, что нашу систему следует рассматривать как некую самостоятельную, целиком и полностью вычислительную сущность, находящуюся во взаимодействии со своим окружением. Я вовсе не подразумеваю, что она непременно представляет собой какое бы то ни было механическое устройство, целенаправленно сконструированное человеком. Такой системой, если верить A или B, может оказаться развивающееся человеческое существо, а может и в самом деле какой-то искусственно созданный объект.) Итак, мы полагаем, что внутренний фактор является полностью вычислительным. Необходимо установить, является ли вычислительным также и внешний фактор, вносимый окружением, — иначе говоря, возможно ли построить эффективную численную модель этого самого окружения как в искусственном (т.е. когда окружение неким искусственным образом контролируется учителем-человеком), так и в естественном случае (когда высшим авторитетом является давление естественного отбора). В каждом случае конкретные внутренние правила, в соответствии с которыми система обучения робота модифицирует его поведение, должны быть составлены так, чтобы тем или иным образом реагировать на конкретные сигналы, посредством которых окружение будет сообщать системе о том, как следует оценивать качество ее функционирования в предыдущем рабочем цикле.

Вопрос о возможности моделирования окружения в искусственном случае (иными словами, о возможности численного моделирования поведения человека-учителя) представляет собой тот самый общий вопрос, ответ на который мы пытаемся найти вот уже в который раз. В рамках гипотез A или B, следствия из которых мы рассматриваем в настоящий момент, допускается, что эффективное моделирование в этом случае и в самом деле возможно, по крайней мере, в принципе. В конце концов, цель нашего исследования состоит именно в выяснении общего правдоподобия этого допущения. Поэтому, вместе с допущением о вычислительной природе нашего робота, допустим также, что его окружение также вычислимо. В результате мы получаем объединенную систему, состоящую из робота и его обучающего окружения, которая, в принципе, допускает эффективное численное моделирование, т.е. окружение не дает никаких потенциальных оправданий невычислительному поведению вычислительного робота.

Иногда можно услышать утверждение, что нашим преимуществом перед компьютерами мы обязаны тому факту, что люди образуют сообщество, внутри которого происходит непрерывное общение между индивидуумами. Согласно этому утверждению, отдельного человека можно рассматривать как вычислительную систему, тогда как сообщество людей представляет собой уже нечто большее. То же относится и, в частности, к математическому сообществу и отдельным математикам — сообщество может вести себя невычислительным образом, в то время как отдельные математики такой способностью не обладают. На мой взгляд, это утверждение лишено всякого смысла. В самом деле, представьте себе аналогичное сообщество непрерывно общающихся между собой компьютеров. Подобное «сообщество» в целом является точно такой же вычислительной системой; деятельность его, если есть такое желание, можно смоделировать и на одном-единственном компьютере. Разумеется, вследствие одного только количественного превосходства, сообщество составит гораздо более мощную вычислительную систему, нежели каждый из индивидуумов в отдельности, однако принципиальной разницы между ними нет. Известно, что на нашей планете проживает более 5 × 109 человек (прибавьте к этому еще огромные библиотеки накопленного знания). Цифры впечатляют, но это всего лишь цифры — если отдельного человека считать вычислительным устройством, то разницу, обусловленную переходом от индивидуума к сообществу, развитие компьютерных технологий сможет при необходимости свести на нет в течение каких-нибудь нескольких десятилетий. Очевидно, что искусственный случай с учителями-людьми в роли внешнего окружения не дает нам ничего принципиально нового, что могло бы объяснить, каким образом из целиком и полностью вычислительных составляющих возникает абсолютно невычислимая сущность.

Что же мы имеем в естественном случае? Вопрос теперь звучит так: может ли физическое окружение (если не учитывать действий присутствующих в нем учителей-людей) содержать компоненты, которые невозможно даже в принципе смоделировать численными методами? Мне думается, что если кто-то полагает, что в «бесчеловечном» окружении может присутствовать нечто, принципиально не поддающееся численному моделированию, то этот кто-то тем самым лишает силы главное возражение против C. Ибо единственной разумной причиной усомниться в возможной справедливости точки зрения C можно счесть лишь скептическое отношение к утверждению, что объекты, принадлежащие реальному физическому миру могут вести себя каким-то невычислимым образом. Как только мы признаём, что какой-либо физический процесс может оказаться невычислимым, у нас не остается никакого права отказывать в невычислимости и процессам, протекающим внутри такого физического объекта, как мозг, — равно как и возражать против C. Как бы то ни было, крайне маловероятно, что в безлюдном окружении может обнаружиться нечто такое, что не поддается вычислению столь же фундаментально, как это делают некоторые процессы внутри человеческого тела. (См. также §§1.9 и 2.6, Q2.) Думаю, мало кто всерьез полагает, что среди всего, что имеет хоть какое-то отношение к окружению самообучающегося робота, может оказаться что-либо, принципиально невычислимое.

Впрочем, говоря о «принципиально» вычислимой природе окружения, не следует забывать об одном важном моменте. Вне всякого сомнения, на реальное окружение любого развивающегося живого организма (или некоей изощренной робототехнической системы) оказывают влияние весьма многочисленные и порой невероятно сложные факторы, вследствие чего любое моделирование этого окружения со сколько-нибудь приемлемой точностью вполне может оказаться неосуществимым практически. Динамическое поведение даже относительно простых физических систем бывает порой чрезвычайно сложным, при этом его зависимость от мельчайших нюансов начального состояния может быть настолько критической, что предсказать дальнейшее поведение такой системы решительно невозможно — в качестве примера можно привести ставшую уже притчей во языцех проблему долгосрочного предсказания погоды. Подобные системы называют хаотическими; см. §1.7. (Хаотические системы характеризуются сложным и эффективно непредсказуемым поведением. Однако математически эти системы объяснить вполне возможно; более того, их активное изучение составляет весьма существенную долю современных математических исследований45.) Как уже указывалось в §1.7, хаотические системы я также включаю в категорию «вычислительных» (или «алгоритмических»). Для наших целей важно подчеркнуть один существенный момент, касающийся хаотических систем: нет никакой необходимости в воспроизведении того или иного реального хаотического окружения, вполне достаточно воспроизвести окружение типичное. Например, когда мы хотим узнать погоду на завтра, насколько точная информация нам в действительности нужна? Не сгодится ли любое правдоподобное описание?

Как обучаются роботы?

Учитывая вышесказанное, предлагаю остановиться на том, что на самом деле нас сейчас интересуют отнюдь не проблемы численного моделирования окружения. В принципе, возможностей поработать с окружением у нас будет предостаточно — но только в том случае, если не возникнет никаких трудностей с моделированием внутренних правил самой робототехнической системы. Поэтому перейдем к вопросу о том, как мы видим себе обучение нашего робота. Какие вообще процедуры обучения доступны вычислительному роботу? Возможно, ему будут предварительно заданы некие четкие правила вычислительного характера, как это обычно делается в нынешних системах на основе искусственных нейронных сетей (см. §1.5). Такие системы подразумевают наличие некоторого четко определенного набора вычислительных правил, в соответствии с которыми усиливаются или ослабляются связи между составляющими сеть «нейронами», посредством чего достигается улучшение качества общего функционирования системы согласно критериям (искусственным или естественным), задаваемым внешним окружением. Еще один тип систем обучения образуют так называемые «генетические алгоритмы» — нечто вроде естественного отбора (или, если хотите, «выживания наиболее приспособленных») среди различных алгоритмических процедур, выполняемых на одной вычислительной машине; посредством такого отбора выявляется наиболее эффективный в управлении системой алгоритм.

Следует пояснить, что упомянутые правила (что характерно для восходящей организации вообще) несколько отличаются от стандартных нисходящих вычислительных алгоритмов, действующих в соответствии с известными процедурами для отыскания точных решений математических проблем. Восходящие правила лишь направляют систему к некоему общему улучшению качества ее функционирования. Впрочем, это не мешает им оставаться целиком и полностью алгоритмическими — в смысле воспроизводимости на универсальном компьютере (машине Тьюринга).

В дополнение к четким правилам такого рода, в совокупность средств, с помощью которых наша робототехническая система будет модифицировать свою работу, могут быть включены и некоторые случайные элементы. Возможно, эти случайные составляющие будут вноситься посредством каких-нибудь физических процессов — например, такого квантовомеханического процесса, как распад ядер радиоактивных атомов. На практике при конструировании искусственных вычислительных устройств имеет место тенденция к введению какой-либо вычислительной процедуры, результат вычисления в которой является случайным по существу (иначе такой результат называют псевдослучайным), хотя на деле он полностью определяется детерминистским характером самого вычисления (см. §1.9). С описанным способом тесно связан другой, суть которого заключается в точном указании момента времени, в который производится вызов «случайной» величины, и введении затем этого момента времени в сложную вычислительную процедуру, которая и сама является, по существу, хаотической системой, вследствие чего малейшие изменения во времени дают эффективно непредсказуемые различия в результатах, а сами результаты становятся эффективно случайными. Хотя, строго говоря, наличие случайных компонентов и выводит рассматриваемые процедуры за рамки определения «операции машины Тьюринга», каких-то существенных изменений это за собой не влечет. В том, что касается функционирования нашего робота, случайным входным данным на практике оказываются эквивалентны псевдослучайные, а псевдослучайные входные данные ничуть не противоречат возможностям машины Тьюринга.

«Ну и что, что на практике случайные входные данные не отличаются от псевдослучайных? — заметит дотошный читатель. — Принципиальная -то разница между ними есть». На более раннем этапе нашего исследования (см., в частности, §§3.2-3.4) нас и в самом деле занимало то, чего математики могут достичь в принципе, вне зависимости от их практических возможностей. Более того, в определенных математических ситуациях проблему можно решить исключительно с помощью действительно случайных входных данных, никакие псевдослучайные заместители для этого не годятся. Подобные ситуации возникают, когда проблема подразумевает наличие некоего «состязательного» элемента, как часто бывает, например, в теории игр и криптографии. В некоторых видах «игр на двоих» оптимальная стратегия для каждого из игроков включает в себя, помимо прочего, и полностью случайную составляющую46. Любое сколько-нибудь последовательное пренебрежение одним из игроков необходимым для построения оптимальной стратегии элементом случайности позволяет другому игроку на протяжении достаточно длинной серии игр получить преимущество — по крайней мере, в принципе. Преимущество может быть достигнуто и в том случае, если противнику каким-то образом удалось составить достаточно достоверное представление о природе псевдослучайной (или иной) стратегии, используемой первым игроком вместо требуемой случайной. Аналогичным образом дело обстоит и в криптографии, где надежность кода напрямую зависит от того, насколько случайной является применяемая последовательность цифр. Если эта последовательность генерируется не истинно случайным образом, а посредством какого-либо псевдослучайного процесса, то, как и в случае с играми, этот процесс может в точности воспроизвести кто угодно, в том числе и потенциальный взломщик.

Поскольку случайность, как выясняется, представляет собой весьма ценное качество в таких состязательных ситуациях, то, на первый взгляд, можно предположить, что и в естественном отборе она должна играть не последнюю роль. Я даже уверен, что случайность и впрямь является во многих отношениях весьма важным фактором в процессе развития живых организмов. И все же, как мы убедимся несколько позднее в этой главе, одной лишь случайности оказывается недостаточно для того, чтобы вырваться из гёделевских сетей. И самые что ни на есть подлинно случайные элементы не помогут нашему роботу избежать ограничений, присущих вычислительным системам. Более того, у псевдо случайных процессов в этом смысле даже больше шансов, нежели у процессов чисто случайных (см. §3.22).

Допустим на некоторое время, что наш робот и в самом деле является, по существу, машиной Тьюринга (хотя и с конечной емкостью запоминающего устройства). Строго говоря, учитывая, что робот непрерывно взаимодействует со своим окружением, а это окружение, как мы предполагаем, также допускает численное моделирование, было бы правильнее принять за единую машину Тьюринга робота вместе с окружением. Однако в целях удобства изложения я все же предлагаю рассматривать отдельно робота, как собственно машину Тьюринга, и отдельно окружение, как источник информации, поступающей на входную часть ленты машины. Вообще-то такую аналогию нельзя считать вполне приемлемой по одной формальной причине — машина Тьюринга есть устройство фиксированное и по определению неспособное изменять свою структуру «по мере накопления опыта». Можно, конечно, попытаться изобрести способ, посредством которого машина Тьюринга сможет-таки изменить свою структуру, — например, заставить машину работать безостановочно, модифицируя структуру в процессе работы, для чего непрерывно подавать на ее вход информацию от окружения. К нашему разочарованию, этот способ не сработает, поскольку результат работы машины Тьюринга можно узнать только после того, как машина достигнет внутренней команды STOP (см. §2.1 и Приложение А, а также НРК, глава 2), после чего она не будет ничего считывать с входной части своей ленты до тех пор, пока мы не запустим ее снова. Когда же мы ее запустим, для продолжения работы ей придется возвратиться в исходное состояние, т.е. «обучиться» таким способом она ничему не сможет.

Впрочем, эту трудность можно обойти при помощи сложной технической модификации. Наша машина Тьюринга так и остается фиксированной, однако после каждого рабочего цикла, т.е. после достижения команды STOP, она дает на выходе два результата (формально кодируемые в виде одного-единственного числа). Первый результат определяет, каким в действительности будет ее последующее внешнее поведение, тогда как второй результат предназначен исключительно для внутреннего использования — в нем кодируется весь опыт, который машина получила от предыдущих контактов с окружением. В начале следующего цикла с входной части ее ленты сначала считывается «внутренняя» информация и только после нее все «внешние» данные, которыми машину снабжает окружение, включая и подробную реакцию упомянутого окружения на ее предшествующее поведение. Таким образом, все результаты обучения оказываются записанными на, скажем так, внутреннем участке ленты, который машина в каждом рабочем цикле считывает заново (и который с каждым циклом становится все длиннее и длиннее).