I. Подкрепление: лучше, чем вознаграждение

Предисловие автора

Эта книга о том, как обучать кого угодно: человека или животное, старого или молодого, самого себя или других - и чему угодно. Как добиться, чтобы кот спрыгнул с кухонного стола, а бабушка перестала ворчать; как управлять поведением домашних животных, детей, начальства и друзей; как улучшить свои достижения в теннисе, гольфе, математике, развить память? Все это можно достичь, используя принципы обучения с подкреплением. Эти принципы являются такими же непреложными законами природы, как законы физики. Они лежат в основе всех ситуаций обучения, точно так же, как падение яблока основано на законах гравитации. При попытке изменить чье-либо поведение, будь то собственное или чужое, мы используем эти законы, независимо от того, знаем мы их или нет. Чаще всего мы их применяем неправильно. Мы запугиваем, спорим, принуждаем, лишаем чего-либо. Мы ругаем окружающих, когда дела идут плохо, и забываем похвалить, когда все хорошо. Мы грубы и нетерпеливы с детьми, друг с другом, даже сами с собой, и потом сожалеем об этой грубости. Зная лучшие способы управления поведением, мы достигли бы своей цели быстрее, к тому же без нервотрепки, но мы не представляем, как это сделать. Мы попросту не можем привести в соответствие те приемы, которыми современные дрессировщики достигают успеха, с законами положительного подкрепления. Какой бы ни была наша задача - заставить ли четырехлетнего малыша вести себя тихо при посторонних, отучить ли щенка грызть дома все что попало, тренировать ли спортивную команду, выучить ли стихотворение - она решается быстрее, легче, веселее, если вы знаете, как пользоваться положительным подкреплением.

Законы подкрепления просты: их можно за десять минут записать на школьной доске и за час выучить. Применение их в основном зависит от ситуации, обучение с подкреплением подобно игре, в которой надо быстро соображать. Каждый может быть тренером, но некоторые от природы способны к этому больше, чем другие. Вам вовсе не обязательно отличаться каким-то особым терпением, быть сильной личностью, не требуется и особого подхода к детям и животным, можно не обладать и тем, что цирковой дрессировщик Франк Бук называет силой человеческого взгляда. Вам надо только знать, что вы делаете. Всегда были люди с интуитивным пониманием того, как применять законы дрессировки. Мы называем их талантливыми учителями, блестящими военачальниками, выдающимися тренерами, гениальными дрессировщиками. Мне приходилось наблюдать за некоторыми театральными режиссерами и многими дирижерами симфонических оркестров, которые очень умело использовали в своей работе подкрепление. Эти одаренные воспитатели не нуждаются в книге о том, как использовать законы, управляющие обучением. Однако для всех нас остальных - простых смертных, - кто вслепую пытается совладать с плохо управляемым питомцем, вступает в конфликт с ребенком или сослуживцем, знание законов подкрепления может сослужить хорошую службу.

Обучение с подкреплением - это вовсе не система наград и наказаний; современные тренеры даже не используют этих терминов. Награды и наказания приходят обычно после того, как действие совершено, часто спустя длительное время, как, например, в уголовном суде. Они могут повлиять, а могут и не повлиять на будущее поведение, но они, безусловно, не могут воздействовать на уже совершенное действие. Подкрепление - будь то "положительное", то, к чему надо стремиться, например, улыбка или ласка, или "отрицательное" - то, чего надо избегать, подобно рывку поводка или нахмуренным бровям - происходит именно во время поведения, на которое надо воздействовать. Подкрепление изменяет поведение только тогда, когда дается в правильно выбранный момент.

Впервые я услышала об обучении с положительным подкреплением на Гавайях, куда в 1963 году я была приглашена старшим тренером дельфинария "Жизнь моря". Раньше я дрессировала собак и лошадей, пользуясь традиционными методами, но дельфины - другое дело; на животное, которое просто уплывает от тебя, не воздействуешь поводком, уздечкой или даже кулаком. Положительное подкрепление - в основном ведро с рыбой - единственное, чем мы располагаем. Психологи в общих чертах познакомили меня с принципами обучения с подкреплением. Искусство применения этих принципов я постигла при работе с дельфинами. Имея биологическое образование и всю жизнь интересуясь поведением животных, я оказалась очарованной не столько дельфинами, сколько моим с ними взаимным общением во время дрессировки. То, чему я обучилась, работая с дельфинами, я стала применять и в дрессировке других животных. И я начала замечать, как эта система входит в мою повседневную жизнь. Например, я перестала кричать на своих детей, потому что заметила, что крик не помогает. Подмечать поведение, которое мне нужно, и сразу подкреплять его - это гораздо более действенно, да к тому же еще и сохраняет мирные отношения в семье. Тот опыт, который я извлекла из дрессировки дельфинов, имеет солидное теоретическое обоснование. В этой книге я постаралась держаться подальше от теоретизирования, так как, насколько мне известно, правила по применению этих теорий обычно не описываются наукой и, с моей точки зрения, ученые часто неправильно ими пользуются. Но основные законы уже твердо установлены и должны приниматься во внимание при обучении. Основа этой теории по разным источникам известна как модификация поведения, теория подкрепления, оперантное обусловливание, бихевиоризм, психология поведения и т.д.; это тот раздел психологии, который принес мировую известность Б.Ф.Скиннеру, профессору Гарвардского университета. Я не знаю другой современной области науки, которую бы в такой степени поносили, не понимали, переиначивали, неправильно истолковывали и неверно использовали. Одно только имя Скиннера приводит в ярость тех, кто является поборником "свободной воли" в качестве характеристики, отделяющей человека от животного. Для тех, кто воспитан в гуманистических традициях, воздействие на поведение человека при помощи своего рода осознанной техники кажется непоправимо безнравственным, несмотря на тот очевидный факт, что все мы пытаемся влиять на поведение друг друга любыми попавшимися под руку средствами. Пока гуманисты нападали на бихевиоризм и самого Скиннера с таким же жаром, с каким когда-то правоверные обрушивались на еретиков, бихевиоризм превратился в громадный раздал психологии, которым занимаются целые факультеты в университетах, он широко применяется в клинике, бихевиористы издают специальные журналы и созывают международные конгрессы бихевиоризму обучают на специальных курсах, в нем возникает ряд доктрин и разных течений, ему посвящаются целые горы литературы. Это принесло определенную пользу обществу. Некоторые болезни - например, аутизм - оказались более чувствительны к формированию и подкреплению, чем к любым другим воздействиям. Многие врачи успешно разрешали эмоциональные проблемы своих пациентов, используя приемы бихевиоризма. Большая эффективность простого изменения поведения по сравнению со скорпулезным копанием в источниках его происхождения - по крайней мере в некоторых обстоятельствах - способствовала возникновению семейной терапии, в которой рассматривается поведение каждого "иена семьи, а не только того, чье страдание наиболее очевидно. Обучающие машины и программированные учебники, разработанные на основе Скиниероаской теории, были первыми попытками разбить обучение на этапы и поощрять обучающегося за правильные ответы. Эти ранние механизмы были неуклюжими, но именно они были предвестниками компьютерного обучения, которое оказалось не только высокоэффективным, благодаря совершенству выбора времени подкрепления компьютером, но и висело в процесс обучения веселые нотки в связи с забавным характером подкрепления (фейерверки, танцующие роботы). Программы подкрепления, использующие жетоны и талоны, которые можно накопить и обменять на конфеты, сигареты или какие-то льготы, были установлены в психиатрических лечебницах и некоторых других учреждениях. Нет недостатка в программах аутотренинга, позволяющих следить за весом и изменением других привычек в нужную сторону, и все они основаны на положительном подкреплении. Интересным применением подкрепления для тренировки физиологических реакций является биологическая обратная связь. Академические ученые изучили мельчайшие аспекты обуславливания. Например, одно исследование показывает, что если вы составляете таблицу, чтобы следить за своими успехами в выполнении какой-либо саморазвивающей программы, то вы скорее выработаете новые привычки, если будете ежедневно не ставить в клеточке соответствующей графы крестик, а сплошь ее зачеркивать. Обрастание деталями преследует конкретные психологические цели, но я не смогла извлечь из них большой пользы для обучения. Тренинг представляет собой петлю, двустороннюю связь, в которой события на одном конце изменяют события на другом, точно так же, как это происходит в кибернетической системе с обратной связью, хотя многие психологи рассматривают свою работу, как нечто, что они дела ют по отношению к субъекту, а не совместно с ним. Для настоящего тренера наиболее интересными и потенциально наиболее плодотворными событиями в процессе обучения являются идеосинкразические и неожиданные ответы, которые может дать каждый испытуемый, хотя почти во всех научных работах стремятся игнорировать и свести к минимуму индивидуальные реакции. Изобретение методов, которые Скиннер назвал "формирование" для последовательного изменения поведения и реализация этих методов -- процесс творческий. Несмотря на это, психологическая литература изобилует программами формирования, которые Настолько невообразимы, чтобы не сказать неуклюжи, что, с моей точки зрения, представляют собой жестокое и необычное наказание. Возьмем, например, приводимый в одном из последних научных журналов метод борьбы с ночным самопроизвольным мочеиспусканием, который включает не только установку специальных датчиков влажности в детской постели, но и присутствие врача, проводящего ночь рядом с ребенком! При этом авторы указывают, что этот способ дорого обходится семье. А какова же его цена для психики ребенка? Такой способ "поведенческого" решения вопроса подобен попытке бить мух лопатой. Прежде чем двигаться дальше, я должна извиниться перед всеми профессиональными бихевиористами, которые обеспокоены моим лихим использованием терминологии теории подкрепления. Словарь Скиннера имеет несколько элегантных определений, таких, как оперантное обучение, которое подчеркивает, что субъект является оператором, а не только пассивным участником, или последовательное приближение, предполагающее постепенный характер процедуры формирования навыков. Однако, обучая тренингу, я обнаружила, что люди спотыкаются об эту непривычную терминологию. Чтобы четко изложить предмет, вы должны обучить двум вещам; самой сущности работы и подходящему способу ее обсуждения. По мере распространения из университета в университет Скиннеровская терминология подверглась некоторой модификации; то, что одни называют условными стимулами, другие предпочитают именовать различительными стимулами, а третьи употребляют жаргонное выражение "S-дельта". Этот специфический словарь все время разрастается. Поэтому я пожертвовала научной точностью ради такой терминологии, которая, как мне кажется будет понятной. Шопенгауэр сказал однажды, что каждая оригинальная идея сначала осмеивается, потом на нее яростно нападают, и, наконец, она принимается как нечто само собой разумеющееся. Насколько мне известно, теория подкрепления не является исключением. Несколько лет назад Скиннера повсюду высмеивали за то, что он продемонстрировал формирование навыка, обучив пару голубей играть в пинг-понг. Теплая, комфортабельная, самоочищающаяся, полная забав комната, которую он оборудовал для своих маленьких дочерей, была высмеяна, как антигуманный, аморальный и еретический "ящик для ребенка", чуть ли не тюремная камера. До сих пор ходят слухи, что его дочери сошли с ума, хотя на самом деле они выросли прекрасными работниками и очень славными людьми. И, наконец, сейчас многие образованные люди относятся к теории подкрепления как к некому пустяку, который они понимают и знают вдоль и поперек. Фактически же большинство людей ее не понимает, иначе бы они не вели себя так скверно с окружающими. В течение многих лет, с тех пор, как я начала заниматься экспериментами по тренировке дельфинов, я читала лекции и писала о правилах подкрепления для научных и профессиональных кругов, а также для широкой публики. Я обучала этому виду тренинга в высшей школе и в колледжах, я работала с выпускниками университетов, домохозяйками и служителями зоопарков, с членами моей семьи и друзьями. Я наблюдала и изучала работу дрессировщиков всех возможных типов: от ковбоев до спортивных тренеров, - и заметила, что принципы подкрепляемого обучения постепенно проникают повсюду. Голливудские дрессировщики животных называют использование метода позитивного подкрепления "аффективной тренировкой" и используют эту технику, чтобы вырабатывать такие типы поведения, которых нельзя добиться силой - например, как в рекламном телеролике, где бык спокойно прогуливается по китайской лавке. Сегодня многие спортивные тренеры используют позитивное подкрепление и формирование, а не полагаются на старинный метод кнута, и при этом результаты их воспитанников значительно улучшаются. Однако нигде я не обнаружила правил теории подкрепления, описанных таким образом, чтобы ими можно было непосредственно пользоваться на практике. В этой книге я объясняю эти правила так, как я их понимаю, а также поясняю, где я считаю нужным их применять, а где, по-моему мнению, это невозможно и нецелесообразно. Тренировка с подкреплением не разрешает всех проблем - она не увеличит ваш счет в банке, не спасет от неудачной женитьбы, не поможет в случаях тяжелых заболеваний психики. Некоторые ситуации, например, плач ребенка, не имеет отношения к проблеме тренировки и требуют других методов разрешения. Некоторые типы поведения человека и животных имеют генетические компоненты, которые трудно или невозможно изменить тренировкой. Ряд проблем просто не стоит того, чтобы тратить время на тренировку. Но во многих случаях, когда жизнь бросает человеку вызов, ставит задачи и посылает неприятности, правильное использование подкрепления может оказаться полезным. Практическое использование позитивного подкрепления в одной ситуации может побудить вас использовать его и в других. Как раздраженно сказал один исследователь дельфинов, с которым я работала: "Человеку нельзя разрешать заводить детей, прежде чем он не сумеет обучить цыпленка", подразумевая, что опыт достижения результатов в обучении существа, к которому невозможно применить силу, должен показать вам, что для воспитания ребенка вы так же не нуждаетесь в применении силы. Я заметила, что у большинства дельфиньих тренеров, использующих навыки позитивного подкрепления в своей ежедневной работе, чрезвычайно милые и приятные дети. Эта книга не обеспечит вам милых детей. И она не обещает дать вам какие-либо специфические результаты или навыки. Что она даст вам, так это фундаментальные принципы, лежащие в основе любого обучения, и некоторые основные установки творческого применения этих принципов в различных ситуациях. Другими словами она даст вам искусство тренировки. Она может помочь вам преодолеть те неприятности, которые беспокоили вас в течение многих лет, или достичь успехов в трудных для вас делах. Она, конечно, поможет вам, если вы того пожелаете, и обучить цыпленка.

В теории подкрепления, по-видимому, существует естественный порядок, и в книге главы идут в той последовательности, в которой происходят процессы тренировки, от простого к сложному, как при реальном обучении, и это та самая последовательность, при которой наиболее легко овладеть профессией тренера. Книга построена таким образом, чтобы постепенно складывалось разумное понимание процесса тренировки при помощи позитивного подкрепления. Однако, так как эта теория широко применяется на практике, то в пяти главах книги в качестве примеров приводятся различные жизненные ситуации, в которых позитивное подкрепление играет положительную роль.

Отрицательное подкрепление

Психологи спорят по поводу определения отрицательного подкрепления. Для наших целей отрицательное подкрепление можно определить как то, что субъект будет стараться избегать. Отрицательные подкрепления имеют градации от слегка неприятных стимулов - едва заметный сквозняк от кондиционера в ресторане, который все-таки заставляет вас перейти за другой столик, - до всевозможных крайностей, например удара электрическим током. Наказание происходит после поведения, на которое оно должно воздействовать. Таким образом, вы не можете избежать наказания, изменив взгляды или поступки, так как неправильное поведение уже осуществилось. Малыш, которого отшлепали за плохой табель успеваемости, может в дальнейшем учиться лучше или хуже, но уже не сможет изменить того табеля, который он уже принес. Напротив, отрицательное подкрепление можно остановить или избегнуть сиюминутным изменением поведения. Допустим, сидя в гостиной у тетушки, я случайно положила ноги на кофейный столик. Тетушка неодобрительно поднимает брови. Я ставлю ноги на пол. Ее лицо мягчеет. Я чувствую облегчение. И поскольку я смогла остановить сигнал нерасположенности, совершившееся поведение было подкреплено. Я усвоила: в тетушкином доме держи ноги по дальше от мебели. Поведение может быть полностью сформировано на основе отрицательного подкрепления, как в большинстве случаев традиционной дрессировки животных: лошадь учится поворачивать налево, когда тянут за левый повод, потому что поворот прекращает неприятное давление; лев вспрыгивает на тумбу, чтобы избежать назойливого хлыста или острой палки, которые держат около его морды.

В общем, термин "подкрепление" в этой книге относится к положительному подкреплению; если я захочу обсудить отрицательное подкреняение, я оговорю это особо. Вообще же оба вида подкрепления подчиняются одинаковым правилам применения. Например, ошибка во времени подачи подкрепления не даст результатов (или результаты будут плохими) при использовании как одного, так и другого метода подкрепления.

Время подачи подкрепления

Как уже говорилось, подкрепление должно совершаться в связи с действием, которое предполагается видоизменить. Подкрепление - это информация. Оно говорит субъекту, что именно вам нравится. Когда субъект пытается обучиться, информационное содержание подкрепления становится важнее самого подкрепления. В тренировке спортсменов или при обучении танцоров именно восклицания инструктора "Да!" или "Хорошо!", отмечающие нужное движение, а не разбор тренировки или репетиции в раздевалке дают требующуюся информацию. Запоздалое подкрепление является наибольшим недочетом начинающего дрессировщика. Собака садится, но к тому времени, когда хозяин говорит: "Хорошая собака", собака уже снова стоит. За что, думает животное, его хвалят? За то, что оно встает. Если у вас возникают трудности в дрессировке, первый вопрос, который надо себе задать, не запаздывает ли ваше подкрепление. Если вы при работе с животным вдруг застряли в самый разгар дела, то иногда полезно, чтоб кто-нибудь со стороны понаблюдал за запаздыванием подкреплений.

Мы всегда слишком запаздываем подкрепляя друг друга. "Послушай, дорогая, вчера вечером ты выглядела замечательно", - звучит совсем не так, как та же фраза, сказанная вовремя. Отсрочка подкрепления может даже оказать вреднее воздействие ("А что, разве я сейчас не выгляжу замечательно?"). Мы свято верим, что сила слов перекроет ошибки во времени подкрепления. Слишком раннее подкрепление тоже неэффективно. В зоопарке Бронкса служители замучились с гориллой. Им было нужно, чтобы она выходила в вольер, чтобы можно было почистить внутреннюю клетку, но она взяла манеру сидеть в дверном проеме, и, обладая недюжинной силой, не давала закрываться скользящей двери. Когда же служители клали пищу снаружи или подманивали ее бананами, горилла либо не обращала на них внимания, либо хватала пищу и бежала обратно к своей двери, прежде чем ту успевали закрыть. Дрессировщика, работавшего при зоопарке, попросили разобраться. Он объяснил служителям, что размахивание бананами и подбрасывание пищи было попыткой подкрепить действие, которое еще не совершилось. Это называется взяточничеством. Надо было не замечать животное, пока оно сидело в дверях, но подкреплять пищей, если оно выйдет оттуда самостоятельно. Проблема была решена.

Мне кажется, что иногда и детей мы подкрепляем слишком рано, находясь под ложным впечатлением, будто мы их подбадриваем ("Молодец, хорошо, ты уже почти все сделала правильно"). Возможно, при этом мы подкрепляем попытки. Но существует разница между попыткой сделать что-то и выполнением этого. Причитания типа "я не могу" иногда отражают фактическое положение вещей, но они могут являться и признаками того, что часто подкреплялись просто попытки. Вообще, подкрепление поведения, которое еще не совершилось, - подарками, обещаниями, комплиментами или чем-нибудь в этом роде - ни капельки не подкрепляет это поведение. Если что-то и подкрепляется, так это поведение, совершающееся в данное время: вероятнее всего - выпрашивание подкрепления. Соблюдение времени очень важно и при обучении с отрицательным подкреплением. Лошадь учится поворачивать налево, когда тянут за левый повод, но только если после поворота натяжение ослабевает. Прекращение натяжения является подкреплением. Вы садитесь на лошадь, пришпориваете ее, и она движется вперед - тогда вам надо перестать ее пришпоривать (если, конечно, вы не хотите, чтобы она двигалась быстрее). Начинающие наездники часто тычут лошадь в бока непрерывно, как будто шпоры это своего рода педаль газа в автомобиле, необходимая для движения. Пришпоривание не прекращается и тем самым не несет никакой информации для лошади. Так в школах верховой езды появляются лошади с железными боками, которые передвигаются черепашьим шагом независимо от того, как часто их пришпоривают.

То же происходит и с людьми, к которым постоянно придираются и бранят родители, начальство или учителя. Если отрицательное подкрепление не прекращается в момент достижения желаемых результатов, то оно не является подкреплением и не несет информации. Оно становится как буквально, так и в терминах теории информации "шумом".

Когда я смотрю по телевизору футбол или бейсбол, я всегда поражаюсь замечательной своевременности подкреплений, вновь и вновь получаемых игроками. Как только забивают гол или бегун пересекает финишную линию, рев толпы сигнализирует полное одобрение; а только посмотрите на бешеный обмен взаимоподкреплений игроков в тот момент, когда счет открыт или игра выиграна. С артистами, особенно с киноактерами, дело обстоит совершенно иначе. Даже на сцене аплодисменты раздаются после того, как работа кончается. У артистов кино не существует своевременного подкрепления, за исключением редкого отзыва режиссера или оператора об их работе или рукопожатия; письма поклонников и положительные рецензии, приходящие спустя недели и месяцы, бледнеют в сравнении с неистовством американского стадиона в минуту успеха. Нет ничего удивительного, что некоторые звезды кино проявляют болезненную страсть к низкой лести, и сенсациям; работа может совершенно не удовлетворять, если подкрепления, даже самые блестящие, всегда опаздывают.

Величина подкрепления

Начинающие тренеры, использующие пищевое подкрепление при работе с животными, часто не знают, какова должна быть величина каждого подкрепления. Ответ таков: чем меньше, тем лучше. Чем меньше подкрепление, тем быстрее животное съест его. Это не только экономит время, но и позволяет дать большее количество подкреплений за один сеанс, прежде чем животное насытиться. В 1979 г. Национальный зоопарк в Вашингтоне, штат Колумбия, пригласил меня в качестве консультанта для обучения группы работников зоопарка технике положительного подкрепления. Одна из смотрительниц в моей группе жаловалась, что обучение панды продвигается у нее очень медленно. Мне показалось это странным, потому что интуитивно я чувствовала, что панды - эти большие, прожорливые, активные животные - должны легко поддаваться обучению с пищевым подкреплением. Я понаблюдала за ее занятиями и обнаружила, что, когда смотрительнице удавалось добиться какого-либо движения, она давала панде целую морковку. Панда долго смаковала каждую морковку, поэтому в течение пятнадцати минут отведенного ей драгоценного времени она зарабатывала только три подкрепления (а кроме того, морковь ей надоедала). Один ломтик моркови на подкрепление был бы лучше.

Вообще, подкрепление величиной в один глоток животного вполне достаточно для поддержания его заинтересованности - одно-два зернышка для цыпленка, кубик мяса в 6 мм для кошки, половина яблока для слона. Особо любимой пищи можно давать и еще меньше - например чайную ложку зерна для лошади. Служители Национального зоопарка обучали белых медведей многим полезным вещам, таким, как переход по команде в другую клетку, используя изюминки.

Основное правило дрессировщика заключается в том, что если вы собираетесь провести в день одно занятие, то можете рассчитывать на хорошую работу животного примерно за четверть его дневного рациона, остальное дается после окончания работы. Если же вам надо провести три или четыре занятия в день, то дневную порцию пищи надо разделить примерно на восемьдесят частей и за один сеанс давать двадцать или тридцать. Восемьдесят подкреплений, видимо, являются максимумом, способным заинтересовать субъекта в течение дня. (Может быть, поэтому слайдовая кассета содержит восемьдесят слайдов; по крайней мере, когда лектор просит демонстратора показать вторую кассету слайдов, я тяжело вздыхаю)

Размер подкрепления зависит также от сложности задачи. В океанариуме "Жизнь моря" мы сочли необходимым давать каждому [дельфину] по большой макрели за их олимпийские 6-7 метровые вертикальные прыжки. Они просто отказывались делать это за обычное вознаграждение в виде двух маленьких корюшек. У людей почти всегда более трудная работа вознаграждается лучше. А если этого нет, то как мы ненавидим тяжелую работу, если нам приходится ее делать.

Большой куш

Одним из наиболее полезных приемов пищевого или какого-либо другого подкрепления для человека и животных является получение куша. Это награда, которая во много, иногда в 10 раз больше обыкновенного подкрепления и являющаяся сюрпризом для субъекта. В рекламном агентстве, где я когда-то работала, бывали официальные вечера на Рождество, а также неофициальные праздники по поводу окончания большой работы или заполучения нового клиента. Но у председателя правления была еще привычка устраивать в год один-два абсолютно неожиданных вечера. Внезапно в середине дня он проносился по всем комнатам конторы, крича, чтоб все кончали работу. Коммутаторы выключались, появлялась процессия поставщиков провизии, музыканты, буфетчики, шампанское, копченая семга, и все это только для нас и безо всякой особенной причины. Это было неожиданным кушем для пятидесяти человек. Я думаю, что это очень способствовало поднятию духа коллектива. Куш можно использовать и для того, чтоб отметить внезапное озарение. Один мой знакомый наездник, когда лошадь впервые проделывает какой-нибудь сложный маневр, соскакивает с нее, освобождает от седла и уздечки и свободно выпускает на манеж - куш полной свободы, который часто, по-видимому, может привести к образованию новой линии поведения. Как ни странно, получение всего одного куша может так же улучшить ответы непокорного, испуганного или сопротивляющегося субъекта, который вообще не проявлял нужного поведения. В океанариуме "Жизнь моря" мы проводили исследования по заданию ВМС США, в которых дельфин получал подкрепление за новые реакции, осуществляемые вместо старого, ранее выработанного поведения. Испытуемой была понятливая самочка по имени Хоу, которая редко давала новые ответы. Когда ей не стало удаваться получать подкрепления за свои действия, она стала неактивной, и в конце концов в течение одного занятия за двадцать минут не дала ни одного ответа. Наконец, тренер кинул ей пару рыбок "ни за что". Явно ошарашенная такой щедростью, Хоу снова стала активной и вскоре выполнила движение, которое можно было подкрепить, что привело к несомненному прогрессу на последующих занятиях. Я сама бывала в таком же положении, как этот дельфин. Когда мне было пятнадцать лет, самым большим удовольствием для меня были уроки верховой езды. Конюшни, где я занималась, продавали билеты, каждый на десять уроков; по своим деньгам я могла позволить себе один билет в месяц. В то время я жила с отцом, Филиппом Уили, и мачехой, Рики; и хотя они относились ко мне очень хорошо, я вступила в один из тех периодов юности, когда беспрерывно целыми днями бываешь невыносимо грубым и противным. Однажды вечером супруги Уйди, которые были любящими и изобретательными родителями, сказали, что они ужасно устали от моего поведения и поэтому решили меня наградить. И они презентовали мне ослепительно новый, дополнительный бесплатный билет на верховую езду. Один из них не поленился съездить на конюшни, чтобы купить его. Поразительно! Незаслуженный куш. Как мне помнится, я с ходу переменилась, и Рики Уйди подтвердила это много лет спустя, когда я писала эту книгу. Почему назаработанный куш может оказать такое внезапное и далеко идущее влияние, я не совсем понимаю. Может быть, со временем кто-нибудь напишет диссертацию по этому поводу и объяснит нам это. Я только знаю, что дополнительный билет на верховую езду мгновенно снял у меня сильные чувства угнетенности и обиды, и я подозреваю, что и дельфин чувствовал то же самое.

Условное подкрепление

Очень часто, особенно при работе с пищевым подкреплением, его невозможно дать в тот момент, когда субъект делает то, что хотели бы поощрить. Если я учу дельфина прыгать, то я никак не могу дать ему рыбку в тот момент, когда он находится в воздухе. Если за каждым прыжком следует брошенная рыбка (отставленное подкрепление), то у животного в конце концов образуется связь между прыжком и едой, и оно будет прыгать чаще. Однако это не несет информации о том, какой из аспектов прыжка мне нравится. На какую высоту? С каким прогибом? Может, надо войти обратно в воду со всплеском? Таким образом, потребуется очень много повторений, чтобы животное установило, какой именно прыжок я имела в виду. Чтобы обойти эту трудность, мы используем условное подкрепление. Условное подкрепление представляет собой какой-либо изначально ничего незначащий сигнал - звук, свет, движение, - который умышленно связывают с подачей подкрепления. Тренеры дельфинов остановили свой выбор на полицейском свистке: его хорошо слышно даже под водой и он не связывает руки, чтобы можно было давать сигналы и бросать рыбу. С другими животными я обычно использую "сверчка", десятицентовую игрушку, которая щелкает, когда на нее нажимаешь, или особые поощряющие слова, выбранные и приберегаемые для использования в качестве условного подкрепления: "хорошая собака", "хорошая лошадка". Школьные учителя часто прибегают к некоторым таким ритуальным и тщательно нормированным словам похвалы - "замечательно" или "очень хорошо", - за которые дети страстно работают и ждут их. Наша жизнь изобилует условными подкреплениями. Нам нравится слышать, как звонит телефон или видеть набитый почтовый ящик, даже если половина звонков неинтересна и большая часть корреспонденции - утиль, потому что множество случаев научили нас связывать звонок или конверт с хорошим. Нам нравится рождественская музыка, и мы ненавидим запах зубного кабинета. Мы храним окружающие нас вещи - картины, посуду, трофеи - не потому, что они красивы или полезны, а потому, что они напоминают нам о временах, когда мы были счастливы, или о людях, которых мы любили. Они представляют собой условные подкрепления. Практически дрессировка животных с использованием положительного подкрепления почти всегда должна начинаться с выработки условного подкрепления. Прежде чем начать выработку поведения как такового, пока субъект еще ничего особенного и не делает, вы учите его понимать значимость условного подкрепления, сочетая его с пищей, поглаживанием иди другим истинным подкреплением. Иногда, по крайней мере при работе с животными, вы можете уловить, когда субъект начинает узнавать ваш сигнал, означающий "Хорошо!". Видно, как животное вздрагивает при действии условного подкрепления и начинает искать истинное подкрепление. После выработки условного подкрепления в ваших руках оказывается реальный способ сообщения животному, что в его поведении вас интересует. Чтобы разговаривать с животными, вам не обязательно быть доктором Дулиттлом, можно очень многое сказать таким выработанным подкреплением. Условные подкрепления приобретают чрезвычайную силу. Так как информация "Ты прав" сама по себе представляет ценность, она не обязательно должна сопровождаться первичным подкреплением. Фактически использование пищи, ласки или чего-нибудь в этом роде можно практически свести к нулю, а условное подкрепление будет приносить прекрасные результаты. Я видела, как морские млекопитающие долго работали после насыщения за условные подкрепления, а лошади и собаки работают по часу и более с маленьким или безо всякого безусловного подкрепления. Люди конечно же тоже могут бесконечно работать за деньги, являющиеся ничем иным как условным подкреплением, обозначением вещей, которые на них можно купить, особенно люди, которые уже заработали гораздо больше денег, чем они когда-либо смогут действительно потратить, и, следовательно, пристрастившиеся к условному подкреплению. Действие условного подкрепления можно усилить, сочетая его с несколькими безусловными подкреплениями. В данный момент субъект может не хотеть, скажем, есть, но если тот же подкрепляющий звук или слово были умышленно связаны еще и с водой или другими потребностями или приятными моментами, он сохраняет свое действие и в этом случае. Мои кошки слышат слова "хорошая киса!", когда получают ужин, когда их гладят, когда их впускают в дом и выпускают из дома, когда они проделывают маленькие трюки и получают за них вознаграждение. В результате я могу использовать эти слова для поощрения кошки, спрыгивающей с кухонного стола, и нет нужды сопровождать его каким-либо безусловным подкрепдением. Быть может, причина того, что деньги оказывают на нас такое подкрепляющее действие, кроется в том, что они могут связываться практически с чем угодно. Это чрезвычайно обобщенное условное подкрепление. Как только вы выработали условное подкрепление, вы должны пользоваться им осторожно, не разбрасывать без толку, иначе его сила уменьшится. Дети, которые ездили на моих уэльских пони, очень скоро научились говорить: "Хорошая лошадка!" только когда хотели подкрепить поведение. Если им просто хотелось выразить свою привязанность, они могли болтать с пони, как угодно, не употребляя этих слов. Однажды девочка, которая только что присоединилась к их компании, начала гладить пони, приговаривая: "Ты хорошая лошадка!". Трое остальных тотчас же ополчились на нее: "Ты за что ему это говоришь? Он же ничего не сделал!". Подобным же образом можно и должно окружить заботой и вниманием детей, супруга, родителей, любимых и друзей безотносительно к какому-нибудь определенному поведению, но необходимо приберечь что-то специально в качестве условного подкрепления чего-либо определенного. Существует множество реальных событий, заслуживающих похвалы, подкрепления, которым щедро обмениваются в счастливых семьях. Однако фальшивая или незначимая награда вскоре вызывает не<