Классическое и оперантное обусловливание. Научение на модели.

Классическое обусловливание. И. П. Павлов заметил, что у собаки уже на один вид кормушки выделяется слюна. В предыдущих исследованиях он всегда наблюдал выделение слюны через фистулу (небольшой разрез, который позволяет выводить с помощью трубочки продукты секреции желез наружу) слюнной железы во время поглощения собакой пищи. Но эта собака, по предположению Павлова, научила связывать вид миски со вкусом еды. Вскоре было принято решение проверить, могут ли животные научиться связывать пищу с такими индифферентными (незначимыми) раздражителями, как вспышка света или звонок. В специальную установку с автоматически подаваемой кормушкой помещали собаку и фиксировали ее ремнями (рис. 6-1). Всякий раз после включения звонка животному подавали в кормушке сухарный порошок с мясом. После многократных сочетаний включения звонка с подачей пищи у животных возникало обильное выделение слюны на одно предъявление звонка. То есть собака научалась связывать звонок с пищей.

· Классическое обусловливание-выработка условных рефлексов.

Павлов назвал звонок условным раздражителем, а пищу — безусловным раздражителем, вызывающим выделение слюны, или безусловным рефлексом. Выделение слюны в ответ на предъявление условного раздражителя стали называть условным рефлексом. Павлов полагал, что в процессе выработки условных рефлексов устанавливается связь между условным и безусловным раздражителями, в результате чего условный раздражитель заменяет безусловный. Повторное сочетание условного раздражителя с безусловным называется фазой выработки условного рефлекса. После того как условный рефлекс четко возникает на предъявление условного сигнала (звонок), можно приостановить подачу пищи, и тогда выделение слюны в ответ на предъявление условного раздражителя постепенно приостанавливается. Другими словами, происходит угасание условного рефлекса. Это угасание, по мнению Павлова, не приводит к разрушению связи между условным и безусловным раздражителем, так как при возобновлении подачи безусловного раздражителя после условного вскоре восстанавливается и условный рефлекс.

Важно отметить, что в качестве условного раздражителя может выступать любое событие, а в качестве безусловного раздражителя — любое биологически значимое для организма событие или предмет (например, пища, вода или удар током). В зару­бежной психологии выработку условных рефлексов стали называть обусловливанием, а после появления ее новых форм — классическим обусловливанием. В рамках сравнительной психологии ученые разработали множество вариантов классического обусловливания и стали применять их для изучения животных разных видов. Например, так вырабатывали условные рефлексы у плоских червей: вспышку света многократно сочетали с ударом тока, вследствие которого черви все время судорожно стягивали свое тело. После нескольких десятков сочетаний черви стягивали тело в ответ на одну вспышку света.

В России после смерти Павлова механизмы выработки условных рефлексов на долгие годы стали основным предметом исследования в физиологии нервной системы. В результате возникла новая наука о высшей нервной деятельности (ВНД), теснейшим образом связанная с учением Павлова. Метод выработки условных рефлексов стали применять и в других научных областях. Так, в психиатрии при лечении алкоголизма вырабатывали условные рефлексы рвоты в ответ на предъявление водки. Для этого больному вначале давали выпить алкоголь, а затем искусственно вызывали рвоту. Вследствие многих сочетаний уже один запах начинал вызывать рвоту у больных. Такой метод «оздоровления» на медицинском жаргоне называли «водка-рвота», но ввиду того, что условным рефлексам свойственно угасать, он не приводил к внушительным результатам.

В классическом обусловливании условный рефлекс идентичен с безусловным, поэтому организм научается не реализовывать какие-то новые акты, а лишь связывать одно событие с другим. Поэтому когда исследователи хотят обучить животное какому-то новому поведению, они не используют процедуру классического обусловливания.

Оперантное обусловливание. В цирке дрессировщики побуждают зверей совершить какое-то действие, а затем хвалят их и дают маленький кусочек пищи. После того как животное научилось делать это новое действие, его побуждают к совершению следующего действия. Если действие не то, которое нужно дрессировщику, то он не дает животному кусочка пищи, т. е. не поощряет его. Животное начинает совершать разные попытки и в итоге реализует нужное действие.

· Оперантное обусловливание —научение, в ходе которого приобретение нового опыта и реализация его в поведении приводят к достижению определенной цели.

Если мы понаблюдаем за поведением собственной собаки, когда она во дворе играет с мячом, то мы заметим, что она может его кусать, прижимать к земле и отпускать или подкидывать его. В естественных условиях обитания организмы не только отвечают на стимулы, но и воздействуют на среду. Но как только организм совершил новое действие, дальнейшее появление этого действия в поведенческом репертуаре будет зависеть от того, каков был его результат. Так, собака чаще будет подбрасывать мяч, если мы будем поощрять это действие поглаживанием или кусочком лакомой пищи.

Оперантное обусловливание (от лат. оperatic - действие) означает такое научение, в ходе которого приобретение определенного нового опыта и реализация его поведении приводят к достижению определенной цели. Оно позволяет нам воздействовать на среду и присуще не только людям, но и более простым существам, так как паук или таракан. Сам термин был введен Б. Ф. Скиннером, хотя процедуру oпeрантного обусловливания использовали веками для дрессировки животных. У Скиннера также был предшественник, который вплотную приблизился к описанию этой формы научения.

На рубеже XIX и XX вв. американский исследователь Э. Торндайк пытался выяснить, существует ли у животных разум, или интеллект. Для этого он построил «проблемный ящик» (рис. 6-2), в который помещал голодных котов. Вне клетки находилась пища, как правило, рыба. Животное могло открыть дверку ящика только в том случае, если оно нажало на педаль внутри ящика или потянуло за рычаг. Но коты вначале пытались достать приманку, просовывая лапы сквозь решетку клетки. После серии неудач они обычно обследовали все внутри, производили разнообразные действия. В конце концов животное наступало на рычаг, и дверка от­крывалась. В результате многочисленных повторных процедур животные постепенно переставали совершать лишние действия и сразу нажимали на педаль.

Торндайк назвал это научением путем проб и ошибок, поскольку перед тем как животное научается совершать нужный акт, оно реализует множество ошибочных. Такое научение можно представить графически. На рис. 6-3 изображен график, или кривая научения, где по линии абсцисс отложено количество процедур, а по линии ординат — время, за которое животное открывает дверку. Но нему можно увидеть, что чем больше раз животное попадало в проблемный ящик, тем быстрее оно оттуда выходило или, другими словами, тем меньше совершалось ошибок перед реализацией нужного действия.

Важно остановиться на одном моменте, который был отмечен американским исследователем и возведен в ранг закона. Он обнаружил, что те действия, которые поощряются, т. е. подкрепляются, с большей вероятностью возникали в последующих пробах, а те, которые не подкреплялись, не использовались животным в последующих пробах. Другими словами, животное научалось совершать только те действия, за которыми следовало подкрепление — это и есть закон эффекта.

Каковы же были выводы Торндайка по поводу разумного поведения животных? Исследователь отрицал наличие у них каких-либо признаков интеллекта, так как научение происходит путем «слепых» проб и ошибок, а механизм научения заключается в установлении связей между стимулами и реакциями. Не вдаваясь в теоретические подробности, отметим только, что уже упоминавшееся направление — бихевиоризм — стало формироваться после публикации работ Торндайка.

Самый радикальный представитель бихевиоризма, Б. Ф. Скиннер, полагал, что оперантное поведение спонтанно и возникает без каких-либо очевидных стимулов, а реактивное поведение является следствием какого-то стимула. Оперантное поведение можно модифицировать путем подкрепления. По сути, поведение можно контролировать и им можно управлять, создав соответствующий порядок подкрепления. Скиннер много экспериментировал, в основном с крысами и голубями, и утверждал, что закономерности научения одинаковы как для животных, так и для человека.

Разберем типичный эксперимент Скиннера. Голодного голубя сажают в так называемый «ящик Скиннера» (рис. 6-4). Внутри ящика нет ничего, кроме кнопки и находящейся под ней кормушки. Голодная птица, попав в клетку, начинает все обследовать, рассматривать и в результате ударяет клювом по кнопке. Опять повторяется поиск: голубь клюет пол или кормушку, в итоге опять клюет кнопку. Так животное в течение некоторого времени несколько раз клюет кнопку. Количество клеваний по кнопке, скажем, за полчаса, условно принимают за исходный оперантный уровень. Далее включают кормушку, и теперь голубь после каждого удара по кнопке получает зернышко. Через некоторое время птица научается клевать кнопку, так как это действие подкрепляется. Чем больше она клюет кнопку, тем больше она получает пищи. Если голубь будет клевать кнопку с высокой частотой, то это действие характеризуется высоким оперант ным уровнем, если будет клевать ее редко, то действие будет иметь низкий оперантный уровень.

Оперантный уровень, таким образом, показывает уровень обученности подкрепляемому акту. Но что будет, если перестать подавать подкрепление? Как и в классическом обуславливании, произойдет угасание оперантного поведения. Приведем пример. Маленький мальчик проявлял истерические формы поведения, если родители не уделяли ему нужного внимания, особенно перед сном. Так как родителей такое поведение сильно тревожило, они все время успокаивали его и этим подкрепляли дальнейшее появление истерики. Им посоветовали перестать обращать внимание на ребенка, как бы сильно ни плакал. Отмена подкрепления в форме внимания должна была привести к угнетению, т. е. к исчезновению всех истерических проявлений, что и произошло. Плач мальчика исчез уже через одну неделю.

Процедуру оперантного обусловливания применяют для научения животных сложным формам поведения, которые не возникли бы в естественных условиях. Например, медведя можно научить водить мопед, а дельфина — прыгать через горящий круг. Поведение такой сложности можно выработать у животных, применяя процедуру формирования поведения. Для примера приведем ситуацию научения кролика потягиванию кольца.

В небольшой клетке в одном углу находится автоматическая кормушка, напротив, в другом углу, — кольцо. Голодный кролик, попав в клетку, в первые минуты все обнюхивает, становится на задние лапы и выглядывает из клетки. Экспериментатор начинает подавать кормушку с пищей. Кормушка работает с шумом, поэтому животное не сразу залезает в нее. После того как кролик привык к шуму, он уже связывает его с появлением пищи и смело залезает в кормушку за ней. Через некоторое время перестают подавать пищу, после чего кролик вновь начинает осуществлять поисковое поведение. Когда животное поворачивает в сторону кольца, снова подают кормушку с пищей. После множества реализаций поворота кролику начинают давать пищу только в том случае, если он подходит к кольцу. Когда подход к кольцу сформирован, опять перестают подавать пищу. Животное начинает поисковое поведение, повторяет все формы выученных ранее актов, начинает грызть кольцо и тянет его. Срабатывает кормушка. Через некоторое время животное уже научается потягиванию за кольцо.

В оперантном научении особую роль занимает подкрепление. Подкреплением называется любой предмет или событие, которое значимо для организма и ради достижения которого им совершается поведение. Выделяют положительное подкрепление и отрицательное подкрепление. В качестве положительного подкрепления всегда выступают биологически необходимые для организма объекты, например пища, вода, половой партнер и т. д. У людей к биологически необходимым объектам добавляются продукты культуры или культурные ценности. Отрицательное подкрепление опасно для жизни, поэтому организм пытается избежать его или предотвратить его действие. В качестве отрицательного подкрепления исследователи часто используют электрический ток или громкий звук, а процедуру научения в таких случаях принято называть аверзивным обусловливанием (от англ. aversive— отвращающий).

· Подкрепление — предмет или событие, которое значимо для организма.

Теперь нам становится понятно, почему Скиннер полагал, что поведением можно манипулировать через подкрепление. Но на самом деле все оказалось гораздо сложнее. Мак-Фарленд сообщает, что некоторые исследователи пытались научить цыплят стоять спокойно на ровной площадке, чтобы получить вознаграждение, но те все время скребли пол. Другие пытались научить свинью вкладывать в копилку особую монету. Но свинья ни за какое подкрепление не хотела научиться этому, она многократно роняла на пол монету и поднимала опять. Проводили также исследования с голубями, в ходе которых их обучали клевать кнопку либо взмахивать крыльями. Оказалось, что птицы быстрее научались клевать кнопку, если в качестве подкрепления выступала пища (положительное подкрепление), а взмахивать крыльями — если этим поведением они избегали удара электрического тока (негативное подкрепление). С точки зрения Скиннера, голуби должны были научиться клевать кнопку или встряхивать крыльями независимо от рода подкрепления.

Такой парадокс объяснили этологи — исследователи поведения животных в естественных условиях. У голубей акт клевания является частью пищевого поведения, поэтому голубь быстрее научается клевать кнопку, если за этим следует подкрепление в виде пищи. А взмахивание крыльями является частью избегательного поведения, так как птицы совершают этот акт перед тем как взлететь. Ограничения такого рода показывают, что научение связано с имеющимся опытом животного, а также с врожденными формами поведения.

Американский психолог А. Бандура утверждает, что люди по большей части учатся не путем проб и ошибок, а посредством наблюдения. Это уникальное свойство людей позволяет им достигать великих высот, не рискуя при этом своей жизнью. Довольно сложно разграничить имитацию и научение путем наблюдения, так как сам Бандура полагает, что имитация является частью последнего. Одной из отличительных особенностей имитации является неосознанность. Научение путем наблюдения по большей части протекает осознанно.

Бандура выделяет четыре основных процесса в научении путем наблюдения. Первый — процесс внимания. На этой стадии человек должен обратить внимание на поведение «модели» и правильно его понять. Наблюдая за «моделью», человек запоминает ее поведение в виде информации, которая представлена в репрезентациях. Это — процесс сохранения. Репрезентации бывают невербальными и вербальными: одни возникают путем образного, а другие — путем вербального кодирования. На третьем этапе (моторно-репродуктивного процесса) происходит перевод символически закодированной информации в действия. Последний этап сильно зависит от мотивационных процессов, т. е. от разных переменных подкрепления. Приведем пример из школьной жизни. Дети наблюдают, как учитель рисует тригонометрические фигуры (первый этап). Моделью в данном случае является учитель. Дети запоминают все движения учителя при рисовании на доске фигур (второй этап). Дома каждый ребенок может попробовать нарисовать запомнившиеся ему фигуры (третий этап). Но одни дети сделают это, потому что боятся не выполнить задание учителя, другие — потому что любят рисовать, и т. д. (четвертый этап).

Концепция Бандуры, по сути, объясняет научение, в ходе которого усваивается социальный и культурный опыт.

Рассмотрев разные формы научения, в заключение нам хотелось бы остановиться на метафоре, которая предложена для эволюции организмов, но применима и к научению. Д. Деннет, автор метафоры, назвал ее «генерирующей и тестирующей вышкой». Она очень упрощена, в этом сознается и сам Деннет. «Вышка» обозначает эволюционный процесс, а «генерирующая» и «тестирующая» — функции, за счет которых обеспечивается протекание этого процесса. Вышка имеет несколько этажей.

По мнению Деннета, вначале была дарвиновская эволюция видов. Протекала она за счет естественного отбора. Возникало множество простейших организмов путем рекомбинаций и мутаций генов. Такие организмы имели фиксированную форму по­ведения. Они проходили испытания в среде, и только самые лучшие из них выжили и размножились. Это и есть первый этаж вышки, а живущие на ней существа называются «дарвиновскими существами» (рис. 6-6). Автор пишет, что такой процесс прошел многие миллионы циклов, пока среди существ не возникли такие, которые обладали фенотипической гибкостью. Это означает, что помимо врожденных качеств и фиксированных форм поведения новые существа могли изменяться и приобретать новые качества и новый опыт в процессе повторяющихся взаимоотношений со средой. Модификации происходили в организмах, главным образом, по ходу приспособления к разным событиям, которые происходили в окружающей среде. Многие из этих существ погибали, так как не могли реализовать свое поведение в изменившейся среде, но многие выживали, так как имели целый набор актов. Существа генерировали разные акты и далее пробовали применить их по одному. Это происходило до те пор, пока не обнаруживался наиболее подходящий акт.

Но каким образом эти существа узнавали про то, подходит ли выбранный акт. Путем положительной либо отрицательной обратной связи, которую организм получал от внешней среды. И эта обратная связь увеличивала либо уменьшала вероятность использования акта в следующий раз (закон эффекта). Можно догадаться, что здесь идет речь об оперантном обусловливании. Очевидно, что такие существа умели оценивать исходящие из среды положительные или отрицательные события, или подкрепления. Деннет называет эти организмы «скиннеровскими существами» (рис. 6-7), так как «Скиннер показал, что такая форма;оперантного обусловливания; является не только аналогией естественного отбора по Дарвину, но и расширением после него» (Dennett D. С., 1996). Эти существа живут на втором этаже вышки.

Мы с вами видели, что множество животных научается с одного раза, не проходит через сложный путь научения путем проб и ошибок. Для чего возникла такая форма приспособления? Деннет пишет по этому поводу, что «;скиннеровское обусловливание; — хорошая штука, если не предположить, что организм не будет убит в сам начале, в результате своей какой-то фатальной ошибки» (Dennett D. С., 1996). Поэтому более эффективным способом выживания является предварительная селекция возможных форм поведения, или актов. Делается такая селекция для того, чтобы «очевидно видно глупые шаги» заранее были отброшены, перед тем как их реализовать в cреде обитания. Животные третьего этажа, «попперовские существа», совершают так предварительную селекцию. Деннет называет эти существа попперовскими, так как К. Поппер отмечал, что такое строение организма позволяет, «чтобы вместо нас самих погибали наши гипотезы» (Popper К. R., 1995).

Каким образом «попперовские существа» совершают предварительную селекцию? Откуда должна приходить обратная связь? Для этого должен быть внутренний фильтр, состоящий из модели (а не точной копии) внешней среды. Эта модель среды содержит максимальное количество информации о наружной среде. Организм с помощью внутреннего проигрывания актов отбирает те из них, которые подкрепляются моделью среды, аналогично тому, как это происходило бы во внешней среде (рис. 6-8). Конечно, и здесь могут возникать ошибки, особенно если организм попадает в какую-то экстраординарную ситуацию, но их становится гораздо меньше! У нас может возникнуть вопрос: а каких животных на самом деле можно считать попперовскими? Деннет полагает, что таковыми являются большинство животных, начиная с самых простых и кончая человеком.