Формирование групп для экспериментального исследования

Существует три подхода к формированию групп. Во-первых, это точный подбор соответствий. Определив, какие характеристики могли бы оказать воздействие на реакцию испытуемых в отношении независимой переменной, мы отбираем для эксперимента ряд испытуемых. Для каждого выбранного испытуемого в состав контрольной группы подбирается другой испытуемый, имеющий то же самое сочетание релевантных характеристик. В результате возникает две группы, тождественные с точки зрения характеристик, которые могли бы повлиять на их реакцию в эксперименте. В идеале их оценки в предварительном тесте должны быть очень близки, и мы можем использовать степень близости, реально установленную в ходе предварительного теста, чтобы оценить свои усилия по достижению соответствия.

В связи с этой процедурой возникает ряд проблем. Во-первых, если нам необходимо контролировать большое число характеристик, может оказаться крайне трудно выбрать испытуемых, в точности соответствующих всем этим характеристикам (как это требуется при подборе соответствий). Например, мы могли бы найти людей, одинаковых с точки зрения пола, возраста и расовой принадлежности, но оказаться не в состоянии подобрать их так, чтобы они обладали всеми этими характеристиками и при этом имели одинаковую профессию, уровень образования и одинаково долго жили в данном сообществе. Кроме того, если мы хотим применить программу исследования, предусматривающую наличие более чем двух групп, может оказаться чрезвычайно трудно найти трех или четырех испытуемых с одинаковыми характеристиками. Если только мы не располагаем очень большим фондом потенциальных испытуемых или не имеем дело с самым простым экспериментом, подбор соответствий как способ распределения испытуемых по экспериментальным группам может оказаться невозможным.

Второй метод – метод контроля за частотным распределением. В этом случае мы не проводим сопоставление каждого испытуемого с каким-либо другим по всем характеристикам. Вместо этого испытуемые распределяются по группам таким образом, чтобы было гарантировано наличие в каждой группе одних и тех же средних характеристик и одинаковое распределение каждой характеристики. Может так случиться, что не найдется двух испытуемых с одинаковым набором характеристик пола, возраста, расовой принадлежности и профессии, однако каждая группа будет характеризоваться одним и тем же количеством мужчин и женщин, одинаковым средним возрастом и т. п. Более того, группы будут характеризоваться очень близким распределением этих характеристик среди их членов.

Контроль за распределением частот практикуется чаще, чем точный подбор соответствий, однако у него есть два существенных недостатка. Во-первых, он позволяет одновременно контролировать только одну переменную. Пользуясь методом распределения частот, можно, например, получить две группы с одинаковым количеством испытуемых в возрасте старше 40 лет и одинаковым количеством чернокожих граждан, однако нет никакой гарантии, что все испытуемые старше 40 лет не окажутся неграми в одной группе и белыми в другой. Если именно так и случится, две группы в действительности не будут сходными. Во-вторых, данный метод не дает возможности контролировать факторы, которые воздействуют на реакции испытуемых, но не были выделены исследователем. Если наша теория неполна (а она почти всегда неполна), мы могли не установить контроль за частотным распределением некоторой важной переменной. Если окажется так, что контрольная и экспериментальная группа систематически различаются по этой неконтролируемой переменной, могут быть получены искаженные результаты.

Третий метод формирования групп более гибок по сравнению с точным подбором соответствий. Это метод рандомизации. Испытуемый, выбранный из списка всех подходящих испытуемых, включается в группу посредством некоторого случайного процесса, например с помощью таблицы случайных чисел. Настоящая рандомизация не может быть достигнута с помощью процедур, имеющих случайный характер (вроде того, чтобы отобрать первых 30 человек, выразивших желание участвовать в эксперименте, в экспериментальную группу, а следующих 30 – в контрольную).

Рандомизация имеет большое преимущество, создавая у нас чувство уверенности, что все наши группы сходны между собой во всех отношениях, а не только с точки зрения переменных, которые мы считаем релевантными для эксперимента, поскольку при отборе большого числа испытуемых случайное распределение по группам гарантирует нейтрализацию различий между испытуемыми. Таким образом, рандомизация позволяет исключить любую альтернативную конкурирующую гипотезу, утверждающую, что наблюдаемые результаты объясняются какими-то систематическими различиями между группами, она является ключом к успешным лабораторным экспериментам.

Полевой эксперимент

Политологи по характеру своей деятельности редко работают в лабораториях. Они скорее наблюдают события в естественной обстановке, где меньше возможности контролировать факторы, которые могли бы повлиять на результаты исследования. В тех случаях, когда исследователи могут управлять независимой переменной и контролировать реакцию испытуемых, но не в состоянии контролировать другие аспекты ситуации, они могут проводить полевые эксперименты. В этих исследованиях используется экспериментальная программа, в которой испытуемые систематически распределяются на экспериментальную и контрольную группы. Примерами полевых экспериментов являются различные эксперименты по “отрицательному подоходному налогу”, проводимые в США ⁶. Эти исследования использовались для измерения воздействия автоматических благотворительных выплат в форме отрицательного подоходного налога на образ жизни и усердие в работе, характеризующие испытуемых. Исследователи могли контролировать, кто из испытуемых получил выплаты в виде отрицательного подоходного налога, но они не могли проконтролировать другие релевантные аспекты ситуаций, в которых находились испытуемые. Например, исследователи не могут гарантировать сохранение здоровья и семейного статуса испытуемого или возможность получить работу в данном месте. Такое положение создавало трудности при отделении воздействия благотворительных выплат от других возможных причин изменений в поведении испытуемых, однако оно имело явные преимущества, позволяя осуществить проверку воздействия отрицательного подходного налога на практике. Лабораторный эксперимент, даже если бы его можно было организовать, не был бы столь же успешным, так как нельзя быть уверенным, что результаты, полученные в таких искусственных условиях, точно отражают то, что происходит в окружающем мире. И это – главное преимущество полевых экспериментов перед лабораторными исследованиями.

В полевых экспериментах исследователи с большой тщательностью подбирают испытуемых и осуществляют случайное распределение на экспериментальную и контрольную группы, чтобы хоть как-то контролировать фоновые характеристики, которые могут воздействовать на результаты. Они также внимательно следят за условиями, в которых находятся испытуемые на протяжении эксперимента, чтобы исключить альтернативные гипотезы, которые соотносят наблюдаемые результаты с внешними событиями, происходящими во время эксперимента. (Например, все те испытуемые, которые по состоянию здоровья оказывались неспособны работать, исключались из эксперимента по отрицательному подоходному налогу, так чтобы их безработное состояние нельзя было интерпретировать как реакцию на благотворительные выплаты.)

Во многих случаях политологи не в состоянии управлять даже независимой переменной. Вы вполне можете представить себе, насколько трудно убедить одни народы совершить революцию, а других повременить с ней, чтобы провести полевой эксперимент по воздействию революций на политическое развитие! Чем сложнее исследуемый объект, тем меньше вероятность, что мы сможем контролировать его. В этих условиях исследователи должны попытаться приблизиться к экспериментальной программе, как будет описано в следующем разделе, или же обратиться к неэкспериментальной программе.