Квартирные и телефонные опросы, или Каким данным можно верить?

 

В 2016 г. ВЦИОМ изменил методику проведения своих опросов и параллельно с еженедельными квартирными опросами запустил еженедельные телефонные опросы, а с 2017 г. полностью перевел всероссийский омнибус, который в течение почти 30 лет проводился методом личного интервью, на рельсы ежедневного телефонного трекинга. Такие масштабные изменения требовали серьезных стимулов, главным из которых стала необходимость повысить качество опросных данных без увеличения сроков их сбора – ведь надежность и точность прогнозных данных не могут быть выше качества данных исходного опроса. В ходе публичных дискуссий качество опросов часто оценивается по двум критериям:

 • доверие структуре, проводившей опрос. Нам не приходилось видеть, чтобы кто‑то ставил под сомнение качество данных опроса, проведенного под брендом академического института, даже если описание методики и технологии его проведения содержит большие пробелы. А качество данных опросной фабрики может быть оценено критически на основе ее отнесения к числу «прогосударственных», даже если она публикует массивы исходных данных;

 • доверие респонденту, отвечавшему на вопросы: был он искренним или нет. Искренность может рассматриваться как функция метода опроса (личное интервью или разговор по телефону), доверия полстеру, чувствительности темы.

 В обсуждении обычно упускается тип выборки и контроль качества данных. Выборка исключительно важна по простой причине: правильность выборки и соблюдение правил отбора позволяют распространить полученные данные на все изучаемое население. Классическим стандартом опросной методологии считается вероятностная выборка [Чуриков, 2007], на ней работает закон больших чисел. Вероятностная выборка предполагает, что каждый человек имеет равные шансы быть отобранным. Равенство шансов реализовать непросто.

 Как обеспечить вероятностную выборку в квартирном опросе? Нужно взять полный пронумерованный список всех адресов обследуемой территории (город, регион, страна), из него датчиком случайных чисел выбрать нужное число адресов для опроса. В каждом адресе респондента тоже нужно отбирать вероятностно (например, по методу ближайшего дня рождения). Такая процедура реализуема при наличии двух условий: время и деньги.

 В России нет доступного списка всех адресов, поэтому для формирования случайной адресной выборки требуется предварительно провести перепись. Мы попытались это сделать в рамках подготовки выборки Панельного исследования ВЦИОМ‑2016 г.: отобрали для опроса регионы, населенные пункты, избирательные участки – и запустили перепись адресов на избирательных участках, попавших в выборку опроса. Этот процесс занял два месяца. В итоге по сформированной выборке не удалось провести ни одной волны опроса, поскольку интервьюеры отказывались ехать в удаленные точки, чтобы там опросить всего лишь нескольких респондентов.

 Для понимания ограничений квартирных опросов достаточно взять только последний этап формирования выборки, а именно отбор респондента в домохозяйстве методом ближайшего дня рождения. Приведенная схема опроса предусматривает несколько повторных посещений квартиры в разные дни. И в итоге отобранный по всем правилам респондент может отказаться от участия в интервью или прервать его. При такой процедуре процесс получения ответов может занять несколько недель. Поэтому на практике повторные визиты не наносятся, выборка реализуется с помощью квот, когда интервьюер сам отбирает респондента и мотивирован сдельной оплатой в короткие сроки собрать максимальное количество интервью.

 Можно представить интервьюера, у которого есть анкета, предусматривающая разговор на 30 минут. Чтобы добраться до точки опроса, ему надо провести в пути два часа, потом перемещаться по маршруту, отсчитывая дома, квартиры, уговаривая респондентов на участие в опросе. Каково должно быть его дневное вознаграждение, чтобы окупить временные затраты на три‑четыре анкеты? А если респондентов не удалось застать дома и необходимы повторные посещения? В условиях дефицита времени и бюджета система, работающая на сбор данных, включая супервайзеров, контролеров, менеджеров, начинает работать не на максимальное, а на минимально приемлемое качество.

 Введение планшетов решает проблему лишь частично: интервьюеры, как показывают специальные исследования Дмитрия Рогозина, например, успешно адаптируются к ужесточению контроля. Планшеты существенно снижают объем прямых фальсификаций, но открывают аналитику глаза на происходящее в ходе интервью, когда формулировки вопросов меняются до неузнаваемости и вместо тщательно сбалансированного «Вы примете или не примете участие в выборах?» может звучать «На выборы пойдете, да?». В отдельных случаях коммуникативная ситуация может оправдывать такую постановку (респондент вполне мог несколько раз в ходе интервью попутно высказаться о своем твердом намерении голосовать, и тогда изменение формулировки имеет смысл для улучшения коммуникации). Проблема в том, что в таком случае опрос перестает быть массовым унифицированным инструментом измерения.

 Телефонный опрос принципиально проще с точки зрения формирования выборки и контроля качества данных. Он облегчает реализацию классической вероятностной выборки на уровне региона и страны. Для этого используется полный перечень диапазонов стационарных и мобильных телефонных номеров, доступный на сайте Россвязи. На основе этих диапазонов генерируется выборка, по которой звонят автоматические системы дозвона. Во многих странах такая возможность стала уже роскошью, например, в США запрещен автоматический дозвон на мобильные телефонные номера, что делает телефонные опросы непозволительно дорогими.

 Наличие возможности грамотно построить выборку не означает, что эта возможность на практике всеми и всегда реализуется. Более дешевый способ проведения телефонных опросов – использовать готовые базы номеров, которые доступны в продаже или могут быть скачаны с сайтов. Использование баз повышает достижимость респондентов: меньше пустых звонков по неработающим номерам. Дешевизна фактически достигается ценой отказа от репрезентативности: мы никогда не знаем, какие номера попали в эти базы, а какие нет. В результате выборка может оказаться сильно смещенной и не отражать население изучаемой территории. Собственно, это и случилось в Москве на выборах мэра в 2013 г.

 Квартирный опрос имеет ряд очевидных преимуществ, которые в современных условиях сводятся на нет одним большим ограничением: реализация качественного квартирного опроса требует нескольких месяцев и стоит исключительно дорого. Поэтому при возможности провести телефонный опрос (см. табл. 5) можно уверенно утверждать, что он даст более надежные данные.

 Телефонный опрос предоставляет принципиально иные возможности для контроля качества интервью. Интервьюер, оператор колл‑центра – это офисный работник, который оплачивается не по завершенным интервью, а по часам, поэтому у него нет мотивации фальсифицировать данные или нарушать методику. Телефонные интервью часто контролируются в режиме реального времени: супервайзер может подключиться к прослушиванию любого интервью. Поэтому данные телефонных интервью наиболее надежны.

 

Таблица 5. Сравнение характеристик квартирного и телефонного опросов

 

Как влияет соблюдение методики на качество данных, показано на рис. 3, где сравниваются данные всероссийских квартирных и телефонных опросов, проведенных в одни и те же дни по сопоставимой анкете. Анкета телефонного опроса в обоих случаях короче: формировалась путем сокращения анкеты квартирного опроса для облегчения, но средняя длительность телефонного интервью почти вдвое выше. Очевидно, что сокращение времени квартирного интервью достигается за счет нарушения правил его проведения.

 Переходу на телефонные опросы как основной вид методики сбора данных предшествовал этап длительной методической подготовки: в течение полугода, с июня по декабрь 2016 г., телефонные опросы проводились в параллель с квартирными по тем же анкетам и в те же сроки. Главной задачей было выяснить, насколько существенно изменение метода опроса может повлиять на получаемые данные.

 Квартирный опрос проводился по стратифицированной многоступенчатой выборке с контролем социально‑демографических квот на последнем этапе отбора, телефонный опрос – по случайной выборке стационарных и мобильных номеров.[148] Объем каждой выборки составлял 1600 респондентов. Обе выборки в отдельности были репрезентативными для взрослого населения РФ. В результате по каждому замеру мы получали две точки данных, дистанции между которыми можно было сравнивать.

 

Рисунок 3. Сравнение метода и продолжительности интервью

 

Сопоставление данных квартирных и телефонных опросов в рамках еженедельных всероссийских опросов и региональных электоральных исследований 2016 г. позволило нам сделать ряд наблюдений.

 • В закрытых вопросах социально‑политической тематики данные обычно очень близки, а фиксируемые тренды однонаправленны. На рис. 4 в качестве примера приведена динамика рейтингов партий в 2016 г.; дистанция между данными разных видов опросов заметна только по лидирующей партии, и ее размер минимален. В 2018 г. ситуация выглядит сходным образом (см. табл. 13): разница в оценке рейтинга первого лица составляет 6 п. п. за счет увеличения в квартирном опросе доли затруднившихся с ответом.

 • Телефонный разговор воспринимается как более приватный и анонимный, что значимо для получения искренних ответов [Мягков, 2003]. По ряду тем респонденты в телефонном опросе проявляют большую открытость. Например, чаще признаются в готовности нарушать социальные нормы и более открыто отвечают на вопросы о материальном положении: доля затруднившихся снижается в два‑три раза, а доля тех, кто характеризует свое материальное положение как «хорошее», заметно повышается.

 • Принято считать, что телефонные опросы показывают большую лояльность избирателей. Это не всегда так. Например, в 2016 г. в Москве мы обнаружили, что рейтинги «Единой России» по данным телефонных опросов были существенно (до 10 п. п.) ниже, чем по данным квартирных опросов. Вероятная природа расхождений обнаружилась при сопоставлении материального положения избирателей: типично по телефону опрашиваются более (по субъективным оценкам) материально обеспеченные. В Москве получилось наоборот.

 • Только в единичных случаях разница в ответах на вопросы в личном и телефонном интервью достигала большого размаха. Например, в вопросах о явке данные телефонных опросов стабильно дают более высокую долю намеренных проголосовать (см. табл. 6, где сопоставлены ответы на вопросы, по которым прогнозировалась явка накануне президентских выборов 2018 г.). Гипотетическая причина этого (требующая дополнительных экспериментальных исследований) состоит в том, что более формальный характер коммуникации по телефону в отдельных случаях подталкивает респондента к социально одобряемым ответам, в особенности тогда, когда социальная норма четко обозначена и понятна. Электоральные предпочтения (голосование за представителя власти) такой установленной нормой не являются, в то время как участие в голосовании ярко маркируется как «гражданский долг». Любопытно, что в телефонном опросе повышена не только доля прямых деклараций намерения участвовать в выборах, но и по косвенным факторам, влияющим на уровень явки, доля позитивных ответов заметно выше.

 • В ряде случаев расхождения в ответах на одинаковые вопросы объяснимы при перепроверке методики проведения опроса. Например, при запуске регулярных телефонных опросов в 2016 г. рейтинг доверия Д. Медведеву резко упал по сравнению с данными одновременных квартирных опросов. Анализ показал, что повлияла не смена метода, а недостаточный контроль реализации опросной методики: на открытый вопрос «Каким политикам Вы бы доверили решение важных государственных задач?» интервьюер фиксировал самый первый ответ (В. Путину) и спешил перейти дальше, даже если респондент пытался назвать и другие фамилии. Проблема решилась дополнительным инструктажем.

 • В телефонных опросах больше продолжительность интервью и наполняемость открытых вопросов, что свидетельствует о более добросовестной работе интервьюеров.

 Когда мы не знаем, какие данные более точные, логично их комбинировать: в литературе по прогнозированию принятым средством повышения точности прогнозов [Armstrong, Green, Graefe, 2015] считается использование средних прогнозов. Как правило, более точными оказываются прогнозы, полученные усреднением большого числа разных прогнозов. В отчете ААПОР по оценке качества электоральных опросов 2016 г. при проверке всех гипотез используются показатели не отдельных опросов, а именно средние по отобранному для анализа типу опросов (который может выделяться по методу, по времени проведения, по территории опроса и др., а может включать и методически принципиально разные опросы). При недостаточном количестве опросов определенного типа полученные результаты считаются ненадежными.

 

Таблица 6. Сопоставление данных квартирного и телефонного опросов по предикторам явки накануне президентских выборов 2018 г. (в %, общероссийский ежедневный телефонный опрос ВЦИОМ «Спутник» (N = 1000, по всероссийской вероятностной выборке стационарных и мобильных номеров. Данные на каждую точку взяты за три предшествующих дня) и общероссийский еженедельный квартирный опрос ВЦИОМ «Экспресс» (N = 1600))

 

Выборы 2018 г. показали большую точность результатов телефонных опросов и основанных на них прогнозов.

 

«Единая Россия»

 

КПРФ

 

ЛДПР

 

«Справедливая Россия»

Рисунок 4. Динамика прогноза электоральных результатов основных партий по данным квартирного и телефонного опросов 2016 г.[149]