Нет ничего более неточного, чем точные методы

Нет ничего более неточного, чем точные методы. Они в лучшем случае показывают направленность и общую конфигурацию трендов, но отнюдь не точность до доли процентов. А ведь многие аналитики строят свои рассуждения на динамике, имеющей смысл лишь при очень высокой точности данных.

Я это всегда чувствовал, исходя из собственного небольшого опыта количественных исследований. Сама зыбкая реальность общественного мнения порождает точность на уровне плавающих облаков. Читая многие вопросы, я регулярно ловлю себя на мысли, что не смог бы ответить на них однозначно: либо ушел бы от ответа, либо поставил галочку, не ручаясь за ее точность.

К этому надо добавить вполне ожидаемые фальсификации. Они неизбежны, если исходить из того, что интервьюеры работают ради денег, а не научного интереса, а оплата их труда смешна до слез. 

Мои предчувствие подтвердились в интервью с девушкой, которая регулярно работала на опросах в одном из регионов России. Про себя она ничего плохого не сказала, но описала в деталях кухню наблюдавшихся ею фальсификаций, которые вытекали из стремления интервьюеров обмануть обманывавших их заказчиков. Особенно масштабны, по ее наблюдениям, фальсификации в опросах, проводимых социологическими подразделениями властных структур: используя административный ресурс, они нередко через деканаты за спасибо привлекают студентов, которые не так глупы и честны, как надеются заказчики. В итоге существенная часть цифр - это оценки интервьюерами того, как, по их разумению, должны были бы ответить респонденты.

Сергей Белановский, опираясь уже не на отдельные факты, а на свое исследование приводит следующие факты и выводы:

"В 2004 году мне довелось получить разрешение на проведение контрольного исследования в одном их российских регионов. Теперь наверное, это уже не секрет - это была Хакасия. У исследования было несколько целей, одна из которых - дать независимую оценку масштаба фальсификаций анкет на нижнем уровне, т.е. самими интервьюерами. Выборка была 1600 человек, субподядчиком работ - одна из двух наиболее крупных опросных фирм Красноярска. С обеими работали крупные московские социологические организации.

Фирма-субподрядчик была предупреждена, что приедет независимый контроль. Кроме того, цена за одну анкету была повышена по сравнению с обычной, чтобы интервьюеры работали добросовестнее и не потеряли в заработке от этой добросовестности.

Наш московский контролер выехал на место с заданием провести 100% личный контроль путем полного обхода всех маршрутов. На месте он нанял себе помощников, но большую часть работ сделал сам.

Результаты проверки оказались шокирующими. Обойдя примерно половину домохозяйств, он выявил 17% сфальсифицированных анкет (т.е. домохозяйств где опрос не проводился или проводился, но его продолжительность была менее15 минут (в анкете было 50 вопросов!). Узнав об этом, я немедленно дал указание не выбрасывать сфальсифицированные анкеты, а привезти их в Москву в виде отдельного массива.
В какой-то момент фирма-субподрядчик, по-видимому, что-то узнала о об этих результатах (как именно - не знаю) и срочно провела опережающий контроль на остальной части массива. С этого момента контролеры практически не встречались с фальсификациями, зато часто слышали фразу: "А к нам уже приходили контролеры". Если экстраполировать наши результаты на вторую часть массива, то величина фальсификаций должна составить более 30%. А если учесть, что фирма была предупреждена о контроле и получила повышенную плату, то возникает гипотеза, что в "обычных" опросах процент фальсификаций еще больше.

Эти результаты не были тогда опубликованы, но обсуждались в узком кругу, в том числе и у заказчика. ФОМ тогда очень на меня обиделся, хотя совершенно зря, поскольку в данном кусте регионов он работал как раз с другой фирмой субподрядчиком, т.е. строго говоря, полученные нами данные могли быть перенесены на результаты работы ФОМа только очень гипотетически.

Звонили мне и из Левада-центра, которому я сообщил эти результаты. Левада-центр, если не ошибаюсь, работал как раз с "нашей" субподрядной фирмой. Может быть, он размещал у нее не все заказы (я этого не знаю), но, во всяком случае, он ее хорошо знал. Надо сказать, что человек, который звонил мне из Левада-центра, был моим хорошим знакомым (сейчас он уже уехал в США). Поэтому разговор был неконфликтным, но было высказано недоумение, откуда взялись такие огромные цифры, поскольку контроль Левада-центра таких цифр не получал, и вообще имел хорошее мнение о данном субподрядчике.

Я честно рассказал все, как было, и предложил приехать и посмотреть на сфальсифицированный массив. Кстати, визуально было видно, что он сфальсифицирован, поскольку он разбивался на несколько подмассивов, каждый из которых был явно заполнен одной рукой и одной авторучкой. Но никто не пришел (ФОМ тоже не поинтересовался). Этот массив валялся у меня лет пять, но потом я перешел на другую работу и весь огромный бумажный архив по разным исследованиям брать с собой не стал.

Далее мы обработали отдельно подлинный и отдельно сфальсифицированный массивы и выявили крайне интересный эффект. Интервьюер-фальсификатор, заполняя анкеты, исходит из своих представлений о том, как респонденты должны заполнять анкету. При этом он сильно завышает рейтинги власти, в том числе Путина и Единой России. Вот конкретные цифры рейтингов в процентах от всех опрошенных (сначала подлинные, потом сфальсифицированные): Путин 42/68, Единая Россия 36/46.

Какие выводы можно сделать из этой истории? Первый: чем больше фальсификата в массиве, тем выше рейтинги власти. Этот эффект можно считать достоверным, я и позднее замечал, что чем более подозрительным кажется массив, тем выше в нем рейтинги власти. Что же касается масштабов фальсификации, то здесь я, подобно Хармсу, и сам не знаю, что сказать. С одной стороны, приведенные мной цифры абсолютно достоверны. 17% фальсификата я просто держал в руках. Что касается второй части массива, то как-то странно предполагать, что в половине массива процент фальсификаций составил 34%, а в другой половине был практически равен нулю. Логичнее предположить, что исполнитель успел переделать вторую половину массива, прежде, чем подошел наш контроль (да и свидетельства респондентов это подтверждали).

С другой стороны, у всех крупных социологических фирм имеется свой контроль (но, насколько я знаю, не выездной, разве что в каких-то особых случаях) который обычно выявляет 5 -10% фальсификата, причем, 10% считается уже много. Одно из объяснений может состоять в том, что отношения между центральным контролем и местными фальсификаторами напоминают соревнование брони и снаряда: более изощренным методам контроля могут противостоять более изощренные методы фальсификации. Но это лишь гипотеза, о достоверности которой и, главное, о подлинных масштабах фальсификаций судить трудно. Я могу лишь подтвердить, что к вопросам контроля во всех серьезных фирмах относятся очень серьезно. Но проконтролировать репрезентативную всероссийскую выборку методом выездного контроля нереально. 

Несомненно, за последние 10 лет качество контроля возросло, в частности,за счет использования западного опыта и применения компьютерных технологий. Но, как я уже говорил, и на местах тоже не дремлют. 

Полученные в ходе описываемого исследования цифры шокируют меня самого. А поскольку второго такого исследования я не проводил, то и получается, что и сам не знаю, что сказать. 

Сейчас идет выборная кампания, и у журналистов в очередной раз проснулся вопрос: не фальсифицируются ли рейтинги в сторону завышения? Мой ответ: в центральных офисах нет, а на местах в какой-то мере да. Но касается это 5% или одной трети массива - это остается для меня загадкой.

Чтобы меня не обвиняли в том, что я выкладываю одни только негативные факты, в одном из следующий постов я расскажу об эффекте, понижающим рейтинги. Может быть, эти два эффекта уравновешивают друг друга?

Полагаю, что данный мой пост в наибольшей степени соответствует названию "социальные похождения".

Оригинал