Проверка возможности экспертов непосредственно указывать значимость факторов в PR-исследованиях

В области PR с начала 90-х годов все большее распространение получают исследования, основанные на экспертных оценках. При этом нередко экспертов просят непосредственно указать веса (значимость, важность) каких-либо параметров (факторов, критериев). Насколько можно доверять таким экспертным оценкам? В этой публикации делается попытка дать ответ на этот вопрос.

Известно, что эксперты не могут непосредственно назначать адекватные числовые веса критериям (см., например, [1]). Вместе с тем, возможности экспертов по оценке весов критериев в вербальных шкалах еще не вполне изучены. В этой статье описывается эксперимент, который позволил сделать шаг вперед в изучении указанной проблемы.

В период избирательной компании по выборам в Государственную думу в декабре 1999 года, Институт ситуационного анализа и новых технологий (ИСАНТ) провел экспертизу в 45 одномандатных избирательных округах с целью оценить шансы на победу наиболее сильных кандидатов. В опросе приняло участие 650 экспертов. Здесь следует сразу уточнить, что в данном случае понимается под словом "эксперт". В технике эксперт - это высококвалифицированный специалист в своей области (часто достаточно узкой). В социально-политической области понятие "эксперт" в значительной степени размыто. Например, в области страноведения эксперты безусловно существуют. Например, есть известные китаеведы, арабисты и т.д. Можно ли сказать, что существуют признанные эксперты в области социально-политической обстановки в конкретных регионах России? К сожалению нет. Поэтому в данном исследовании под термином "эксперт" следует понимать примерно следующее: "человек, проживающий достаточно длительное время в данном регионе и обладающий наиболее полными и точными (по сравнению с другими жителями) знаниями социально-политической ситуации в этом регионе". Чаще всего такими людьми являются работники администрации региона, представители местных СМИ, лидеры местного бизнеса и п.т.

Кандидаты в Думу оценивались по следующим восьми критериям:

Экспертов также просили оценить сравнительную значимость критериев по следующей вербальной шкале.

Шкала значимости критериев:

• Очень высокая;
• Высокая;
• Средняя;
• Низкая;
• Очень низкая.

При вводе данных в компьютер, эти вербальные значения кодировались баллами ("очень высокая значимость" - 5 баллов, "высокая" - 4 балла, и т.д.). Однако, эксперты работали только с вербальными значениями, не зная о последующей кодировке.

Главной особенностью данного исследование было то, что помимо вышеуказанного, экспертов просили отдельно дать интегральную оценку шансов на победу каждого кандидата (также в 10-балльной шкале). Смысл этой оценки в том, что она должна была при последующей обработке выступать в роли зависимой переменной в модели линейной регрессии.

Таким образом, появилась возможность определить веса критериев на основе регрессионной модели и сравнить их с весами, назначенными экспертами непосредственно.

С помощью статистического пакета SPSS была просчитана линейная регрессионная модель, в которой роль зависимой переменной играл интегральный критерий ("шансы на победу"), а независимым переменными (предикторами) были остальные 8 критериев. Исключение переменных при построении регрессионной модели запрещалось. Константа не использовалась.

Модель строилась по совокупности оценок для всех избирательных округов. Заметим, что это достаточно сильное допущение. Напрашивается технология отдельной обработки каждого округа с последующей подходящей интеграцией результатов. Однако, была выдвинута гипотеза, согласно которой, если регрессионная модель будет найдена и ее скорректированный R-квадрат окажется выше 0,9 , то существуют общие закономерности для всей совокупности исследуемых регионов.

При обработке оказалось, что оптимизатор SPSS действительно нашел такую модель. Скорректированный R-квадрат модели оказался достаточно высоким (0,91). В нижеследующей таблице даны нормированные средние веса критериев, непосредственно данные экспертами и соответствующие нормированные веса, полученные на основе регрессионной модели. Для наглядности, данные таблицы проиллюстрированы графиком.

Адекватность весов критериев, полученных регрессионными методами определяется, в основном, адекватностью интегральной оценки. По результатам выборов оказалось, что адекватность интегральных оценок экспертов составила немногим более 70%, что в социально-политической области можно считать неплохим результатом.

Сопоставление полученных данных позволяет сделать заключение о том, что эксперты не могут непосредственно назначать критериям адекватные веса даже в вербальных шкалах.

Вернуться в начало

Литература

1. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. - М.: Физматлит, 1996.

Павел Горский, эксперт