Везде
Опросы общественого мнения в президентских избирательных компаниях США
Оглавление
Аннотация Оценить Содержание публикации
Библиография Комментарии
Поделиться
QR
Метрика
Опросы общественого мнения в президентских избирательных компаниях США
Аннотация
Код статьи
S207054760005837-7-1
Тип публикации
Статья
Статус публикации
Опубликовано
Авторы
Попов Николай Петрович 
ORCID: 0000-0002-2168-2157
Аффилиация: Институт США и Канады, РАН
Адрес: Российская Федерация, Москва
Выпуск
Выпуск № 3
Аннотация

В статье рассматривается становление и развитие системы изучения общественного мнения в США, в том числе в политической жизни, в процессе президентских избирательных кампаний. Дается анализ основных направлений этой деятельности – научных институтов, исследовательских центров органов прессы и избирательных штабов кандидатов и политических партий. Анализируется роль опросов общественного мнения в кампаниях последних десятилетий, в частности на президентских выборах 2016 года

Ключевые слова
общественное мнение, опросы общественного мнения, настроения избирателей, электоральные намерения, методология социологических исследований, репрезентативная выборка, прогнозы результатов выборов
Классификатор
Получено
12.10.2017
Дата публикации
22.12.2017
Всего подписок
4
Всего просмотров
5061
Оценка читателей
0.0 (0 голосов)
Цитировать Скачать pdf
1 Регулярное изучение взглядов, настроений, намерений людей началось в США в середине XIX века и было вызвано в первую очередь развитием бизнеса, торговли, требовавших как можно более точных сведений о потребительских интересах и намерениях потенциальных покупателей, клиентов. Одновременно шло развитие рекламы, исследования рынка (market research), технологии маркетинга. Они, в свою очередь, основывались на таких гуманитарных науках, как психология, социология, статистика.
2

Одновременно бурно развивавшееся газетное и журнальное дело проявило растущий интерес к описанию взглядов и настроений людей, а также к изучению своей читательской аудитории, к тому, что постепенно стало называться «общественным мнением». Одним из первых изданий, начавших публиковать результаты «соломенных» опросов в 1824 г., была газета “American Watchman and Delaware Advertiser”. А впервые стала печатать прогнозы выборов на основе «соломенных» опросов с 1900 г. газета “The New York Herald” [1].
3 Государственное управление, публичная политика, решение социальных проблем требовали более точных представлений и постоянного отслеживания запросов граждан, различных слоев общества как по внутренним проблемам, так и по внешнеполитическим. Эта потребность значительно усилилась во время «великой депрессии», когда американское правительство разрабатывало и внедряло множество радикальных программ, направленных на выход из кризиса, и должно было выяснять отношение к этим программам населения.
4 Наконец, развитие технологии политической борьбы и растущий интерес прессы к предсказанию и анализу результатов выборов вызвали к жизни целую отрасль прикладной социологии – изучение мнений и намерений электората, электоральные исследования. Используя вначале в основном методологию маркетологов, в дальнейшем электоральная социология обогатилась своими специфическими приемами опросов как в области конструирования выборки, так и составления вопросов, направленных на выявление специфической политической психологии различных слоев населения, приводящей их к выбору того или иного кандидата или партии.
5

В социологической литературе считается, что наибольший, и можно сказать, революционный вклад в постановке изучения общественного мнения на научный фундамент сделали в 1930-е годы Дж. Гэллап, А. Кроссли, Э. Роупер и Х. Кэнтрил [2]. Они занимались разработкой как маркетинговых исследований, так и изучением аудитории прессы и электоральными исследованиями, заложив основы количественных методов исследования социальных процессов и построения репрезентативных выборок населения, которые широко используются во всем мире.
6 В данной работе рассматривается использование опросов общественного мнения в процессе президентских выборов в США, в частности, на примере избирательной кампании 2016 года.
7

«Соломенные» опросы

 

Первые опросы избирателей, фиксировавшие электоральную статистику – за кого голосовали избиратели, а также избирательские прогнозы – за кого они собираются голосовать, проводились в Англии в конце XVIII столетия, в начале XIX века в США, в середине XIX века во Франции, Германии и Бельгии. Опросы проводились по выборке нерепрезентативной и неслучайной, фиксировались только намерения проголосовать, не отмечались демографические характеристики и какие-либо иные взгляды, т.е. измерялся только «электоральный ветер», ожидаемый результат выборов – «подбросьте солому в воздух – вы увидите, куда дует ветер» – такие опросы соответственно назывались «соломенными» [3].
8

Главным недостатком соломенных опросов была невысокая точность их предсказаний, поскольку они не опирались на закон больших чисел и возможность выборочных исследований. Прогресс был достигнут после публикации работ А. Боули о методах составления репрезентативной выборки при проведении опросов населения в 1912 и в 1915 годах после его исследования распространенности бедности в рабочих районах Англии [4]. Таким образом, уже в начале века были разработаны статистически обоснованные принципы выборочных опросов. Правда, за исключением экономистов, методы репрезентативной выборки мало использовались исследователями рынка, аудитории читателей газет или при прогнозировании результатов выборов. Должен был произойти психологический сдвиг в сознании политиков, журналистов, организаторов избирательных кампаний и их финансистов, чтобы понять и поверить, что на основании опроса нескольких тысяч человек можно получить надежные представления о намерениях миллионов избирателей, покупателей или читателей.
9

Однако опыт накапливался. В конце 1920-х – начале 1930-х годов значительный вклад в развитие технологии «соломенных» опросов внесли Г. Линк, Д. Старч, П. Черингтон [5]. Особая роль в развитии технологии опросов общественного мнения принадлежит исследованиям поведения покупателей, маркетологам. В 1932 г. психолог Г. Линк разработал «Психологический барометр», с помощью которого он определял популярность у потребителей различных марок мыла, кофе, других потребительских товаров [6]. В эти же годы все большую известность приобрели Дж. Гэллап, психолог, изучавший аудиторию прессы и эффективность рекламы в прессе, Э. Роупер и А.Кроссли, специалисты в области изучения рынка. Они все больше стали применять методы исследования рынка к изучению общественного мнения [7].
10

Независимо от них особую роль в развитии опросного дела в политике сыграл в этот период Эмиль Хурья, журналист, социолог и политик. Используя свой опыт выборочных замеров в горнорудном деле, он разработал конкретную технологию коррекции выборки «соломенных» опросов и их использования в избирательных кампаниях. В 1932 г. он предложил свои услуги избирательному штабу губернатора Нью-Йорка Ф.Д. Рузвельта, кандидата от демократов на президентских выборах. Он представил штабу детальный план действий, основанный на «точном методе статистического анализа политических взглядов в течение начинающейся кампании», и был назначен исполнительным директором Национального комитета Демократической партии США [8].
11

Он использовал все имеющиеся результаты соломенных опросов, проводимых “The Literary Digest” и сетью газет Херста, и корректировал их на основании собственных локальных опросов, проводимых регулярно – в разгар кампании почти каждый день – на уровне избирательных участков и округов. Сочетание разных источников и его собственные знания о методах выборки давали ему возможность перевзвешивать результаты и добиваться большей точности. Проводя эту операцию из раза в раз, он получал динамику взглядов избирателей и предпочтений того или иного кандидата. Все это сводилось на карту страны и штатов, где фиксировались «красные» округа с преимуществом республиканского кандидата Г. Гувера и «синие», где было преимущество Рузвельта. Особое внимание в агитации уделялось округам и участкам, где соотношение было почти равным [9]. Так, благодаря использованию анализа избирательских трендов Хурьи, были с малым отрывом выиграны штаты Нью-Джерси, Огайо, Массачусетс.
12

Воздействие на избирателей

 

Начав эту работу в январе, к сентябрю 1932 г., за месяц до выборов, Хурья сделал на основании анализа опросов прогноз победы Рузвельта в целом по стране и по конкретным штатам, который был распространен в прессе [10]. Поскольку методы работы Хурья были мало кому известны, журналисты сочли прогноз лишь методом психологического давления на республиканцев.
13 Этот момент можно считать рождением традиции широкого использования опросов общественного мнения в политических кампаниях и, прежде всего, в избирательных кампаниях, при которой политики и кандидаты на выборные посты уже разбираются в сути опросов и их результатах, социологи-полстеры работают в избирательных штабах, а также специально создаются опросные фирмы для обслуживания партий и кандидатов. Ведущие научные центры считают возможным работать по заказу партийных штабов. Пресса во время кампаний насыщена результатами опросов, эти результаты становятся предметом широкого публичного обсуждения.
14

Система Э. Хурья мониторинга взглядов и настроений избирателей, отработанная на выборах 1932 г., была использована и при подготовке промежуточных выборов в Конгресс 1934 года. Здесь родилась, наряду с точным прогнозом динамики электоральной поддержки, технология воздействия на решения избирателей с помощью конкретных шагов правительства, а именно «системы поблажек» колеблющимся регионам, избирательным округам [11].
15 В этот период, вплоть до следующих выборов 1936 г. страна с трудом боролась за выход из кризиса, «великой депрессии», и важнейшим инструментом в этом были программы и субсидии «нового курса» Рузвельта. Они были направлены на помощь различным социальным слоям и группам, особенно страдающим от спада, например фермерам, шахтерам, в разной степени различным штатам и округам. Распределение субсидий полностью контролировала администрация президента. Опросы Хурьи быстро показали, как субсидии и выплаты меняют политические ориентации и электоральные намерения населения, и он донес свои заключения до президента, что было использовано в политических целях.
16 Например, Э. Хурья разослал кандидатам от Демократической партии в округа программы федеральной помощи этим округам и призвал: «Используйте эти материалы, как угодно – в речах, радиовыступлениях, интервью». Результаты не замедлили сказаться – демократы сильно увеличили свое большинство в палате представителей и получили большинство в сенате. Рузвельт был в восторге.
17

Эта тактика широко использовалась и при подготовке к выборам 1936 года. При этом не только направление помощи заранее сообщалось кандидатам-демократам, но и сами программы учитывали политическую ситуацию в различных штатах. Как пишет М. Холи, «на основании своих оценок, какие штаты внушали опасения в плане поддержки, Хурья рекомендовал Фарли, ответственному за распределение средств администрации, направлять новые программы и помощь, а также спикеров в такие штаты» [12]. Эти процедуры уже, скорее, относятся к сфере политической технологии, манипуляции общественным мнением, а не только к изучению общественного мнения и его роли в формировании курса, политики страны.
18 После успехов на выборах в Конгресс 1934 г. Хурья сосредоточился на подготовке к переизбранию Рузвельта в 1936 г., сочетая тщательное и оперативное изучение настроений избирателей и влияние на них с помощью федеральных дотаций и программ. Ситуация осложнилась тем, что Рузвельт потерял важных союзников, один из которых, сенатор из Луизианы Хью Лонг, превратился в опасного соперника. Он критиковал меры «нового курса» как недостаточно радикальные в борьбе с кризисом и предлагал свои радикальные шаги – программу «Поделим наше богатство», обличающую богатых, и чрезвычайно импонировавшую наиболее страдающей от кризиса части населения. Его радиопередача привлекла небывалую аудиторию и сделала Лонга кумиром бедных. Лонг стал планировать борьбу за президентский пост в качестве кандидата от третьей партии.
19

По поручению Фарли Э. Хурья провел секретный опрос, выясняющий поддержку потенциальных кандидатов. Он показал, что поддержка Рузвельта была самой низкой с момента избрания; Лонг набирает 11% голосов, отбирая их у Рузвельта, что открывает путь к победе республиканского кандидата Э. Лэндона. Избирательный штаб президента сохранил результаты опроса в секрете, а вместо этого распространил оценки, что появление «серьезной» третьей партии не ожидается. Одновременно Рузвельт предпринял меры максимально левой направленности, чтобы устранить возможность появления политических сил левее него, типа Лонга. Одним из таких шагов было принятое летом 1936 г. повышение налогов на богатых и корпорации под девизом «Прижмем богатых». Это принесло свои плоды – Рузвельт привлек колеблющихся из левого лагеря на свою сторону и одержал убедительную победу на выборах [13]. Еще до этого, в марте журнал «Тайм» поместил портрет Э. Хурья на обложке как «политического предсказателя» года.
20

Научная методология

 

Однако вплоть до выборов в ноябре 1936 г. победа Рузвельта для многих была неочевидной. В частности, журнал «Литерари дайджест», известный своими опросами и надежными прогнозами выборов, предсказывал победу Лэндону. И здесь взошла звезда менее известных до этого социологов и статистиков Дж. Гэллапа, А. Кроссли и Э. Роупера, которые, на основе своих квотных выборок предсказали победу Рузвельта. Это оценивается в литературе как начало научных методов изучения общественного мнения, по сравнению с традиционными, «соломенными» опросами. Хотя «соломенные» опросы, несомненно, накопили обширный опыт массовых опросов, работы Гэллапа, Кроссли, Роупера перевели политические опросы на рельсы обоснованной научной методологии, которой стали доверять политики, журналисты и широкие слои избирателей [14].
21

Был еще один эпизод массовых сомнений в их качестве, когда Гэллап ошибся в прогнозе победы Трумэна над Дьюи в 1948 г. Ошибка Гэллапа была многократно объяснена им самим и многочисленными исследователями прикладной социологии. Заключалась она в том, что Гэллап рано остановил сбор данных опросов, а изменения решений избирателей произошли именно в последние дни и часы избирательной кампании [15]. Такие ошибки случались и в будущем не раз, в том числе в США, в России, в других странах, когда уровни поддержки кандидатов близки и часть избирателей принимает решение в последнюю минуту. Это не ошибки «гэллаповского» похода к изучению общественного мнения, это проблема неустойчивости, «волатильности» общественного мнения в условиях почти равной поддержки того или иного кандидата или партии, а также в результате резких сдвигов в массовом политическом сознании в силу радикальных перемен во внутренней или внешней обстановке [16].
22 Таким образом, в 1930-е годы в США сформировалась научная база проведения небольших по объему, выборочных представительных опросов населения страны и ее частей для рыночных, рекламных целей, изучения аудитории печатных изданий и радио, а также социологических целей – выявления характеристик и тенденций в массовом сознании и определение их динамики – собственно изучения общественного мнения. В то же время параллельно и во многом независимо сформировалась технология зондажа, в основном с помощью тех же принципов выборочных опросов, настроений и намерений избирателей для прогнозирования результатов выборов и возможности влиять на эти намерения с помощью вливания средств в бюджеты штатов и графств или принятия законов, обещающих выгоды тем или иных регионам или слоям населения, – то, что позднее было названо «политической технологией».
23

Надо сказать, что «отец» политических, электоральных исследований и прогнозов, «волшебник из Вашингтона» Эмиль Хурья, первым почувствовал, что созданная им технология не только измерения избирательских намерений, но и воздействия на них несет угрозу демократическому процессу, давая неограниченные возможности органам исполнительной власти и приводя к чрезмерной концентрации власти президента. Увидев эту тенденцию к «имперскому президентству» Рузвельта, он расстался с его администрацией и, более того, перешел в стан республиканцев, которым помог после Второй мировой войны выиграть большинство в Конгрессе [17].
24

Полстеры в избирательных кампаниях

 

После войны участие социологов и полстеров в политической жизни еще больше усилилось. Возникли новые фигуры, в значительной мере ученики отцов-основателей – Гэллапа, Кроссли, Роупера. Часть исследователей-полстеров стали в большей степени сотрудничать либо с Демократической, либо с Республиканской партией. В штатах стали создаваться региональные центры изучения общественного мнения, университетские факультеты социологии стали проводить собственные опросы общественного мнения
25

Ярким представителем второй, послевоенной волны социологов-полстеров стал Луис Харрис. Большую часть послевоенного времени два исследовательских центра и их продукция задавали тон в исследовании американского, а затем и международного общественного мнения – The Gallup Poll и The Harris Poll. Экономист по образованию, Харрис в 1942 г. пошел во флот и служил до конца войны. Во флоте он и провел свой первый опрос в 1945 г. и в 1947 г. поступил работать к Элмо Роуперу, одному из ветеранов исследований общественного мнения и социологического изучения рынка. Э. Роупер и Дж. Гэллап в 1930-е годы заложили основы научного изучения общественного мнения, кроме того, Роупер консультировал Ф.Д. Рузвельта в его избирательных кампаниях и безошибочно прогнозировал исход выборов. Фактически Роупер стал учителем Л. Харриса, и Харрис девять лет перенимал у него опыт политических опросов, исследований во время депрессии, подготовки ленд-лиза, других работ военного времени [18].
26 Весь этот опыт он использовал, когда в 1956 г. основал свою собственную исследовательскую организацию Louis Harris & Associates. Вначале она концентрировалась на исследовании рынка (market research), в том числе для таких клиентов, как Нью-Йоркская биржа, Стандарт Ойл, Америкен Эйрлайн. Одновременно он стал сотрудничать с такими известными журналистами, как Дж. Рестон, Дж. и С. Олсопы, которые привлекли его к участию в избирательных кампаниях известных политиков.
27 И здесь в полной мере проявились способности Харриса как мастера скрупулезной организации опросов, его особого подхода к формулировке вопросов, понятных респондентам и позволяющим в полной мере понять их мнения и «туманные» настроения, его безошибочный анализ результатов опросов. Его клиентов, партнеров и коллег-социологов всегда поражала точность его прогнозов, в том числе результатов выборов в кампаниях, в которых он участвовал.
28 Он участвовал в 214 избирательных кампаниях, в том числе на выборах 45 сенаторов, 25 губернаторов штатов. Широко известно его сотрудничество с Дж. Кеннеди, которому он помог выиграть кампанию по переизбранию в сенат и победить на главных выборах – президентских в 1960 г. Борьба Кеннеди с Р. Никсоном была напряженной, и для достижения трудной победы пригодилось все мастерство полстера и аналитика Харриса. Мастерство полстера-консультанта в кампании в том и состоит, чтобы результаты опросов превратить в рекомендации кандидату – какие темы освещать более убедительно для избирателей, как изменить манеру поведения, чтобы больше соответствовать вкусам конкретной группы избирателей.
29

Как известно, знаменитый гуру прикладной социологии, Дж. Гэллап избегал участвовать в избирательных кампаниях в качестве полстера и консультанта. И многие коллеги критиковали Харриса за его активное участие в избирательных кампаниях, причем политиков-демократов, что могло вызывать сомнения в объективности его анализов. Л. Харрис не принимал эти упреки: во-первых, он консультировал и республиканских политиков, более того, как он объяснял свою позицию позже, в интервью в 2009 г. на сессии Американской ассоциации исследования общественного мнения: «Если вы понимаете, что люди пытаются сказать, и это может спасти страну, если ее руководители тоже это узнают, тогда ваша абсолютная моральная обязанность – донести эти мысли до людей, которые принимают решения» [19].
30 После семи лет активного участия в избирательных кампаниях Л. Харрис посвятил себя в основном анализу общественного мнения как проводимого собственной фирмой, так и другими исследовательскими центрами. Его анализы регулярно появлялись в телепрограммах CBS News, затем ABC News с миллионными аудиториями, в многочисленных колонках и статьях в изданиях Washington Post, Chicago Tribune, New York Daily News, Time, Newsweek и других. Вероятно, его колонки «Harris Poll» в 1960-е и 1970-е годы были самыми читаемыми в Америке аналитическими обзорами общественного мнения. Его политические прогнозы будоражили публику и в начале 1990-х, когда он предсказал, что Дж. Буш (старший) не будет переизбран на второй срок, что и случилось.
31

На протяжении всей своей исследовательской деятельности Л. Харрис проводил глубокое социологическое изучение важных социальных проблем страны, прежде всего расовых, этнических, к решению которых приступало американское общество, а также проблем занятости, здравоохранения и образования, женского движения, проблем молодежи. Результаты его исследований и анализа получили отражение в широко известных книгах: “Is There a Republican Majority?” (1954), “The Negro Revolution in America” (1964, в соавт. с W. Brink), “Black and White” (1967, в соавт. с W.Brink ), “Black-Jewish Relations in New York City” (1970, в соавт. с B.E. Swanson), “The Anguish of Change” (1973), “Inside America” (1987) [20].
32

Телефонные опросы и экзитполы

 

Несколько инноваций послевоенного времени внесли существенные изменения в характер изучения общественного мнения, и прежде всего в электоральные опросы. Одна из них – это массовое использование телефонных опросов. Для глубинного изучения общественного мнения они не заменяют face-to-face опросов – личных поквартирных интервью. Однако в области электоральных опросов, когда главное выяснить – «за кого», телефонные опросы незаменимы. Они значительно быстрее и дешевле традиционных, хотя считается, что их длительность ограничена 10-20-30 минутами. В то же время в США, где опросы общественного мнения стали частью национальной массовой культуры, люди готовы отвечать и час и более, лишь делая, например, перерыв на кормление ребенка.
33 Другим важным шагом в увеличении точности и оперативности электоральных опросов стали «экзитполы» (exit polls) – опросы на выходе из избирательных участков. В значительной мере они родились в связи с ограничениями на освещение, прежде всего по телевидению, результатов голосования с избирательных участков. Поскольку Америка – большая и вытянутая с востока на запад страна с четырьмя часовыми поясами, выборы на Восточном побережье, в Нью-Йорке уже заканчивались, а многие избиратели на Западном побережье, в Калифорнии еще только собирались голосовать, и для них было важно узнать, как проголосовали в Нью-Йорке. Часто это меняло их выбор в ту или иную сторону.
34 В 1950-е и 1960-е годы это была главная интрига ночи выборов – показ по телевизору, как избирательская волна прокатывается по стране с востока на запад, как проголосовал Нью-Йорк, потом – как Пенсильвания, потом Кентукки, Канзас, Техас, и далее до Калифорнии. При всей привлекательности этого шоу для широкой публики и для телевидения многие политики видели влияние происходящего на объективность выборов избирателей и, в конечном счете, настояли на запрещении показа результатов голосования до прекращения голосования по всей стране.
35

В результате родилась технология опросов избирателей на выходе из избирательных участков. Это не нарушало запрет, потому что это не были официальные данные избирательных комиссий, а был лишь еще один опрос общественного мнения. Но это был опрос практически в момент голосования, к тому же с деталями, свойственными опросам – полом, возрастом, образованием и другими характеристиками избирателя, столь необходимыми для анализа. Результаты публиковались сразу после окончания голосования, задолго до официального подсчета голосов. Основную роль в разработке методики этой процедуры сыграл выдающийся социолог Уоррен Митофски, который ранее также был ответственен за разработку методики репрезентативных телефонных опросов [21].
36 В последние два десятилетия все большее распространение получают интернет-опросы и автоматизированные телефонные опросы – robo-calls IRV (Interactive Voice Response). Они уступают в надежности традиционным персональным квартирным или телефонным опросам, зато они гораздо дешевле и оперативнее.
37 В послевоенные годы, хотя в стране существовали работавшие уже десятилетия центры изучения общественного мнения, такие как Институт Гэллапа, ведущие органы прессы стремились получать свои оперативные сведения о состоянии общественного мнения по различным проблемам, в том числе по оценке населением основных политических игроков – партий, администраций, сенаторов и президента. Получение рейтингов политиков – этого «хлеба» политического репортажа – требовало оперативных, желательно собственных замеров общественных настроений. Как ответ на эту постоянную жажду новостей родились собственные службы изучения общественного мнения редакций газет, журналов, радио- и телевизионных компаний. Также развивали свои собственные замеры общественного мнения университетские социологические центры, коммерческие маркетинговые службы.
38

Система электоральных исследований общественного мнения

 

В целом в послевоенное время опросы, связанные с выборами, стали структурироваться по трем основным направлениям: прогнозирование результатов выборов; выработка стратегии и тактики избирательных компаний; изучение общественного мнения, основных интересов и забот избирателей.
39 Современная наука и индустрия изучения политических взглядов американского населения и прогнозирования исходов избирательных кампаний представляет собой сложную разветвленную систему, включающую научные институты, коммерческие фирмы и университетские центры. В принципе большинство из них может проводить все виды исследовательских работ: как сбор полевой информации – личные массовые опросы, телефонные опросы, качественные исследования, так и анализ результатов, прогнозы политического поведения, результатов выборов. Тем не менее по специализации этих центров их можно условно подразделить на следующие группы.
40

Научные центры

 

Наряду с развитием методологии опросов для изучения рынка, аудитории прессы и прогнозов поведения избирателей, в научных центрах развивалось изучение механизмов развития массового политического сознания, определяющего политическое поведение, в частности, на выборах. Уже в начале 1940-х годов в США сформировались две школы изучения массового политического сознания, в дальнейшем влиявших на изучение и интерпретацию текущих политических событий, в том числе избирательных кампаний и выборов.
41

Одним из таких центров изучения массового политического сознания и поведения стал Мичиганский университет, его Институт социальных исследований (Institute for Social Research), в частности, Центр исследований вопросов общественного мнения (Survey Research Center (SRC)), в котором впоследствии был создан Центр политических исследований (Сenter for Political Studies). Там сформировалась группа исследователей, которые опирались на ранние исследования мотиваций избирателей при определении их электорального выбора, в том числе работы Ч. Мерриам и Г. Госнелла 1930-х годов [22], но главное – на пилотажные работы поведения избирателей П. Лазарсфелда, Б. Берельсона и Х. Годе 1944 г. Эта группа включала ставших впоследствии классиками изучения электорального поведения Ф. Конверса, У. Миллера и А. Kэмпбелла [23].
42

Начиная с 1948 г., они разработали методологию исследования взглядов и поведения избирателей, включающую панельные исследования, которая получила затем название «Американские национальные исследования выборов» (American National Election Studies). Эти исследования проводятся каждые два года, совпадая с выборами президента или в Конгресс. Цель исследования была сформулирована так:

1. Проанализировать причины принятия решения с октября до момента голосования.

2. Определить личностные, аттитудональные (установочные) и демографические характеристики избирателей и тех, кто не принимает участия в голосовании.

3. Определить влияние различных психологических, социальных и политических факторов на принятия решения о поддержке того или иного кандидата.
43

Эти исследования стали основой для многочисленных аналитических работ как в США, так и за рубежом и легли в основу хрестоматийной работы четырех указанных авторов «Американский избиратель» (The American Voter), которую с тех пор широко используют большинство исследователей поведения американских избирателей [24].
44 Другим центром изучения массового политического сознания и поведения избирателей стал Чикагский университет, его социологический факультет и Национальный исследовательский центр общественного мнения (National Opinion Research Center, NORC) – один из крупнейших в стране центров по изучению массовых взглядов, основанный в 1941 г. и проводящий исследования для государственных органов, научных центров и корпораций.
45 Одним из главных проектов NORC c 1972 г. является General Social Survey – массовый опрос общественного мнения по социально-экономическим и политическим проблемам. Он проводится ежегодно и после государственной переписи населения является для исследователей главным источником социальной информации.
46

Среди крупных проектов NORC широко используются специалистами и широкой публикой Национальное исследование иммунизации (с 1994 г.), Национальное исследование молодежи (с 1966 г.), Национальное исследование детского здоровья (с 2003 г.), Исследование потребительских расходов (с 1992 г.) [25].
47 Периодически Центр проводит специфические политические исследования общественного мнения. Так, в начале 2001 г. было проведено обширное исследование избирателей во Флориде по следам дополнительных выборов в штате для определения победителя президентских выборов 2000 г., зашедших в тупик из-за практически равного числе голосов, отданных за кандидатов.
48 Во время президентских выборов 2012 г. Центром было проведено обширное исследование общественного мнения уровня осведомленности избирателей о важных проблемах, включая вопросы экономики, здравоохранения, оценку популярности кандидатов в канун и после голосования.
49

Депозитарии социологической информации

 

Первым архивом, хранилищем результатов опросов различных полстеров стал Роуперовский центр – основанный в 1946 г. Э. Роупером депозитарий результатов социологических опросов. Первоначально он содержал перфокарты данных опросов Роупера дла журнала “Fortune” В настоящее время крупнейший в мире депозитарий результатов американских и иностранных социологических опросов, хранящий свыше 20 тысяч баз данных, находится в Коннектикутском университете в городе Сторрз.
50

Межуниверситетский консорциум политических и социальных исследований, основанный в 1962 г. в Мичиганском университете, содержит результаты свыше 10 тысяч исследований как американских, так и других стран. Широко используется как исследователями для поиска результатов исследований по социально-политическим проблемам, так и студентами университетов для обучения методам количественных социальных исследований. Это основной депозитарий данных Американского национального исследования выборов.
51

Национальный центр исследования мнений Чикагского университета содержит базы данных собственных социальных исследований, в том числе результаты Общего социального исследования (GSS).
52 Здесь необходимо отметить, что большинство опросных организаций в США, как научных, так и коммерческих, также как и отдельные специалисты в этой области, являются членами Американской ассоциации исследователей общественного мнения и Всемирной организации исследователей общественного мнения, созданных в 1947 году. Эти организации поддерживают определенные стандарты проведения опросов и правила публикации их результатов. Эти общие нормы регламентируют построение выборки, опросных документов, правила проведения опросов, а также требования к публикации результатов с указанием времени опроса, характера выборки и точности результатов. Также оговаривается необходимость депонирования результатов в национальных центрах хранения результатов в указанных выше архивах.
53

Центры изучения общественного мнения штатов

 

Уже с конца 1930-х годов в различных штатах стали формировать региональные группы изучения общественного мнения на базе печатных изданий и независимо. В настоящее время наиболее старейшие и известные из них: “Texas Poll” (созданный в 1940 г.), “The Pulse of New York” (1941), “Iowa Poll” (1943), “Minnesota Poll” (1944), “California Poll” (1947).
54 Поскольку национальные электоральные опросы часто не дают детальных сведений по штатам и избирательным округам, что не позволяет предсказать количество выборщиков в поддержку кандидатов, опросы на уровне штатов становятся все более популярными для прогнозов результатов выборов.
55

Центры прессы

 

Еще в 20-е годы XIX века в США практиковались спонтанные, «народные» опросы общественного мнения, в том числе по поводу выборов, публиковавшиеся или заказанные газетами. Постепенно они превратились в регулярные газетные и журнальные «соломенные» опросы конца XIX, начала XX века. Наиболее известны среди них “The Literary Digest”, “New York Herald”, “Cincinnati Enquirer”, “Chicago Tribune”, “St. Louis Times”, журнал “Fortune”, для которого проводил опросы Э. Роупер.
56 Из этого интереса прессы к политическим опросам к настоящему времени развились в той или мере регулярные опросы общественного мнения профессиональных центров издательств газет и телевизионных и радиокомпаний. Часто свои усилия объединяют телекомпания и издательство газеты, что дает возможность публиковать результаты опросов почти одновременно с их получением. Первым таким гибридом 40 лет назад стал объединенный опросный центр “CBS News/New York Times”. Их примеру последовали “ABC News/Washington Post” и “NBC/Wall Street Journal”.
57 В дальнейшем издательства и телекомпании стали объединяться для проведения предвыборных опросов с социологическими опросными центрами – на постоянной основе или на время избирательных компаний. В настоящее время наиболее известны следующие опросные центры, включающие органы средств массовой информации:
58 - CBS News/New York Times - проводит регулярные, на пике кампании два-три раза в неделю опросы общественного мнения по стандартной представительной национальной выборке в 1300-1400 респондентов;
59 - ABC News/Washington Post; ABC News;
60 - NBC News/Wall Street Journal; NBC News/Survey Monkey (проводит опросы онлайн);
61 - UPI/CVoter (United Press International и Centre for Voting Opinion &Trends in Election Research);
62 - CNN/Opinion Research Corporation;
63 - Fox News/Anderson Robbins Research/Shaw and Company Research;
64 - Los Angeles Times/University of Southern California;
65 - Associated Press/NORC (National Opinion Research Center при Чикагском университете).
66 Многие такие центры действуют только в последние год-два избирательной кампании и после выборов распадаются до следующего избирательного цикла.
67

Университетские опросы избирателей

 

За последние годы значительно выросло число университетов и колледжей, проводящих опросы избирателей во время выборов. Во время кампании 2016 г. они провели около трети всех электоральных опросов, в то время как на выборах 2012 г. их доля составила лишь 15%. Этому способствует, в частности, рост интереса к социологии и методологии опросов в университетах – сейчас свыше 200 из них являются членами Американской ассоциации изучения общественного мнения [26].
68 Проведение опроса университетским центром, что непременно публикуется в прессе в связи с большим интересом к выборам, значительно повышает известность университета. Это ведет к росту числа студентов, и для многих университетов будоражащим примером послужил успех Квиннипиакского университета, который утроил число студентов благодаря обширной и широко известной опросной программе. Рост престижа и приток студентов ведет к увеличению платы за обучение и, соответственно, к росту качества преподавания в данном университете.
69

Полстеры кандидатов и партий

 

Опыт работы Э. Хурья в избирательном штабе Рузвельта, описанный выше, использовался и в дальнейшем, когда штабы кандидатов и национальные комитеты партий стали привлекать полстеров или создавали свои центры изучения настроений избирателей под избирательные кампании. Кроме Э. Хурьи с командой Рузвельта сотрудничал Х. Кэнтрил, один из отцов-основателей научного подхода к опросам [27].
70 Известна исключительная роль Л. Харриса в кампании Дж. Кеннеди и его победе над Р. Никсоном на выборах 1960 года. О. Квэйл консультировал кампанию Л. Джонсона, Р. Каддел был полстером Макгаверна, а затем Дж. Картера. Р. Титер работал в штабах Никсона, Форда и Дж. Буша старшего. Р. Виртлин был полстером Р. Рейгана, С. Гринберг – У. Клинтона. Хорошо известны имена полстеров, приведших своих кандидатов к победе, в то время как имена организаторов и полстеров неудачных кампаний быстро забываются.
71

Проведение опросов для избирательных штабов кандидатов и партий на выборах это основной источник денег для таких полстеров, при этом они занимаются не только и не столько организацией опросов, сколько анализом результатов, интерпретацией взглядов и намерений избирателей и, в конечном счете, разработкой стратегии избирательной кампании, оперативным изменением тактики кампании, что может привести к победе [28].
72 Точные суммы затрат на опросы и рекомендации в кампании неизвестны, но, например, избирательный штаб Б. Обамы потратил 5 млн долларов на выборах 2008 г., Обама и Ромни истратили по 5 млн долл. на выборах 2012 г., Х. Клинтон потратила свыше 9 млн долл. только на проведение опросов в кампании 2016 года. Распределением этих средств для проведения опросов и анализа в кампаниях Б. Обамы и Х. Клинтон отвечал известный полстер Дж. Бененсон.
73 Известные затраты на опросы в кампании Трампа составили скромные 150 тыс. долларов, однако они шли не на веерные опросные программы, а на точечные исследования и маркетинговую тактику, причем в самый последний момент кампании, когда и ковался исход выборов.
74

Проблемы электоральных прогнозов

 

Обилие организаций и центров, проводящих предвыборные опросы избирателей, приводит к тому, что некоторые из них, особенно органы прессы и колледжи ради экономии средств и возможности провести хоть какие-то опросы упрощают процедуру опросов, методологию, что приводит к росту ошибок. Например, при стандартной величине выборки в 1500 респондентов некоторые снижают ее до 800 человек, из-за чего ошибка увеличивается в полтора раза – с 3% до 4,5%. Другие переходят от личного квартирного опроса или телефонного к автоматизированным телефонным опросам (robo-calls), что снижает желание респондентов отвечать на вопросы. Некоторые полстеры, чтобы компенсировать недостаточно репрезентативную выборку с точки зрения социально-демографических характеристик, используют чрезмерное перевзвешивание результатов, что приводит к смещению оценок. В этом, в частности, упрекали опросную службу USC/Los Angeles Times, стабильно предвещавшую победу Трампу.
75 Стремление экономить на методологии приносит свои плоды: полноразмерные опросы с личным интервьюированием обходятся до 40 тысяч долларов, в то время как упрощенные опросы с robo-calls могут уложиться в 5-10 тыс. долл. с соответствующим снижением качества.
76 Тем не менее упреки в адрес социологии как науки и индустрии массовых опросов, которые не предугадали победу Трампа по количеству выборщиков, в основном безосновательны. Они вызваны в значительной степени низкой осведомленностью большинства политиков, политологов и журналистов о природе выборочных исследований, которые по самой своей технологии исходят из теории вероятности и принципа случайного выбора респондентов. Восемьдесят лет назад политизированная публика была поражена и очарована возможностями случайных представительных выборок, когда опрос лишь полутора тысяч человек давал возможность оценить взгляды и намерения миллионов жителей страны. Теперь та же массовая публика качнулась в другую сторону – требуют от выборочных исследований стопроцентной точности прогноза на выборах, хотя любой качественно проведенный опрос 1500 респондентов имеет статистическую погрешность в 3%. И при разнице в реальной поддержке двух кандидатов избирателями в 1-1,5% опросы эту разницу уловить не могут.
77 Главная проблема аналитиков и стратегов избирательных кампаний с почти равной поддержкой кандидатов в том, что всегда есть прослойка избирателей, не уверенных в своих предпочтениях, принимающих решение, за кого голосовать, в последний день, а то и на самих избирательных участках. Электоральные решения этой прослойки никакие опросы уловить не могут. Это дело аналитиков – политологов и психологов, которые могут на основании прошлого опыта предсказать, как те или иные слои и группы избирателей прореагируют на последние уговоры или посулы кандидатов. Как говорят многие профессионалы кампаний, это скорее искусство, чем наука. Особенно это относится к прогнозированию распределения выборщиков, когда преимущество в числе выборщиков в том или ином округе или штате может получиться из-за перевеса в числе избирателей в несколько сот или тысяч человек – менее 1%, что не улавливается опросами.
78 В кампании 2016 г. около 30 известных, опытных кампаний проводили регулярные национальные опросы населения, потенциальных избирателей. После национальных съездов двух ведущих партий было проведено 266 опросов, подавляющее большинство которых показывало большую поддержку избирателями Х. Клинтон, чем Д. Трампа, этот разрыв в 2-4% фиксировался большинство опросных центров вплоть до последней недели перед выборами.
79 Помимо эмоциональной оценки прессой «провала социологии» в предсказании исхода выборов, существуют профессиональные методы оценки точности опросов и вытекающих из них прогнозов результатов выборов. Речь идет о массовой поддержке того или иного кандидата, а не о распределении голосов выборщиков, что в Америке может не совпадать. Мы опираемся на оценку точности опросов, разработанную Э. Мартин, М. Троготтом и К. Кеннеди и использованную Л. Панагопулосом для оценки 14 опросов, проведенных в последнюю неделю перед выборами 29.
80 Эта оценка показывает, что опросы в целом оказались весьма близки к результатам выборов. Средний уровень преимущества Х. Клинтон над Трампом в массовом голосовании, по данным центра RealClearPolitics, составил 3,2%, в то время как в реальном голосовании этот разрыв был 1,9%. Эта точность выше, чем на выборах 2012 года.
81 В диаграмме 1 показана степень точности опросных прогнозов в канун выборов: вертикаль «0» соответствует максимальной точности – совпадению с результатами голосования; отклонения вправо – превышение оценок в пользу Трампа; влево – в пользу Клинтон (цифры шкалы даны в логарифмических единицах, а не в процентах). Наибольшая точность прогноза получилась у центра McClatchy/Marist, IBD/TIPP Tracking, высокая точность также у Gravis, ABC/Wash Post Tracking, CBS News/New York Times, Bloomberg.
82

Рисунок 1. Оценка точности прогнозов президентской избирательной кампании 2016 г. по результатам опросов. Источник: Sides J. Which was the most accurate national poll in the 2016 presidential election? // Washington Post, December 5, 2016
83

В целом же, как отмечают профессиональные аналитики, большинство крупных исследовательских компаний провели качественные опросы, и их результаты были правильны и точны в описании настроений американского населения в год выборов и намерений избирателей, в том числе по сравнению с предыдущими избирательными кампаниями. Неточными и ошибочными в прогнозах были многие опросы на уровне штатов, что, в частности, связано с попытками удешевить процедуру опросов, все возрастающую в последнее время. Основными причинами ошибок считаются три: существенное изменение намерений поддержать Трампа в последние дни кампании, смещение выборки при отражении пропорции образованных и менее образованных избирателей, вероятное искажение респондентами в опросах своих намерений проголосовать за Трампа [30].
84

В то же время, как отмечает в своих выводах комиссия Американской ассоциации исследования общественного мнения, отвечая на критику опросов и исследования общественного мнения в общем: «Хорошо спроектированные и пунктуально проведенные опросы по-прежнему способны представлять ценную, точную информацию о мнениях и настроениях американского народа» [31].
85

Заключение

 

Избирательная кампания 2016 г. по выборам президента США была как достаточно типичной для американской политической культуры, так и принесшей некоторые новые черты в политическую жизнь. Прежде всего, впервые в американской истории на пост президента баллотировалась женщина; наряду с тем фактом, что в предыдущих выборах победил и переизбрался афроамериканец, это свидетельствует о значительном изменении в американской культуре, американском общественном мнении в сторону толерантности и демократизма взглядов и ценностей.
86 В Америке действительно происходят значительные подвижки в настроениях людей, связанные с тем, что выросли и вошли в политическую жизнь новые возрастные когорты, добавилось много мигрантов, как, впрочем, бывало и раньше. Возникают новые вызовы традиционному укладу жизни: глобализация и уход материального производства в Азию, наоборот, растущий приток как «синих воротничков», так и людей, стремящихся получить высшее образование, из Азии, Африки и Латинской Америки. «Американская исключительность» и «американская мечта» являются не только чисто американским продуктом, они привлекательны и для молодых когорт в других странах мира, обладая неким новым «глобалистским качеством». В этой связи американская политическая культура характеризовалась способностью сплавить традиционалистские, модернистские и постмодернистские настроения людей, в том числе приезжающих из разных частей света, в этом, собственно, и состоял американский «плавильный котел». Учитывая неизбежный новый приток небелых иммигрантов, ему, возможно, придется снова заработать на полную мощность.
87 Выборы показали по-прежнему значительную роль общественного мнения в политической жизни, и, в частности, в процессе выборов, как в виде учета настроений людей прессой, политическими партиями и кандидатами, так и использования явных и предполагаемых предпочтений избирателей при выработке стратегии и тактики избирательных кампаний кандидатов. Неотъемлемой частью кампаний являются предвыборные опросы потенциальных избирателей как для понимания общественного климата, «духа времени», понимания, куда идет страна, так и для выяснения конкретных требований и пожеланий избирателей в отношении кандидатов, для прогнозирования исхода выборов. Эта последняя роль электоральных опросов общественного мнения по-прежнему остается наиболее популярной у прессы и ее аудитории, как часть избирательного шоу. Ошибки полстеров в прогнозах добавляют критики в адрес социологии, но в то же время поддерживают интригу избирательного спектакля, усиливают остроту политического соревнования.
88 Как показало изучение работы полстеров в кампании 2016 г., в частности, «Оценка электоральных опросов 2016 года в США», проведенная Американской ассоциацией исследования общественного мнения, в целом опросы национального уровня были в числе наиболее точных в прогнозах с 1936 г., когда начались выборочные репрезентативные исследования общественного мнения в масштабе страны. В сумме они предсказали победу Клинтон среди избирателей (не считая голосов выборщиков, которые в итоге принесли победу Трампу) на уровне 3%, по сравнению с ее реальным лидерством на выборах в 2% голосов избирателей.
89

Ошибки в прогнозах результатов выборов, особенно в опросах на уровне штатов, были вызваны, в основном, двумя факторами: решением избирателей проголосовать за Трампа в последние дни кампании, не учтенным в опросах – сдвиг в ключевых штатах, таких как Пенсильвания, Мичиган, Висконсин, Флорида, достигал 20%; несоблюдением правильности выборки по уровню образования. Существуют также оценки, что избиратели в ответах на вопросы анкет обманывали полстеров, скрывая, что собираются голосовать за Трампа [32].
90

«Опросы общественного мнения и политическое прогнозирование – это две разные вещи, – подчеркивает К. Кеннеди, руководитель исследовательской группы AAPOR, проводившей вышеуказанную оценку, – качественный опрос общественного мнения может сказать вам, каковы были взгляды людей во время интервьюирования, но это не дает вам точного ответа на вопрос, как они поступят в будущем». «Польза опросов в том, что они помогают нам понять, что мотивирует людей к участию в выборах, и почему они не голосуют, как они относятся к обсуждаемым проблемам и что думают о кандидатах». «Какими бы недостатками не обладали опросы, это лучший инструмент, который у нас есть для выяснения того, что думают все американцы. И когда такие опросы проводятся качественно, они говорят нам многое. Не играет роли, какая партия сейчас у власти, важно, чтобы существовали независимые, объективные исследователи, выясняющие, что народ думает о главных проблемах дня» [33].
91 Интерес общества к прогнозной стороне электоральных опросов позволяет с их помощью высветить наиболее острые проблемы, волнующие население, выявить различие в подходах к их решению различных политических сил и кандидатов на высокие посты.

Библиография

1. Gallup G., Rae S.F. The Pulse of Democracy: The Public Opinion Poll And How It Works. New York: Symon nd Schuster, 1940. Докторов Б.З. Первопроходцы мира мнений: от Гэллапа до Грушина. М., 2005. С. 40.

2. Докторов Б.З. Первопроходцы мира мнений: от Гэллапа до Грушина. М., 2005. 239 с.

3. Yepsen D. Straw Polls Have Played Role in Political History //The Des Moines Register. 1999.August 9. http:///www.dmregister.com/news/stories/c4789004/8617041.html

4. Bowley, Arthur Lyon. Livelyhood and Poverty. L., 1915.

5. Cherington P.T. The Elements of marketing. N.Y., 1920.

6. Link H. The New Psychology of Selling and Advertizing. N.Y. , 1932.

7. Докторов Б.З. Реклама и опросы общественного мнения. Исторя зарождения. Судьбы творцов. М., 2008. 628 с.

8. Eisinger R.M. and Brown J. Polling As A Means Toward Presidential Autonomy: Emil Hurja, Hadly Cantril And The Roosvelt Administration. // International Journal of Public Opinion Research, 1998. Vol.10, Issue 3, pp. 237-245.

9. Greenberg D. FDR’s Nate Silver. Politico Magazine. January 16, 2016. http://www.politico.com.magazine/story/2016/01/emil-hurja-pollster-fdr-213537 1/5 12.05.2017

10. Ibid.

11. Holli M.G. The Wizard of Washington. Emil Hurja, Franklin Roosevelt, and the birth of Public Opinion Polling. N.Y., Palgrave Macmillan, 2002, 176 p.

12. Ibid.

13. Ibid.

14. Hillygus D.S. The Evolution of Election Poling in the United States. // Public Opinion Quarterly (2011) 75 (5): 962-981. См. также: Campbell A., Kahn R.L. The People Elect a President. Ann Arbor, MI, 1952.; Panagopoulos C., Weinschenk A. A Citizens’ Guide tj U.S. Elections: Empowering Democracy in America. Routledge, 2016.; Traugott M., Lavrakas P.J.2004). The Voter's Guide to Election Polls, 3rd edition. Lanham, Maryland: Rowman & Littlefield, 2004.

15. Докторов Б. О точности электоральных опросов в США. / http://fom.ru/special/kto-stanet-prezidentom-ssha/10425

16. Ibid.

17. Holli M.G. Op. cit.

18. Simkin J. Louis Harris // http://www.spartacus-educational.com/SPYharrisL.htm

19. McFadden R.D. Louis Harris, Pollster at the Forefront of American Trends, Dies at 95. // New York Times, December 19, 2016.

20. Попов Н.П. Памяти Луиса Харриса (1921-2016) // Мониторинг общественного мнения: экономические и социальные перемены. 2017. №1, с.299-301.

21. Попов Н.П. Экзит полы и выборы. // Капитал страны. Федеральное интернет издание. 07.12.2011.

22. House J.S., Juster F.T., Kahn R.L., Schuman H., and Singer E., eds. A Telescope on Society: Survey Research and Social Science at the University of Michigan and Beyond. Ann Arbor, MI: The University of Chicago Press, 2004.

23. Burns N. The Michigan, then National, then American National Election Studies. // http://www.electionstudies.org/history/20060815Burns_ANES_history.pdf

24. Campbell A., Converse P.E., Miller W.E., and Stokes D. The American Voter. New York: John Wiley & Sons, 1960.

25. NORC at the University of Chicago. / http://www.norc.org/Research,Projects/Pages/default.aspx

26. Fahea M., Chemi E. Most election pollsters aren’t really in it for the money // http://www.cnbc.com/2016/10/18/most-election-polsters-aren’t-in-it-for-the- money. 18 Oct.2016.

27. Докторов Б.З. Хедли Кэнтрил: исследователь общественного мнения и консультант президента Рузвельта. Телескоп, 2003, 2006, с. 2-13.

28. Moore D.W. The Superpollsters; How They Measure and Manipulate Public Opinion in America. N.Y., Barnes&Noble, 1992.

29. Sides J. Which was the most accurate national poll in the 2016 presidential election? // Washington Post, December 5, 2016.

30. COSSA Consortium of social science associations. AAPOR Report Assesses 2016 Election Polling Performance. http://www.cossa.org/2017/06/12/ aapor-report-assesses-2016-election-polling-performance/

31. American Association for Public Opinion Research. “An Evaluation of 2016 Election Polls in the United States”. May 4, 2017. Retrieved from http://www.aapor.org/election2016. P. 53.

32. Ibid.

33. DeSilver D. What political pollsters learned from the 2016 election. Retrieved from: https://medium.com/@pewresearch/what-political-pollsters-learned-from-the-2016-election-fd6614112c2. May 4, 2017.

Комментарии

Сообщения не найдены

Написать отзыв
Перевести