Marta Duch-Dyngosz: Nazwaliście swój projekt Na Straży Sondaży. Przed czym sondaże trzeba strzec?
Marta Tomaszewska: Przed ich złym wykorzystywaniem. Prowadzi ono do spadku zaufania do sondaży i szerzej – do całej branży badawczej. Po studiach socjologicznych mamy w głowie pewien ideał badania opinii publicznej. Z jednej strony zależy nam, by sondaże nie straciły swojej funkcji, jaką jest dostarczanie ludziom samowiedzy. Z drugiej – zwracamy uwagę na źle przeprowadzone sondaże oraz staramy się wyposażyć odbiorców wyników prezentowanych w mediach w wiedzę i narzędzia pozwalające im samodzielnie ocenić rzetelność badań.
Ranga nadawana tego typu badaniu nieraz bywa przesadzona, tzn. odrywa się go od stojących za wynikami opinii obywateli i zaczyna traktować jak narzędzie walki o pozycje czy wpływy. Staramy się pokazać zarówno możliwości, jak i ograniczenia badań sondażowych. Chcemy też kształtować debatę publiczną na temat roli badań opinii publicznej.
Prof. Antoni Sułek, który wspiera działalność naszego zespołu, mówi w tym kontekście o „wrogach sondaży”. Dynamika mediów wymusza szybką pracę, a pośpiech nie jest sprzymierzeńcem rzetelnych badań. Kolejnym problemem jest ograniczenie wydatków przez podmioty je zamawiające, co wpływa na ich jakość, bo dobre badanie musi kosztować. Niestety, sondażem jako produktem – zamawianym i sprzedawanym – rządzą reguły rynku i dlatego niezbędna jest pamięć o etyce tak badawczej, jak i dziennikarskiej, by chronić rzetelność badań.
Jaki jest Państwa „numer jeden” źle zinterpretowanych badań w mediach?
Jakub Rutkowski: W zeszłym roku źle zinterpretowanych badań w mediach było wiele. Jednym z przykładów jest szeroko komentowany raport Polskiej Fundacji Pomocy Dzieciom „Maciuś”: Głód i niedożywienie dzieci w Polsce. Badanie zrealizowane przez Dom Badawczy Maison dotyczyło dzieci, ale badaną grupą nie były ani one, ani ich rodzice, ale nauczyciele i reprezentanci instytucji pomocy społecznej. Przedstawicieli tych środowisk poproszono o oszacowanie, ile dzieci dotyka problem niedożywienia. Abstrahując od tego, w jaki sposób badani szacowali tę liczbę, wynik przedstawiono w raporcie fundacji jako: „prawie co dziesiąte dziecko z klas 1–3”. Natomiast nagłówki prasowe mówiły o Kraju głodnych dzieci (J. Ćwiek, „Rzeczpospolita” z 26 lutego 2013 r.) i o tym, że Prawie milion dzieci głoduje (W. Kamiński, „Gazeta Polska Codziennie” z 27 lutego 2013 r.). „Prawie milion”, czyli dokładnie 800 tys., wzięło się z wyliczenia 10% ze wszystkich niepełnoletnich osób w kraju, a nie dzieci z klas 1–3, których badanie dotyczyło. To uogólnienie doprowadziło do rażącego przeszacowania, bo wśród uczniów klas 1–3 niedożywionych dzieci byłoby ośmiokrotnie mniej. Drugim poważnym błędem było posłużenie się sformułowaniem „głodowanie” jako synonimem „niedożywienia”. Przy tak ważnej kwestii terminy mają niebagatelne znaczenie.
Zatem powiedzenie „liczby nie kłamią” nie zawsze jest prawdziwe?
M.T.: Liczby jako takie nie kłamią. Trzeba jednak od razu dodać dwa warunki: jeśli są wynikiem rzetelnego sondażu i są właściwie interpretowane. Np. jeśli 67% dorosłych mieszkańców Polski opowiada się za pewnym konkretnym rozwiązaniem, nie uprawnia to do zatytułowania artykułu: Polacy chcą… Przed takimi nadużyciami przestrzegamy dziennikarzy, którzy w ogóle mają skłonność do stosowania zbyt dużych uogólnień. Należy być ostrożnym i odnosić daną liczbę tylko do grupy, której dotyczy. Drugi problem pojawia się wtedy, gdy błędne dane wychodzą z agencji badawczej. Takie przypadki stanowią rezultat przyjęcia złej metodologii, jak np. zastosowania nieprzemyślanego kwestionariusza lub niedopilnowania realizacji badania, m.in. pracy ankieterów. Zatem zgoda – zdarza się, że liczby kłamią. Dlatego robimy wszystko, by takie badania były publikowane jak najrzadziej, a gdy się pojawią – staramy się ujawnić i skomentować zafałszowania. W ten sposób z jednej strony odczarowujemy sondaże, czyli pokazujemy ograniczenia narzędzia, a z drugiej – uświadamiamy odbiorców, jak realizowane są badania, i dajemy im możliwość samodzielnej oceny. To rozpowszechnianie wiedzy o metodologii sondażu jest ważną częścią naszych działań.
Na co należy więc zwrócić uwagę podczas interpretowania badań sondażowych?
J.R.: W literaturze wyróżnia się siedem takich elementów, których używamy też do oceny rzetelności, cytowania danych. Absolutnie podstawową kwestią jest źródło danych: na ile jest wiarygodne. Można oczywiście powołać się na badania nierenomowanych ośrodków badawczych, a zamieszczając informację o tym, kto sondaż przeprowadził, dać czytelnikowi miejsce na samodzielną ocenę rzetelności źródła.
Następnie trzeba zwrócić uwagę, na ile sondaż jest reprezentatywny – czy uogólnienie jego wyników na całą populację ma uzasadnienie statystyczne. Nie wdając się w szczegóły, mówi nam o tym metoda, za pomocą której dobrano próbę. Tu znaczenie ma też wielkość próby, gdyż błąd statystyczny (znów mocno upraszczając, bo dotyczy to prób losowych wylosowanych z rzetelnego operatu losowania, np. bazy PESEL) rośnie odwrotnie proporcjonalnie do jej wielkości. Jeśli więc badana była mała próba, np. złożona z 625 osób, to wówczas różnice do 4 punktów procentowych są nieistotne, a tym samym nie powinny być interpretowane jako znaczące.
Zarówno w raporcie z badania, jak i w odwołującym się do niego artykule należy omawiać wyniki tylko wobec populacji, czyli zbiorowości, którą zdecydowano się zbadać, i z niej wylosować próbę, bo tylko na nią można je uogólnić.
Wpływ na interpretację danych ma też termin realizacji badania, czyli kontekst jego przeprowadzenia. W zależności od przedmiotu badania znaczenie mogą mieć: sytuacja gospodarcza kraju albo bieżące wydarzenia polityczne.
Jako szóstą wymienię technikę zbierania danych, od której zależy m.in. rzetelność odpowiedzi badanego, a także możliwość utrzymania motywacji do udziału w badaniu. Mam tu na myśli fakt, że rozmowę telefoniczną, czy jeszcze w większym stopniu ankietę wypełnianą przez Internet, dużo łatwiej przerwać w trakcie, niż wyprosić ankietera, który przyszedł do domu respondenta. Kontakt bezpośredni z ankieterem przeciwdziała też niedbałemu udzielaniu odpowiedzi przez respondenta, kiedy np. na wszystkie pytania odpowie w ten sam sposób, by szybko przejść do następnego etapu.
Ostatnim elementem jest dokładne sformułowanie pytania, bo w tym miejscu jesteśmy narażeni na różnice interpretacyjne. Wydaje się, że pominięcie części albo sparafrazowanie treści pytania, na jakie odpowiadali badani, nie jest błędem. Jednak badania kognitywne, które pozwalają poznać sposób udzielania odpowiedzi przez respondentów, w tym też rozumienie słów użytych w kwestionariuszu, pokazują, że pytania – sformułowane w języku sondażu (surveyspeak) – bywają odmiennie rozumiane przez osoby na nie odpowiadające. Dodatkowa reinterpretacja dziennikarza może sprawić, że to, co na temat badania publikuje się w mediach, bardzo dalekie będzie od intencji badacza. Powinno nas też interesować, czy pytanie zostało zadane w formie otwartej czy zamkniętej, a jeśli to drugie, to jaka była kafeteria odpowiedzi, czyli lista możliwości przedstawiona respondentowi do wyboru.
Wielu zastanawia się, po co nam sondaże. Prof. Antoni Sułek stwierdził kiedyś, że pozwalają przejrzeć się nam w zwierciadle społeczeństwa.
M.T.: Sondaże stanowią ważny punkt odniesienia w każdym państwie demokratycznym. Dzięki nim obywatele dowiadują się, co sądzą inni – nie tylko znajomi, których opinie mamy szanse poznać, np. żarliwie dyskutując przy stole podczas kolacji. W tym sensie sondaże okazują się właśnie zwierciadłem społeczeństwa – z perspektywy pojedynczego obywatela widoczne stają się opinie pozostałych ludzi. Jeśli sondaż, np. polityczny, jest reprezentatywny dla populacji dorosłych mieszkańców Polski, ujmuje to opinie całego społeczeństwa, a nie tylko tych, którzy biorą udział w wyborach. W tym sensie jest demokratyczny, bo niezależnie od statusu społecznego czy przynależności do elit głos każdego liczy się tak samo. Badanie opinii publicznej bierze pod uwagę poglądy także tych, którzy w innych okolicznościach się nie wypowiadają. Protesty czy manifestacje gromadzą zwykle osoby o radykalnych i wyrazistych poglądach, natomiast sondaż daje głos też cichej większości i w ten sposób prezentuje opinie wszystkich.
Dlaczego sondaże mogą być ważne dla demokracji?
J.R.: Z punktu widzenia funkcjonowania państwa o ustroju demokratycznym sondaże ważne są z co najmniej dwóch względów. Po pierwsze, ujawniają poglądy społeczeństwa w sprawach niebędących przedmiotem wyborów czy referendów. Możliwość wypowiedzenia się opinii publicznej na temat np. obowiązku szkolnego sześciolatków wydaje się ważna nie tylko dla decydentów i debaty publicznej, ale i dla całego społeczeństwa. Po drugie, dzięki realizowaniu sondaży obywatel wypowiada swoje opinie na temat władzy i jej funkcjonowania oraz poznaje, co sądzą o niej inni mieszkańcy państwa również w okresie między wyborami. W ten sposób badania pełnią pośrednio funkcje kontrolne wobec elity politycznej.
Ale sondaże nie mają w Polsce dobrej prasy. Największe wątpliwości budzą właśnie te prowadzane przed wyborami i te śledzące poparcie społeczne dla poszczególnych partii. Często słyszymy o „żonglerce sondażami”. Podejmowane są nawet próby, by uregulować ich realizację – np. zakazać publikacji wyników badań dwa tygodnie przed wyborami. W ten sposób my jako obywatele mamy być chronieni przed manipulowaniem naszymi wyborami. Zastanawiam się, kto miałby nami manipulować.
M.T.: Wyniki sondażu z założenia mają być wiernym odbiciem opinii panujących w społeczeństwie. Niebezpieczeństwo pojawia się, gdy politycy wykorzystują naukowy autorytet sondażu i próbują manipulować opinią publiczną dla własnych korzyści. Partie polityczne starają się zaklinać rzeczywistość, powołując się na sprzyjające im wyniki badań. Brak merytorycznej dyskusji na temat możliwości i ograniczeń badań sondażowych dezorientuje opinię publiczną oraz podważa społeczne zaufanie do sondażu jako źródła wiedzy.
Kwestię zakazu publikacji wyników badań poparcia poruszył Antoni Sułek, kiedy otwierał konferencję o kondycji tego typu badań w Polsce organizowaną przez zespół Na Straży Sondaży. Zwrócił uwagę, że sondaże poparcia politycznego, szczególnie w okresie kampanii wyborczych, są niezwykle istotnym źródłem informacji, tak dla społeczeństwa, jak i dla polityków. Proszę zwrócić uwagę, że postulat – wychodzący od polityków – mówi o zakazie publikowania sondaży, a nie ich realizowania. Gdyby wszedł w życie, mogłoby dojść do sytuacji, w której badania prowadzone na zamówienie np. partii politycznych byłyby robione do ostatniego dnia przed wyborami, a wyniki znaliby tylko zamawiający. Kto jednak jest suwerenem w państwie demokratycznym? Kto udziela poparcia, głosując w ten lub inny sposób? Społeczeństwo. Wyraźnie widać chyba przewrotność pomysłu zakazu prezentowania suwerenowi jego własnych opinii.
Czy możemy w ogóle mówić o wpływie wyników badań sondażowych na działania bądź opinie społeczne?
J.R.: W socjologii znane są i przeanalizowane zjawiska dotyczące wpływu publikowania wyników badań na ludzi, choć dotyczą one głównie sondaży poparcia politycznego i ich „weryfikacji” w rzeczywistych wyborach. Przykładem oddziaływania jest band-wagon effect, czyli przenoszenie głosów na prawdopodobnego zwycięzcę, albo teoria spirali milczenia, według której dostosowujemy poglądy do opinii większości, bo boimy się, że zostaniemy odrzuceni. Z drugiej strony, istnieje zjawisko nazywane underdog, które polega na udzieleniu wsparcia słabszemu kandydatowi. Jak widać, wpływ publikowania wyników sondaży przedwyborczych nie jest jednoznaczny. Przypuszczam, że każdy doświadczył tzw. strategicznego głosowania podyktowanego własną logiką, na którą mają też wpływ wyniki publikowanych badań.
Myślę, że nie ma powodu, aby komunikowanie społeczeństwu wyników sondaży kojarzyło się negatywnie. Samowiedza opinii publicznej jest w państwach demokratycznych prawem. Konieczne jest, aby punktem wyjścia do tego komunikowania było rzetelne prowadzenie badań i poczucie odpowiedzialności autorów wykorzystujących dane sondażowe.
Czego za pomocą sondaży nie jesteśmy w stanie zbadać?
M.T.:Sztuka sondażu, mimo iż jest dziś praktyką dość powszechną, wymaga od badacza dużej wiedzy. W przypadku badań opinii trzebasię wykazać wrażliwością socjologiczną zakotwiczoną w wiedzy metodologicznej. Nie każdy rodzaj pytania wart jest bowiem zadania w badaniu sondażowym. Mówiąc precyzyjniej, sondaż to sztuka polegającą na formułowaniu pytań trafnych, które nie sugerują badanemu odpowiedzi. Musimy też pamiętać, że mierzenie opinii politycznych lub konsumenckich jako procedura badawcza ma ograniczone zastosowania….
