Kiedy słupki falują, tracimy jako społeczeństwo - czyli o rozbieżnościach w sondażach (opinie)

Kilka dni temu media żyły wynikami sondaży politycznych pokazujących poparcie dla partii rządzącej. Z danych udostępnionych przez CBOS wynikało, że Prawo i Sprawiedliwość ma 46 proc. poparcia w społeczeństwie. Z kolei sondaż zrealizowany przez Kantar Public dla „Faktu” wskazywał, że poparcie PiS wynosi znacznie mniej, bo 29 proc., zaś łączne poparcie dla Platformy Obywatelskiej i Nowoczesnej wynosi 32 proc. (sondaż ten przeprowadzono metodą wywiadu telefonicznego wspieranego komputerowo (CATI), w dniach 9-10 kwietnia 2018 roku na reprezentatywnej próbie 1000 Polaków w wieku 18 lat i więcej).
CBOS przeprowadził badanie w dniach 5-12 kwietnia, metodą wywiadów bezpośrednich (face to face) wspomaganych komputerowo na liczącej 1140 osób reprezentatywnej próbie losowej dorosłych mieszkańców Polski.

Którą partię popierasz? X,Y,Z...
 
Przedstawicieli instytutów badawczych zapytaliśmy, dlaczego pojawiają się tak duże różnice w badaniach realizowanych niemal w tym samym czasie, na podobnych próbach. I jak tak duża rozbieżność pomiędzy ich wynikami wpływa na wiarygodność tego rodzaju badań i wizerunek branży badawczej.

Urszula Krassowska, managing director Kantar Public Poland mówi, że najczęściej różnice w wynikach badań wynikają z odmiennych metodologii, zwłaszcza dotyczy to sposobu zbierania danych.

- Jeśli chodzi o sondaże poparcia dla partii politycznych, to w Polsce zazwyczaj realizowane są one metodą wywiadów telefonicznych, wywiadów bezpośrednich w domach respondentów oraz przez Internet. Nie powinno się porównywać wyników badań przeprowadzonych różnymi metodami. Ważna bywa także data realizacji badania. Czasem różnica jednego dnia realizacji może mieć kolosalne znaczenie. Istotne jest sformułowanie pytania, np. czy jest to pytanie otwarte czy pytanie z listą partii, czyli jakie partie, w jakiej kolejności, czy z nazwiskami liderów, czy bez są podane. Ważna jest kolejność pytań w kwestionariuszu czy pytanie o preferencje było jako pierwsze, czy było poprzedzone innymi pytaniami – wyjaśnia w rozmowie z Wirtualnemedia.pl.

Kuba Antoszewski, PR manager z Kantar Millward Brown dodaje, że w przypadku realizowanych przez Kantar Millward Brown, Kantar TNS i Kantar Public badań preferencji partyjnych, pytania o poparcie dla partii zadawane są zawsze na początku badania.

- Ta kwestia została poruszona między innymi przez niektórych polityków po publikacji wyników badania w TVN, sugerowali, że przed pytaniem o preferencje partyjne pytaliśmy o ocenę nagród dla ministrów. Jeszcze raz chciałem podkreślić, że w przypadku tego sondażu i pozostałych mamy zasadę, że pytanie o preferencje partyjne zadajemy na początku wywiadu – podkreśla Antoszewski.

Zdaniem Macieja Siejewicza, marketing and communication managera w instytucie GfK różnice w metodologiach prowadzenia badań, czyli na poziomie technologii, dodatkowo jednoczesne różnice na poziomie zwykłej konstrukcji kwestionariusza ankiety, muszą prowadzić do trudności interpretacyjnych w momencie zestawienia wyników badań pochodzących z różnych źródeł.

- Różnica pomiędzy wynikami jest sumą różnic w: sposobie zbierania danych, sposobu i jakości realizacji próby, wielkości próby, operacjonalizacji czyli konstrukcji kwestionariusza, procentowania prezentowanego wyniku, sposobu uwzględnienia osób niezdecydowanych oraz odmawiających udziału w badaniu, zastosowanych wag lub sposobu predykcji wyniku, liczebności podstaw do których się procentuje wynik itp. Lista parametrów jest tu długa, natomiast w większości nie ma dobrej odpowiedzi, jak dany parametr bezpośrednio wpływa na dokładność oszacowania, zatem jeśli jest to suma różnych wpływów, to tym bardziej trudno to uczynić. Wniosek - bezpośrednio należy zestawiać parametry i wyniki badań tylko z jednego źródła. Inne zachowania to publicystyka granicząca z demagogią – podkreśla.

Od czego zależy ich wiarygodność?  

Maciej Siejewicz zwraca uwagę, że wiarygodność sondaży nie zależy wprost od liczebności - im większa tym lepsza, ale ten przyrost jakości nie jest wprost proporcjonalny do przyrostu liczebności próby. - Jest gdzieś ekonomicznie i statystycznie ustalona granica, poza którą zwiększanie ilości respondentów w badaniu się po prostu nie opłaca, bo ponoszenie dodatkowych kosztów nie dostarcza większej wartości poznawczej. Zresztą sama liczebność nie zagwarantuje jakości. Ona jest ważna przy próbach losowych, natomiast przy próbach kwotowych, które dziś dominują na rynku, ważniejsze jest zagwarantowanie realizacji próby o określonej strukturze. Z licznej próby zrealizowanej z niewłaściwymi respondentami otrzymamy dużo gorszy wynik niż z mniejszej o właściwym doborze. Dlatego np. wszelkiego rodzaju sondy telewizyjne, internetowe, sms-owe itp. na widzach, użytkownikach, czytelnikach, poznawczo nie mają żadnej wartości, nawet jeśli liczebnością wielokrotnie przewyższają typowe próby badawcze – uzasadnia ekspert z GfK.

Urszula Krassowska dodaje, że o wiarygodności sondażu decyduje także reprezentatywność próby -  musi być skonstruowana tak, aby jej struktura odpowiadała strukturze polskiego społeczeństwa.

Zwraca też uwagę, że branża badawcza od lat wyjaśnia, na czym polegają i skąd się biorą różnice w wynikach badań. - Wydaje się, że poziom świadomości społecznej co do tych różnic jest znacząco wyższy niż jeszcze kilkanaście lat temu – zwraca uwagę przedstawicielka Kantar Public Poland.

Interpretacja po swojemu, w doraźnym interesie

Zwykle media nie interpretują, nie analizują, nie przeliczają wyników dostarczanych im przez instytuty badawcze samodzielnie, a opierają się na gotowym materiale dostarczonym przez badaczy, czy to w formie komunikatu prasowego, czy w formie wyników badania zawartych w tabeli. - Niestety badania preferencji partyjnych bywają tu częstym wyjątkiem, bo jest ogólnie duża pokusa, zarówno po stronie redakcji, jak i po stronie polityków, aby wynikami manipulować i interpretować po swojemu w doraźnym interesie, natomiast nie ma potrzeby, czasu, miejsca na głębszą refleksję, aby wyjaśnić czytelnikowi, widzowi, co faktycznie kryje się za konkretnymi procentami poparcia – zwraca uwagę Maciej Siejewicz.

Przyznaje, że tak spore rozbieżności w sondażach instytutów wpływają źle na wizerunek branży badawczej, jednak trudno znaleźć sposób, aby się tej tendencji przeciwstawić. - Oprócz OFBOR-u, czyli organizacji zrzeszającej instytuty i prowadzącej portal edukacyjny w zakresie metodologii i interpretacji badań, nie ma innej szerszej płaszczyzny czy platformy, na której mogliby się spotkać wszyscy uczestnicy tego rynku i wypracować standardy zachowań. Zmiany cywilizacyjne przyspieszają wszelkie procesy, czy to po stronie mediów, czy po stronie instytutów, czy zamawiających. Jeśli nikt nie chce czy też nie może zwolnić, to nikt nie zwalnia. A przez brak refleksji i brak spójności na poziomie komunikatów cierpi opinia publiczna, jakość debaty, jakość informacji, no i przede wszystkim poziom samowiedzy społeczeństwa - komentuje Maciej Siejewicz.