home > Barometr Krakowski > Dlaczego tysiąc wypowiada się o milionie?

Barometr Krakowski

Tagi: Barometr Krakowski

Dlaczego tysiąc wypowiada się o milionie?

Reprezentatywne badania społeczne służą do określenia opinii ogółu badanej populacji (np. mieszkańców Krakowa). Ale w jaki sposób tysiąc osób może odzwierciedlać opinie wszystkich mieszkańców?

Odpowiedzią na to pytanie jest metoda reprezentatywna. To sposób wnioskowania statystycznego. Umożliwia on na podstawie odpowiedzi osób wybranych w specjalnej procedurze wnioskowanie o opinii szerszej grupy przy jednocześnie znanym błędzie tego wnioskowania.

Jest to kwestia kluczowa w ilościowych badaniach społecznych, takich jak Barometr Krakowski. Badania takie mają na celu określenie popularności poszczególnych poglądów w większej zbiorowości.

Po co nam metoda reprezentatywna?

Metodę reprezentatywną opracowano przede wszystkim, poszukując oszczędności. Kiedy chcemy się dowiedzieć, co członkowie naszej rodziny myślą o sytuacji w Krakowie, wystarczy, że zapytamy o to każdego z nich. Podobnie, choć zajmie nam to więcej czasu, możemy postąpić wtedy, kiedy chcemy poznać opinię mieszkańców naszej kamienicy. Problem zaczyna się w momencie, kiedy chcemy zapytać o zdanie mieszkańców naszej dzielnicy albo mieszkańców Krakowa. Głównymi powodami, dla których nie da się przepytać wszystkich mieszkańców dużej zbiorowości, są ogromne koszty takiego rozwiązania oraz trudności organizacyjne (realizacja dużego przedsięwzięcia w rozsądnym czasie). W Polsce realizuje się jedno badanie całej populacji, a jest to Narodowy Spis Powszechny, który odbywa się raz na dziesięć lat. Choć nawet w jego przypadku nie zawsze jest to badanie wyczerpujące (w ostatniej edycji Spisu Powszechnego część uczestników losowano).

Co to znaczy reprezentatywne?

Na czym polega sekret metody reprezentatywnej? Odpowiedzią jest kilka właściwości rachunku prawdopodobieństwa wyrażonych w postaci twierdzeń matematycznych. Mówią one, że jeśli uczestników badania (tzw. próbę) wybierzemy w procedurze losowania, to można z określonym prawdopodobieństwem wskazać, jak wielka będzie rozbieżność odpowiedzi udzielonych przez nich i przez całą populację – tę właśnie rozbieżność nazywa się błędem losowym.

Kluczem metody jest dobór uczestników – każda osoba w populacji powinna mieć taką samą (lub znaną) szansę zostania uczestnikiem badania (trafienia do próby badawczej).

Dlaczego „więcej” wcale nie znaczy „lepiej”

Większość ludzi sądzi, że im więcej osób będzie uczestniczyć w badaniu, tym będzie ono „bardziej reprezentatywne”. Nie jest to prawda – o reprezentatywności przesądza sposób doboru uczestników. Natomiast liczba poprawnie dobranych uczestników przesądza o wielkości błędu losowego, czyli tego, jak bardzo się pomylimy, wnioskując na podstawie odpowiedzi respondentów o opinii całej populacji.

Dlaczego zależy nam na tak rozumianej reprezentatywności? Brak reprezentatywności sprawia, że wyniki są trudne do zinterpretowania, ponieważ zawsze istnieje ryzyko, że wśród osób badanych grupa o określonych poglądach jest nadreprezentowana wobec populacji. Czy wysokie zadowolenie uczestników z życia w mieście nie wynika przypadkiem z tego, że odpowiadały osoby bardziej majętne? Czy wysoki odsetek osób, które deklarują chęć wyjazdu z Krakowa, nie ma związku z tym, że wśród uczestników znalazło się zbyt wielu przyjezdnych studentów? Nie sposób odpowiedzieć na te wątpliwości w przypadku badania niereprezentatywnego. Można kontrolować liczbę uczestników badania z różnych grup społecznych, ale pod warunkiem, że znamy precyzyjnie ich strukturę wśród mieszkańców i że różnice poglądów są zbieżne z przynależnością do tych grup (np. że każda starsza osoba gorzej ocenia łatwość przemieszczania się po mieście). W przypadku mieszkańców Krakowa dane te nie są pełne (brakuje wiedzy na temat rzeczywistej liczby mieszkańców)

Skrzywienie próby

Jednym z największych problemów związanych z brakiem reprezentatywności jest tzw. skrzywienie próby. Termin ten oznacza nadreprezentację osób o określonych opiniach wobec badanej populacji. Ma to istotne znaczenie dla planowania badania.

Wyobraźmy sobie kilka scenariuszy, intuicyjnie łatwiejszych sposobów realizacji badania niż reprezentatywne badania terenowe: sonda na serwisie Facebook, sonda uliczna w komunikacji miejskiej, wywiad telefoniczny oraz ankieta online wśród uczestników Budżetu Obywatelskiego Miasta Krakowa.

W przypadku sondy na serwisie Facebook ograniczenia są dość oczywiste – nie wszyscy mieszkańcy Krakowa korzystają z tego serwisu, nie wszyscy z równą łatwością odnajdą zaproszenie do badania, a wszystkich będą łączyć pewne unikalne cechy społeczno-demograficzne. Będą to osoby młodsze, obeznane z mediami społecznościowymi, zainteresowane tematem na tyle, żeby podążyć za zaproszeniem. Wykluczy to osoby starsze, które znacznie rzadziej używają mediów społecznościowych.

Uczestnicy sondy ulicznej w komunikacji miejskiej mają jedną oczywistą cechę – korzystają z komunikacji miejskiej. Z badania zostaną wykluczeni kierowcy samochodów, osoby korzystające z innych tras. Wśród potencjalnych uczestników pojawią się natomiast turyści i inne osoby spoza miasta, których opinie mogą w znacznej mierze odbiegać od opinii mieszkańców.

Wywiady telefoniczne są częstą alternatywą dla badań terenowych ze względu na ich niski koszt i względną łatwość przeprowadzenia. Sekretem jednak jest źródło bazy numerów telefonicznych. Nie istnieje baza wszystkich mieszkańców Krakowa zawierająca ich numery telefonów. W badaniu mogą dominować użytkownicy telefonów stacjonarnych (łatwiejszych do lokalizacji w Krakowie). Ponadto niektórzy mieszkańcy mają po kilka telefonów i ich szansa na trafienie do badania jest znacznie większa. Często bazy numerów telefonów opierają się na bazach marketingowych, użytkowników określonych produktów.

Ankieta online wśród uczestników budżetu obywatelskiego jest ciekawym przypadkiem. Blisko 50 tysięcy mieszkańców rejestruje się na platformie elektronicznej. Skoro jest ich tak dużo, dlaczego nie skorzystać z tego miejsca kontaktu z nimi? Wszystkich uczestników głosowania łączy jedna ważna cecha – są osobami bardziej niż przeciętnie zaangażowanymi w sprawy miasta. To grupa, w której dominują wybrane grupy wiekowe, mieszkańcy niektórych dzielnic są aktywniejsi niż inni krakowianie (np. ze względu na atrakcyjne projekty). Pomimo że to bardzo duża grupa potencjalnych uczestników badania, nie stanowią oni reprezentatywnego przekroju mieszkańców Krakowa.

Błąd statystyczny

Uzyskanie wyników w ramach badania reprezentatywnego umożliwia nam wnioskowanie na podstawie opinii wybranej grupy mieszkańców (tzw. próby) o opinii wszystkich mieszkańców Krakowa (tzw. populacji) z określonym prawdopodobieństwem popełnienia błędu w tych szacunkach.

W przypadku Barometru Krakowskiego przy 1100 osobach badanych maksymalny błąd oszacowania wynosi 2,95%. Na przykład zadowolenie respondentów Barometru Krakowskiego 2015 na poziomie 86% oznacza, że z 95% prawdopodobieństwem możemy powiedzieć, że wśród wszystkich pełnoletnich mieszkańców Krakowa odsetek zadowolonych osób wynosi od 83% do 89% (zaokrąglając to do 3%). Jest to pewne uproszczenie, ponieważ błąd losowy zależy jeszcze od proporcji udzielonych odpowiedzi i dla każdego pytania ma inną wartość – nie przekroczy ona jednak 2,95%. Takie szacunki możliwe są wyłącznie przy spełnieniu rygoru badań reprezentatywnych.

Im więcej osób badanych, tym niższy błąd losowy. Nie spada on jednak proporcjonalnie do większej liczby badanych. Dla przykładu, maksymalny błąd oszacowania dla 100 badanych to 10%. Obniżenie go o połowę (do 5%) wymaga już 400 osób badanych. Obniżenie go o kolejną połowę (do 2,5%) wymaga 1600 badanych.

Dlaczego zazwyczaj przy okazji badań społecznych mówi się o „błędzie statystycznym 3%”? Wybór tej wartości jest arbitralny –
3-procentowy błąd wydaje się akceptowalny dla wielu szacunków. Zmniejszenie błędu do niższych wartości wymaga znacznie większej liczby osób badanych, a co za tym idzie, znaczne zwiększenie budżetu badania.

Warto mieć na uwadze, że takie kalkulacje odnoszą się do każdej grupy wyników. Przedstawienie wyników w podziale na dzielnice sprawia, że maksymalny błąd oszacowania będzie kalkulowany dla każdej z dzielnic i będzie zależał od liczby respondentów z danej dzielnicy. Standardowy projekt badawczy Barometr Krakowski zakłada ogół 1100 osób badanych. Nietrudno wyliczyć, że na każdą z 18 dzielnic Krakowa przypada około 60 respondentów, a to oznacza maksymalny błąd oszacowania na poziomie 12%. Dlatego też takie analizy są w tym przypadku niemożliwe.

Podsumowując, istotna jest świadomość, że ilościowe badania społeczne, które mają na celu opisanie opinii jakiejś zbiorowości, wymagają dopełnienia rygoru badań reprezentatywnych – szczególnie w zakresie sposobu doboru ich uczestników. Natomiast ich zastosowanie pozwala na podstawie wypowiedzi wybranej grupy mieszkańców wnioskować o opinii wszystkich.