Zając, Batorski - Jak skłonić do udziału w badaniach internetowych Zwiększanie realizacji próby.pdf

(197 KB) Pobierz
Zając Batorski Jak_sklonic_do_udzialu_3
Jak skłoni ć do udziału w badaniach internetowych:
Zwi ę kszanie realizacji próby
Jan M. Zając
Dominik Batorski
Artykuł złoŜony do Psychologii Społecznej , druk na przełomie 2007/2008.
Streszczenie
Prowadzenie bada ń ankietowych i eksperymentalnych w internecie jest coraz popularniejsze,
ale ich autorzy musz ą boryka ć si ę z problemami małej motywacji do udziału i niskiego
stopnia realizacji próby (response rate). Przykłady ró Ŝ nych bada ń dowodz ą , Ŝ e mo Ŝ na
zaprojektowa ć badanie tak, aby wpłyn ąć na ch ęć do udziału w nim i znacznie zwi ę kszy ć
odsetek zwrotów. Artykuł ten omawia istotne dla realizacji próby elementy bada ń
internetowych, takie jak wybór badanej populacji i sposobu organizacji badania, forma i
tre ść zaproszenia do udziału, a tak Ŝ e wykorzystanie gratyfikacji za udział. Autorzy dokonuj ą c
przegl ą du wyników licznych eksperymentów metodologicznych a tak Ŝ e wyników własnych
bada ń dotycz ą cych organizacji badania i kontaktu z osobami badanymi, podaj ą konkretne
wskazówki słu Ŝą ce skłonieniu do udziału i zwi ę kszaniu stopnia realizacji próby.
Słowa kluczowe
Metodologia, badania przez internet, stopień realizacji próby, response rate, ankiety,
motywacja badanych
1
Badania prowadzone w internecie mogą być w pełni wartościowe jeśli tylko są
przestrzegane odpowiednie standardy metodologiczne. Zarzutem często wysuwanym, przede
wszystkim wobec badań ankietowych w sieci jest niski stopień realizacji próby ( response
rate ), który ogranicza moŜliwość generalizacji wyników z próby na populację 1 . Przykłady
róŜnych badań internetowych dowodzą jednak, Ŝe niski odsetek zwrotów nie jest immanentną
cechą badań internetowych i Ŝe sposób przeprowadzenia badania moŜe w bardzo duŜym
stopniu zwiększyć bądź obniŜyć chęć do udziału w nim. Co więcej, zdarza się Ŝe stopień
realizacji próby w badaniach internetowych jest wyŜszy niŜ w standardowych badaniach
realizowanych poza siecią. Warto zatem uwzględnić wiele wskazówek w fazie projektowania
badania, aby jego wyniki mogły słuŜyć rzetelnej odpowiedzi na postawione pytania.
Niniejszy artykuł omawia róŜne aspekty badań internetowych, podając konkretne
wskazówki słuŜące zwiększaniu stopnia realizacji próby. Ze względu na objętość tekstu
teoretyczne mechanizmy obserwowanych zaleŜności traktujemy bardzo skrótowo. Skupiliśmy
się na przedstawieniu zagadnienia i na konkretnych rekomendacjach mających pomóc
badaczom realizującym własne badania.
Rekomendacje dotyczą badań ze świadomym udziałem osób badanych, przede
wszystkim kwestionariuszowych, ale wiele z nich ma zastosowanie takŜe w innych badaniach
eksperymentalnych i jakościowych. Choć dotyczą przede wszystkim sytuacji bezpośredniego
zapraszania osób badanych, to w pewnym stopniu mogą się sprawdzać teŜ w badaniach
otwartych, gdy rekrutujemy do udziału za pomocą ogłoszeń o badaniu umieszczanych na
forach dyskusyjnych lub stronach internetowych. Dyskutujemy kolejne etapy realizacji
badania: wybór badanej populacji i sposobu badania, formę i treść zaproszenia oraz sposób
organizacji badania. Nie omawiamy natomiast tutaj konstrukcji i cech samego narzędzia
Oczywiście pod warunkiem, Ŝe badania robione są na próbach losowych, bo tylko wtedy moŜliwe jest
stosowanie metod wnioskowania statystycznego. W praktyce nie wszystkie badania ankietowe realizowane w
internecie są przeprowadzane na próbach losowych.
2
badawczego oraz związanego z tym zagadnienia rezygnacji z udziału w trakcie badania
1
( dropout ). Są to zagadnienia znacznie szersze, wykraczające poza ramy tego artykułu. Inaczej
mówiąc skoncentrujemy się na problemie skłonienia do rozpoczęcia udziału w badaniu
pomijając problem utrzymania zainteresowania badanego i zmotywowania go do pozostania
w badaniu do jego końca.
Jesteśmy przekonani, Ŝe prowadzenie badań w sieci ma sens i wraz ze wzrostem
liczby uŜytkowników będzie coraz częstsze. Takie zalety jak oszczędności czasowe i
pienięŜne, dostęp do duŜych i zróŜnicowanych prób oraz moŜliwość dotarcia do
specyficznych populacji skłaniają do coraz częstszego stosowania procedur internetowych,
pomimo ich licznych ograniczeń. Nie powinniśmy juŜ zastanawiać się nad tym czy w ogóle je
prowadzić, lecz raczej w jaki sposób je prowadzić, aby wyniki mogły być konkluzywne (por.
Batorski i Olcoń, 2006). Wraz z rosnącą popularnością badań tego typu palącym wyzwaniem
staje się opracowanie standardów i wytycznych metodologicznych. Mamy nadzieję, Ŝe ten
artykuł będzie krokiem w tym kierunku.
Dlaczego stopień realizacji próby jest istotny? (nagłówek poziom 1)
W tym artykule definiujemy stopień realizacji próby jako proporcję rozpoczętych
ankiet w stosunku do całości próby (analogicznie np. Goeritz, 2006b i Heerwegh i Loosveldt,
2003). Dla precyzji w języku angielskim ten wskaźnik określa się takŜe mianem survey
starting rate. Warto zauwaŜyć, Ŝe w ankietach internetowych liczba rozpoczętych ankiet jest
prawie zawsze większa od liczby kwestionariuszy wypełnionych w całości, czy uznanych za
waŜne. Część z badanych rezygnuje z udziału w badaniu w jego trakcie. Ten problem
wykracza jednak poza ramy niniejszego artykułu. Ze względu na ograniczenia jego długości
skupiliśmy się na skłonieniu badanych do rozpoczęcia badania. Część metod, związanych na
przykład z treścią zaproszenia, moŜe wpływać dodatnio na liczbę rozpoczętych ankiet, a
3
jednocześnie ujemnie na odsetek ankiet zakończonych. W takich przypadkach umieściliśmy
odpowiednie adnotacje.
Stopień realizacji próby w badaniu kwestionariuszowym ma wielkie znaczenie dla
moŜliwości uogólniania wyników na badaną populację. Ma to bezpośredni związek z
występowaniem błędu wynikającego z braku odpowiedzi ( non-response error ), czyli skutku
tego, Ŝe nie wszystkie wylosowane w próbie jednostki mogą bądź chcą uczestniczyć w
badaniu. MoŜe on dotyczyć zarówno całego kwestionariusza ( unit-non response ), jak i
poszczególnych jego pozycji ( item-non response ) (por. Bosnjak i Tuten, 2001). Jeśli stopień
realizacji próby jest niski, wyniki badania mogą być zniekształcone lub w ogóle
bezwartościowe. Odpowiedzi osób, które nie wzięły udziału w badaniu mogłyby się istotnie
róŜnić od odpowiedzi osób, które wzięły udział. Zniekształcenia są najsilniejsze, gdy chęć do
udziału jest związana ze zmiennymi będącymi przedmiotem badania. Doświadczenia z wielu
krajów dowodzą, Ŝe osoby zgadzające się na udział wyróŜniają się na tle populacji generalnej
pod względem podstawowych cech socjodemograficznych (np. wyŜsze wykształcenie,
wyŜszy status zawodowy), jak równieŜ cech osobowości, postaw czy opinii. RóŜnice te tylko
w pewnym stopniu mogą zostać skorygowane w procedurze waŜenia wyników (Sztabiński,
1997). Co więcej, zarówno braki danych, jak i procedura waŜenia wyników mogą
doprowadzić do zwiększenia błędów przewidywania.
Niski stopień realizacji próby jest jednym z najwaŜniejszych problemów
prowadzonych obecnie badań sondaŜowych, między innymi ze względu na zmęczenie
rosnącą liczbą badań 2 oraz migracje. Obecnie zdarza się, Ŝe w badaniach prowadzonych przez
renomowane ośrodki badania opinii i realizowanych metodą wywiadu ankieterskiego odsetek
zwrotów nie przekracza 50%, a w przypadku wielkich miast jest zdecydowanie niŜszy.
2 Według danych Organizacji Firm Badania Opinii i Rynku w 2006 r. w badaniach przeprowadzanych przez jej
członków, a więc niemal wszystkie większe polskie firmy badawcze, wzięło udział ok. 5 mln Polaków!
4
Realizacja próby w badaniach internetowych (nagłówek poziom 1)
Problem niskiej realizacji próby dotyczy takŜe badań prowadzonych przez internet.
Obok problemów występujących równieŜ w badaniach poza siecią pojawiają się trudności
specyficzne dla internetu. Po pierwsze, są to problemy z określeniem badanej populacji, jej
granic i operatu losowania. Po drugie, dotarcie do wytypowanych respondentów jest
trudniejsze nie tylko ze względu na większą trudność w określeniu badanej populacji, z której
losowana była próba, ale równieŜ ze względu na nieaktywne adresy, nie korzystanie z serwisu
czy usługi, za pomocą której przeprowadzane jest badanie w danym okresie, czy róŜnego
rodzaju filtry i zabezpieczenia. Po trzecie, nawet gdy uda się dotrzeć z komunikatem do
respondentów będzie on w małym stopniu zobowiązujący.
Wobec braku bezpośredniego kontaktu z badaczem internauci nie czują się
zobowiązani do udziału w badaniu. Zignorowanie zaproszenia jest bardzo proste, nie musi
nawet wiązać się z psychicznymi kosztami odmowy (Batorski i Olcoń, 2006). Jest to
związane ze specyfiką zachowania w internecie, zwłaszcza z poczuciem anonimowości i
rozhamowanym zachowaniem ( disinhibited behaviour ; por. Joinson, 1998; 2005).
Pomimo tych ograniczeń moŜliwe jest uniknięcie niskiego odsetka zwrotów w badaniu
internetowym, o czym świadczy duŜa rozbieŜność w wynikach róŜnych badań. W wielu
badaniach internetowych realizacja próby jest bardzo niska i pozostaje na poziomie kilku
procent. Sobieszek (2006) twierdzi, nie podając źródła, Ŝe stopień realizacji próby w
badaniach internetowych wynosi przeciętnie 5-7%. MoŜna jednak wskazać takie gdzie była
znacznie wyŜsza, osiągając 82% (Cull, O'Connor, Sharp i Tang, 2005), 72% (Yun i Trumbo,
2000), 67% (Kiesler i Sproull, 1986) czy 53% (Heerwegh, Vanhove, Matthijs i Losveldt,
2005). Opierając się na metaanalizie badań porównujących ankiety umieszczane na stronach
WWW ( Web-based surveys ) postawiono wręcz tezę, Ŝe przy kontroli innych czynników sama
5
Zgłoś jeśli naruszono regulamin