Odkryj prawdę o swoich klientach. Jak tworzyć ankiety,
które pomogą ci w decyzjach biznesowych

Wyobraź sobie, że zachorowałeś i idziesz do przychodni. Wchodzisz do gabinetu, lekarz prosi, żebyś usiadł. Zaczyna przeglądać twoją kartę: patrzy na imię i nazwisko, wiek, adres, a potem… bez słowa wypisuje receptę i wręcza ci ją.

Bierzesz kartkę do ręki i dziwisz się: skąd on wie, że akurat to mi pomoże? Przecież nawet nie zapytał, co mi dolega!

Mam nadzieję, że żaden lekarz tak się nie zachowuje, ale niektórzy przedsiębiorcy – owszem. Wydaje im się, że nie muszą pytać swoich klientów o zdanie, bo przecież mają intuicję, doświadczenie w prowadzeniu firmy i wiedzą lepiej, czego ludziom potrzeba. Niestety to nie zawsze wystarcza.

Informacje od klientów można zbierać na różne sposoby. Prostym narzędziem jest np. ankieta. Prostym, ale to nie znaczy, że łatwym.

  • Kiedy ankieta się sprawdza, a kiedy nie?
  • Jak nakłonić ludzi, żeby chcieli ją wypełnić?
  • Jak zadawać pytania, żeby uzyskać wiarygodne odpowiedzi?

Do rozmowy na ten temat zaprosiłem osobę, która od 5 lat uczy metodologii badań i statystyki w Trinity College w Dublinie. Mówi o sobie, że jest psychofanką badań ankietowych, a nazywa się Janina Bąk.

Linki do osób i firm wymienionych w tym
odcinku podcastu

  • Narzędzie do tworzenia ankiet TypeForm

Prezent dla słuchaczy

Zasady tworzenia pytań ankietowych
15 zasad tworzenia pytań ankietowych – dołącz do Klubu MWF i pobierz ściągę Chcę to 

Podcast w wersji wideo

Aby używać odtwarzaczy multimedialnych, musisz wyrazić zgodę na użycie plików cookies usług odtwarzaczy
Ok, zgadzam się

Podcast do czytania

Marek Jankowski: Co ostatnio czytałaś?

Janina Bąk: Książkę o liczbach, to książka o bardzo długim tytule Standard Deviations: Flawed Assumptions, Tortured Data, and Other Ways to Lie with Statistics.

Zrozumiałem dewiację, już się boję – będę musiał oznaczyć ten odcinek jako explicit, bo czuję, że to będzie coś ostrego.

Tak – niezwykle fascynującego. Podałam angielski tytuł, bo nie udało mi się znaleźć polskiego wydania, ale w takim luźnym tłumaczeniu tytuł można przełożyć na „błędne założenia, storturowane dane i inne sposoby kłamania na temat statystyk” – napisał to Gary Smith, który jest profesorem ekonomii, co wydaje się być najnudniejszym zawodem na świecie. Laureat Nobla Ronald Coase powiedział kiedyś, że jeśli będziemy wystarczająco długo torturować dane, to one w końcu się przyznają – czyli jeśli będziemy wystarczająco długo grzebać w danych i szukać tego, co chcemy znaleźć, to w końcu nam się to uda. To jest zdanie, które jest bardzo często używane przez ludzi, którzy chcą deprecjonować statystyki czy analityczne podejście do rozwiązywania problemów – oni mówią „statystycznie, jak pójdę ze swoim psem na spacer to mamy po trzy nogi”.

Jest kłamstwo, duże kłamstwo i statystyka.

To zdanie przypisuje się Markowi Twainowi, a Mark Twain nigdy tego nie powiedział. Gary Smith pokazuje w tej książce, że to nie jest prawda, że statystyki kłamią – to ludzie kłamią na temat statystyk. Pokazuje konkretne przykłady badań naukowych, badań marketingowych, gdzie firmy albo badacze w pewien sposób sprofilowali dane pod własne potrzeby. W książce są konkretne case’y – co należy zrobić, w jaki sposób przedstawić wykres tak, żeby wyglądał lepiej na nasze potrzeby i w jaki sposób można zmanipulować dane, żeby pokazały nam to, co chcemy.

Nie słyszałem wcześniej określenia torturowanie danych, poza twoimi prezentacjami, natomiast byłem świadkiem takiego zjawiska – 20 lat temu pracowałem w radiu we Wrocławiu, które nazywało się Radio Klakson. Mój kolega w dziale reklamy dostawał wyniki badań słuchalności, te badania przychodziły na dyskietkach kilka razy w miesiącu, wgrywał te wszystkie dane, no i mógł je na różne sposoby filtrować. Mógł sobie na przykład wybrać, jaka jest słuchalność stacji radiowych we Wrocławiu, w grupie kierowców – bo to była nasza grupa docelowa. Mógł też to filtrowanie pogłębiać i mogli to być na przykład kierowcy, mężczyźni, w wieku 25-35 lat – mój kolega z działu reklamy co miesiąc wysyłał naszym reklamodawcom i potencjalnym reklamodawcom fax, w którym zawsze był wielki nagłówek „Wygrywamy!”, później były słupki słuchalności stacji radiowych, gdzie nasz słupek zawsze był oczywiście najdłuższy. Ten fakt był co miesiąc taki sam, tyle tylko, że zmieniał się opis, bo co miesiąc była jakaś grupa badawcza, w której wygrywaliśmy i co miesiąc udawało się jakąś grupę znaleźć. Czasami wymagało to trochę więcej gimnastyki, czasami mniej, ale to rzeczywiście pokazuje, że jeżeli mamy odpowiednio dokładne dane, które można filtrować na różne sposoby, to rzeczywiście przeróżne cuda można stamtąd wyciągnąć.

To jest paradoks, w psychologii poznawczej nazywa się quantification bias, polegający na tym, że podświadomie nadajemy większą wartość temu, co możemy policzyć lub zmierzyć, w porównaniu do tego, co znacznie trudniej nam skonceptualizować liczbowo.

Właśnie zrozumiałem, dlaczego książka 50 twarzy Greya ma taką popularność [śmiech].

Może tak być [śmiech]. Z jednej strony lubimy liczby, ufamy im bardziej, bo wydaje nam się, że jeśli da się coś policzyć, to znaczy, że to musi być prawda.

Da się to objąć rozumem i staje się to namacalne.

Tak, ale paradoks polega na tym, że wciąż nie umiemy korzystać z tych liczb. Wierzmy im, ale nauczmy się w jakiś sposób lepiej je interpretować. Można to zrobić czytając takie książki jak ta, Garego Smitha – ona jest rzeczywiście napisana w taki sposób, że nawet ludzie, którzy nie mają pojęcia o statystyce i stają w płomieniach na widok liczb, będą ją czytać z rozkoszą.

To odważna rekomendacja. Pogadamy sobie dzisiaj o danych, o liczbach i interpretowaniu ich. Chciałem z tobą porozmawiać o badaniach ankietowych, gdyż podobno, z jakiegoś dziwnego powodu, jest to twój konik.

Jestem psychofanką badań ankietowych i bardzo lubię przekonywać ludzi do tego, że jest to fajne narzędzie, a po drugie pokazuję, że to nie jest takie łatwe, jak nam się wydaje. To nie wygląda tak, że bierzemy sobie kartkę papieru, zapisujemy kilka pytań i lecimy w świat.

To zacznijmy od tego, czy to w ogóle ma sens? Jedna z podstawowych sytuacji w życiu każdej firmy jest taka – wchodzę na rynek jako firma albo wprowadzam nowy produkt i chciałbym się dowiedzieć, czy ludzie to kupią. Są co najmniej dwa autorytety, które mówią, że nie warto pytać ludzi o pewne rzeczy. Henry Ford powiedział „gdybym na początku tworzenia firmy zapytał ludzi, czego chcą, to chcieliby szybszych koni”, a nie samochodów – w domyśle, Steve Jobs powiedział „ludzie nie wiedzą czego chcą, dopóki im tego nie pokażesz”. Czy w sytuacji, kiedy chcę dowiedzieć się, czy będzie popyt, zainteresowanie, klienci na mój nowy produkt, to ankieta jest w ogóle użytecznym narzędziem?

Tak, jak najbardziej – ankieta nam się przyda, ale musimy zadać właściwe pytania. Jeśli chcemy zrobić dobre rozeznanie rynku, to obawiam się, że Henry Ford ma rację, bo kiedy spytam kogoś czy potrzebujesz mojego produktu, to jest problem w badaniach ankietowych, bo zawsze, gdy pytamy o coś, co jest deklaracją, to opieramy się na zaufaniu. Ufamy, że ta osoba mówi prawdę, co do swojej deklaracji, a po drugie, że ta osoba sama wie, czego chce i czego potrzebuje – a mamy z tym kłopot. Jeśli przeprowadzamy badanie rynku ankietą, to pytanie „czy potrzebujesz naszego produktu?” powinno być jednym z ostatnich. Powinniśmy się skupić na rozeznaniu zachowań tych ludzi, ich potrzeb, problemów – na przeanalizowaniu tego, w czym mogę im pomóc, zanim zadam im konkretne pytanie „czy chciałbyś kupić coś takiego?”.

Druga sprawa, to kogo pytamy – to jest coś, z czym zdecydowana większość ankiet w internecie ma problem. Istnieje coś takiego jak próba badawcza. Jest to grupa ludzi, na których przeprowadzamy badanie, w tym wypadku ankietę. Ludzie uwielbiają wrzucać ankiety na Facebooka – wrzucam sobie ankietę na Facebooka, znajomi mi ją trzaskają, a ja analizuję dane. Nie jest tak do końca, dlatego że ważne jest, kogo pytamy. Jeśli moim produktem jest urządzenie, które pozwala mi pić wino na leżąco, po czym wchodzę na forum biznesowe dla 60-letnich prezesów banków i pytam ich „Hej! Czy kupilibyście mój produkt?”, to trochę rozmijam się z moją grupą docelową, bo to nie do nich kierowana jest moja usługa i nie ich powinnam pytać o zdanie.

Jedna sprawa to jest, jak pytamy, jakie pytania zadajemy, a druga kogo pytamy. Pamiętajmy też, że mamy wiele sposobów na badania marketingowe, to nie zawsze musi być ankieta, warto czasem przeprowadzić badania fokusowe, czyli zebrać grupę osób, zadać im po kolei pytania i spisywać ich dyskusję. Jeśli mamy możliwość warto zainwestować w przeprowadzenie takich badań profesjonalnie – przez zewnętrzną firmę albo przez ekspertów, bo mamy milion przykładów w biznesie, gdzie spieprzone badania konsumenckie czy badania rynku kosztowały firmę bardzo dużo pieniędzy. Takim najgłośniejszym przypadkiem jest case Coca-Coli, która ponad 30 lat temu postanowiła wprowadzić na rynek nowy produkt, który nazywał się New Coke, to była jeszcze słodsza wersja Coca-Coli. Oni przeprowadzili bardzo porządne metologicznie badania konsumenckie, próba badawcza wynosiła pół miliona osób, byli pytani o to, która Coca-Cola smakuje ci bardziej – zdecydowana większość wskazywała, że ten nowy produkt smakuje im bardziej, więc co zrobiła Coca-Cola? Zdjęła z rynku starą Coca-Colę, a na jej miejsce wsadziła nową.

Po dwóch tygodniach musieli ją zdjąć z rynku, dlatego że blisko pół miliona osób dzwoniło na infolinię, wkurzeni, że nie mogą kupić swojej ulubionej Coca-Coli, bo dostali nowy produkt. To kosztowało Coca-Colę 34 miliony dolarów – jeśli ktoś nie chce wydać pieniędzy na badania konsumenckie, to zawsze pokazuję im ten przykład, bo ostatecznie może to kosztować znacznie więcej. Dlaczego tak się stało? Czy te statystyki było nieprawidłowe? Były prawidłowe, tylko pytania ankietowe były źle zadane, bo oni spytali ludzi, która cola smakuje im bardziej, a nie wzięli pod uwagę, że kupując produkt, kierujemy się przywiązaniem do marki, sentymentem i tym podobnymi. Lubię ten przykład, bo on pokazuje, że jedno źle zadane pytanie może cię kosztować 34 miliony dolarów – co wykorzystuję w kontaktach z klientem.

Źle sformułowane pytanie w ankiecie może cię kosztować 34 miliony dolarów

Myślę, że to ważna lekcja. Jeżeli zapytamy ludzi o nasz nowy produkt, to oni rzeczywiście nie mają żadnego doświadczenia związanego z tym produktem i mogą wyłącznie fantazjować, czy to być może im się spodoba czy nie, czy będą tego używać czy nie. Chyba powinniśmy pytać o realne doświadczenia, bo wtedy oni mogą rzeczywiście powiedzieć „Ok, robię to tak i tak często albo nie robię tego, albo czegoś nie lubię”.

Właśnie o to chodzi. To bardzo często nie wynika ze złej woli ankietowanych, tylko czasem trudno nam złożyć jakiekolwiek deklaracje, trudno nam podjąć decyzje – w tym kontekście badania ankietowe są bardzo trudne, dlatego powinniśmy jak najwięcej czasu poświęcać na prawidłowe zadawanie pytań po to, żeby te dane były jak najbardziej rzetelne. I podkreślam – to nie zawsze musi być ankieta.

Pomińmy może wątek innych badań i skupmy się dzisiaj na ankietach. Do czego jeszcze może się przydać ankieta? Podaliśmy przykład wprowadzenia na rynek nowego produktu, czy uruchomienia firmy – inne sytuacje, które przychodzą mi do głowy, to jest sytuacja, w której chcemy dowiedzieć się więcej o naszych klientach, chcemy wiedzieć, jak oni żyją i w jaki sposób podchodzą do różnych elementów, które wiążą się z naszym biznesem. Jeszcze inny przypadek to jest zebranie informacji na temat sposobu korzystania z naszego produktu. Jeżeli ktoś sprzedaje aplikacje mobilne, to nie musi pytać, bo widzi wszystkie dane, ale jeżeli jest to produkt taki jak odkurzacz, który ludzie zabierają do domu, to żeby się dowiedzieć czegoś więcej, muszę ich zapytać. Jakie jeszcze są sytuacje, w których wykorzystanie ankiety w biznesie jest najbardziej sensowne i przynosi najbardziej cenne dane?

Najczęściej są to wszelkie badania satysfakcji –– badania satysfakcji klientów, badania satysfakcji naszych pracowników. Taki najnowocześniejszy model w korporacjach polega na zadawaniu tylko jednego pytania. My bardzo lubimy ankiety i wydaje się nam, że to jest doskonałe narzędzie, bo jest szybkie – wrzucamy je do internetu, automatycznie dostajemy dane. Jednak obecnie jesteśmy tak bardzo bombardowani różnymi ankietami i pytaniami, że przeciętna wypełnialność ankiety online wynosi 30 procent – jeśli 30 procent respondentów wypełni naszą ankietę, to jest bardzo dobry wynik. Ostatnio przeprowadziłam ankietę, która miała wypełnialność na poziomie 56 procent i jak ją pokazuje na konferencjach naukowych, to ludzie mają mózg na ścianie, że aż tyle osób ją wypełniło. Oczywiście są sposoby na to, żeby ludzi zachęcić do uzupełniania ankiet, ale generalnie nikt nie chce ich wypełniać.

Żeby sobie z tym poradzić, wprowadzono koncepcję jednego pytania – to świetnie robi Brand24. Gdy oni pytają mnie, czy jestem usatysfakcjonowana z ich usług, to są zawsze dwa pytania – jedno jest skalą, jak bardzo jesteś zadowolona z naszych usług, wybierz od 0 do 10, a potem dostaję jeszcze dodatkowe pytanie otwarte, gdzie mogę im napisać coś dodatkowego, jeśli coś mi leży na sercu. Co więcej, to jedno pytanie jest wbudowane w maila – żeby na nie odpowiedzieć, to potrzebuję dosłownie trzech sekund i nie wymaga to ode mnie dużych nakładów czasowych, a po drugie mogę to zrobić w mailu, więc nie muszę klikać w jakieś linki i przechodzić do innej strony, przez co wypełnialność ankiet jest tam bardzo duża.

Często zapominamy, że zawsze jest warto pytać o te same rzeczy, to znaczy nie zmieniać pytań ani skal, jeśli nie ma takiej potrzeby, jeśli pytania są poprawnie skonstruowane. Jeśli Brand24 co miesiąc zadaje mi to samo pytanie i muszę ocenić ich usługi w skali od 0 do 10, to daje to piękne dane do porównania danych w czasie. Wtedy można sprawdzić, że trzy miesiące temu satysfakcja klienta była na poziomie 5.5, a teraz mamy 8, czyli robimy dobrą robotę. Fajnie o tym pamiętać, żeby jednak zbierać cały czas dane o podobnej strukturze, żeby potem móc je porównywać również w czasie.

Czytałem kiedyś o tym, że można badanie satysfakcji przeprowadzić troszkę inaczej, też zadając jedno pytanie, ale ono powinno brzmieć: „czy poleciłbyś nasze usługi swojemu znajomemu?” – tak robi chyba booking.com. To podobno jest o tyle lepsze, że wtedy nie opieramy się tylko na jednostkowej ocenie tego człowieka, który wypełnia, ale patrzymy też na jego chęć bycia naszym ambasadorem i rekomendowania naszej usługi na zewnątrz.

To rzeczywiście jest lepiej zadane pytanie, niż „czy jesteś usatysfakcjonowany?”, choć w przypadku niektórych produktów, to się nie sprawdza. Jeśli chodzi o booking.com i o takie produkty, z których korzystała większość z nas, czyli hotele albo taksówki, to takie pytanie się jak najbardziej sprawdza, bo myślimy sobie „no tak, pewnie Józek potrzebowałby taksówki, to polecę ich, bo oni są spoko”. Jeśli chodzi o Brand24, to też byłoby to użyteczne pytanie, ale mogłoby już wprowadzić pewien mętlik, bo „no nie wiem, nie poleciłbym znajomym, bo nikt tego nie potrzebuje, bo nikt nie zajmuje się biznesem online”, więc to zależy od usługi.

A kiedy nie ma sensu używać ankiety jako narzędzia?

Pierwsze pytanie, jakie bym sobie zadała, to czy naprawdę ankieta jest narzędziem, którego potrzebuję najbardziej. Mamy wiele narzędzi w badaniach marketingowych, z których możemy korzystać i nie zawsze ankieta da nam najlepsze dane. Jeśli mam w firmie pięć osób i chcę sprawdzić, czy im się dobrze u mnie pracuje, to mogę zrobić ankietę, ale to jest dość dziwne, więc może lepiej z tymi ludźmi po prostu porozmawiać. Oczywiście to nie mogę być ja jako szef, bo tu wystąpi efekt ankietera, kiedy ankieter ma wpływ na udzielone odpowiedzi, ale możemy wziąć osobę z zewnątrz. Zupełnie innym przykładem są pytania, na które trudno znaleźć odpowiedź ankietą – tu wchodzą w grę wszelkie deklaracje, wszelkie zachowania konsumenckie.

Duże korporacje już powoli się orientują, że nie wszystko można zmierzyć ankietą – pierwszą korporacją, która zauważyła, że coś jest na rzeczy, była Nokia. Nokia słynie z tego, że jako pierwsza zatrudniła swoich szeregach etnografa – etnografia to jest taka metoda badawcza, gdzie człowiek idzie i żyje wśród tubylców, czyli żyje wśród prawdziwych ludzi, przeprowadza z nimi wywiady, obserwuje ich zachowania i na tej podstawie zbiera dane. Nokia to jest ciekawy przypadek. bo oni z jednej strony byli pierwszą korporacją, która zrozumiała, że etnografia i alternatywne metody badawcze są super, a z drugiej strony, jest pierwszą korporacją, która się na tym potknęła.

Wiele lat temu Nokia wysłała swojego etnografia na dwa lata do Chin, bo chcieli wiedzieć, czy rynek potrzebuje smartfonów. Wtedy jeszcze nie było smartfonów i chcieli wiedzieć, czy jest zainteresowanie ich nowym produktem. Przeprowadzili ankietę i mieli wyniki dwuletnich badań – badania pokazały, że ludzie chcą smartfona, dlatego że ta badaczka, która je prowadziła, zauważyła, że rzeczywiście poziom biedy jest wysoki, że ludzie mają problemy finansowe, ale zauważyła też, że posiadanie takiego gadżetu jest dla nich bardzo ważne statusowo. Wysnuła wniosek, że ci ludzie będą chcieli mieć smartfona, będą chcieli mieć taki gadżet i będą w stanie poświęcić bardzo dużo, żeby go zdobyć.

Równolegle Nokia dostała badania ankietowe, gdzie pytano „Hej! Czy potrzebujecie smartfona?”, a ludzie powiedzieli „nie”, bo większość z nich nie wiedziała, co to jest smartfon – inna sprawa, że spytano ich o produkt, a oni nie wiedzieli, co to za produkt. Prezes Nokii podjął błędną decyzję – uwierzył danym ankietowym i nie wprowadził tego smartfona na rynek wtedy, kiedy jego konkurenci to zrobili. Ogólnie spóźnił się z wejściem na rynek, który teraz jest szacowany na 470 miliardów dolarów, więc to zaufanie do ankiet kosztowało go bardzo dużo. To jest świetny przykład tego, że nie zawsze to ankieta musi być tym narzędziem, którego potrzebujemy – czasem obserwacja zachowań ludzi, wywiady albo inne metody zbierania danych będą dla nas korzystniejsze.

Powiedz od czego zacząć tworzenie ankiety, jeżeli uznam, że to narzędzie jednak w moim przypadku się sprawdzi, jakie powinny być pierwsze kroki?

Od białej kartki papieru. To jest trochę tak jak w prezentacjach – wydaje się nam, że każda prezentacja zaczyna się od otwarcia PowerPointa i trzaskania slajdów, tak w ankietach wydaje nam się, że chodzi o to, żeby natychmiast zacząć trzaskać pytania. Nie do końca tak jest. Jeśli chcę zrobić trochę większe badania satysfakcji, czyli nie to jedno pytanie, tylko chcę dowiedzieć się trochę więcej, czy klienci są zadowoleni z usług mojej firmy. Pierwsza rzecz to zastanowienie się, jakie właściwie jest moje pytanie badawcze – czego chcę się dowiedzieć? Nie mogę się dowiedzieć wszystkiego. To musi być jak najbardziej szczegółowe pytanie, czyli pytanie czy klienci są zadowoleni z poziomu świadczonych przeze mnie usług – to wciąż jest dość duży poziom ogółu.

No właśnie dlatego, że to zadowolenie może wynikać z czasu reakcji na zapytania, z uprzejmości obsługi, z jakości produktów i jeszcze paru innych rzeczy.

Tutaj wchodzi nasz najlepszy przyjaciel w badaniach ankietowych, coś, co nazywamy operacjonalizacją, która polega na tym… [śmiech].

Widać, że dużo czasu spędzasz z Kamilem Koziołem, dlatego że on też używa takich różnych słów, które mają pięć sylab albo więcej. Uważam, że to nie fair wobec całej reszty społeczeństwa, która przy trzeciej sylabie już zasypia.

Ale ja ci powiem, co to jest. Operacjonalizacja to jest coś, co robimy na co dzień, tylko o tym nie wiemy. Operacjonalizacja jest wtedy, gdy bierzemy taki dość ogólny koncept, jakim jest satysfakcja klienta i sprowadzamy go do wyższego poziomu szczegółowości, czyli trochę jakbyśmy mieli kawałek ciasta i podzielili go na mniejsze kawałki. Satysfakcja klienta – co to dla mnie oznacza? Może to być na przykład satysfakcja z szybkości realizacji zamówień albo jakości obsługi klienta, albo tego, jak zachowaliśmy się w sytuacjach kryzysowych w czasie reklamacji. Nasz czołowy koncept satysfakcji klienta dzielimy na mniejsze fragmenty, gdzie każdy z tych fragmentów będziemy mierzyć – możemy wtedy ocenić, jak działa nasze biuro obsługi klienta, jak ludzie są zadowoleni z czasu przesyłki, jak ludzie są zadowoleni z jakości naszego produktu. Jak już wiemy, o co dokładnie pytamy, to możemy próbować szkicować pierwsze pytania. Jeśli chcę się dowiedzieć, czy ludzie są zadowoleni z obsługi klienta, to o co muszę ich spytać? Muszę spytać po pierwsze, czy w ogóle mieli kiedykolwiek kontakt z tym biurem obsługi klienta – to jest jeden z najczęściej popełnianych błędów w ankietach, że ktoś mnie pyta: „czy jest pani zadowolona z naszej obsługi?”, a ja tego nie wiem, bo z niej nie korzystałam, ale nie daliście mi opcji, by takie coś zaznaczyć.

Zacznij tworzyć pytania ankietowe, dopiero w momencie, kiedy wiesz o co chcesz zapytać

Najpierw musimy spytać, czy ktoś w ogóle z tych usług korzystał, później spytać czy był zadowolony z czasu, w jakim jego problem został rozwiązany, czy był zadowolony z tego, jak dobrze wychowana była ta pani. Zaczynamy od takiego bardzo ogólnego pytania, dzielimy je na mniejsze części, a później na jeszcze bardziej szczegółowe pytania, z czego najdłużej trwa proces tworzenia pytań ankietowych, bo to jest coś najtrudniejszego do zrobienia.

A dlaczego to jest takie trudne?

Dlatego, że wydaje nam się proste i z reguły nie poświęcamy odpowiedniej uwagi i czasu, bo wydaje nam się, że każdy umie zadać pytanie. Jednak musimy wziąć pod uwagę to, że musimy zadać pytanie w taki sposób, żeby to pytanie absolutnie dla każdego człowieka, który odpowiada na tę ankietę, oznaczało to samo. Jeśli zadamy pytanie, czy lubisz swoją pracę, to mogę powiedzieć, że lubię, bo zarabiam dużo pieniędzy. Ktoś może lubić, bo na przykład ma fajną koleżankę przy biurku, a ktoś ma dobrą kawę – to muszą być jak najbardziej szczegółowe pytania i muszą oznaczać dla wszystkich to samo. Mam jeszcze jakieś 25 zasad, które trzeba wziąć pod uwagę przy tworzeniu pytań ankietowych.

Wow – masz je gdzieś spisane? Można je gdzieś zobaczyć?

Mogę je spisać i dać w formie PDF-a.

Rewelacja, dzięki wielkie! Powiedziałaś, że ankietę zaczynamy od takiego pytania tak-nie, które eliminuje ludzi, którzy nie są odpowiedni do wypełnienia tej ankiety. – można powiedzieć, że to takie pytanie kwalifikujące?

Jest to pytanie filtrujące [śmiech].

Kwalifikujące bardziej mi się podoba, bo to jest dłuższe słowo [śmiech]. Więc mamy to pytanie i co dalej? Czy pytania mają być w przypadkowej kolejności, czy powinno jedno wynikać z drugiego? Czasami są takie systemy do tworzenia ankiet, które umożliwiają zadawanie pytań w losowej kolejności – czy to jest dobre, czy złe i kiedy tego używać?

Jeśli chodzi o to, od jakiego pytania zacząć – są dwie szkoły. Niektórzy mówią, żeby zacząć od demografii, czyli tych najprostszych pytań jak płeć i wiek. Inni mówią, że demografia ma być na końcu, co jest ryzykowne, bo jeśli ludzie nie skończą wypełniać ankiety, jeśli przerwą w połowie, to jest problem, bo demografia jest dość kluczową zmienną do analizy, więc ja bym jednak zaczęła od demografii po to, żebyśmy nie stracili tych danych. Dodatkowo warto zacząć od jak najprostszych pytań, aby nie przestraszyć ludzi i żeby jak najchętniej zaczęli wypełniać ankietę.

Pytania filtrujące, warunkujące i ścieżki to jest dość duży temat i chętnie o tym porozmawiam, bo wielu ludzi z tego nie korzysta, a to potrafi fajnie zautomatyzować proces zbierania danych. Jeśli chodzi o losowe pytania, to jest rzeczywiście funkcja, która obecnie znajduje się w większości programów do tworzenia ankiet i która została stworzona po to, żeby zapobiec czemuś, co się nazywa order effect, czyli tego, w jaki sposób kolejność zadawania pytań może warunkować nasze odpowiedzi. Bardzo łatwo można to wytłumaczyć na przykładzie ankiet politycznych – w Stanach Zjednoczonych zadano ludziom pierwsze pytanie, które brzmiało: „które ze współczesnych problemów społecznych w Ameryce są dla ciebie najbardziej dotkliwe?”, wspaniałe pytanie i ludzie trzaskają odpowiedzi: „służba zdrowia nie działa, policja nie działa, szkoły są za drogie”.

Jak już się nakręcisz, to dostajesz drugie pytanie „jak bardzo jesteś zadowolony z urzędującego prezydenta, Baracka Obamy?” [śmiech]. Tutaj działa priming, czyli to torowanie – jeśli chwilę wcześniej ktoś mi przypomniał, jak dużo jest złych rzeczy w tym kraju, a później mnie pyta, czy jestem zadowolony z prezydenta, no to siłą rzeczy te odpowiedzi będą niższe. Ale w badaniach marketingowych to też występuje na trochę niższym poziomie – jeśli spytałabym cię, jak bardzo, w skali od 0 do 5, lubisz jabłka, gruszki i banany, a później zadam ci pytanie, jak często jesz owoce, to z dużą dozą prawdopodobieństwa, gdy zaczniesz sobie przetwarzać, jak często jesz owoce, to będziesz myślał o tym, jak często jesz gruszki, banany i jabłka, i nie pomyślisz o pozostałych owocach. Po to wprowadzono tę technikę pytań losowych, która przed tym chroni.

Niweluje ten efekt.

Tak. Oczywiście, to nie zawsze jest możliwe, bo czasem potrzebujemy najpierw zadać ludziom pytanie „czy korzystasz z internetu na komórce?” – jeśli tak, to ta osoba dostanie pytanie „jak często korzystasz z internetu mobilnie, a jak często korzystasz z internetu na komputerze?”, a jeśli ktoś odpowie „nie korzystam”, to możemy mu zadać pytanie pod tytułem „dlaczego nie?”. To są tak zwane ścieżki, czyli użytkownik, zależnie od tego, jak odpowie na jedno pytanie, dostaje określony zestaw kolejnych pyt ań i z tego warto korzystać. Te funkcje są dostępne w prawie każdym programie do tworzenia ankiet i pozwalają zaoszczędzić czas respondenta, bo nie pojawiają mu się pytania, na które nie może odpowiedzieć, bo na przykład nie korzysta z naszej usługi.

Myślę, że to też poprawia konwersję, czyli odsetek wypełnionych ankiet – ludzie się nie zniechęcają pytaniami, które są bez sensu w ich sytuacji.

Tak, a nam pozwala zebrać lepsze dane, bo nie zadajemy pytań ludziom, którzy nie powinni ich zobaczyć. Gdy mamy takie ścieżki, oszczędzamy czas, który dany człowiek poświęci, bo to jest automatyczne, to już nie jest tak, że zadaję pytanie filtrujące typu „czy korzystasz z internetu mobile?”, po czym dodaję dopisek: „jeśli nie, to przejdź do pytania 138”. Dzięki ścieżkom, to już jest zautomatyzowane – klikasz odpowiedź „nie, nie korzystam” i pojawia się tylko właściwe pytanie.

Pytania otwarte i zamknięte, czyli takie, na które udzielamy dowolnej odpowiedzi i mamy pole do wpisania czego dusza zapragnie i pytania zamknięte, gdzie liczba odpowiedzi jest ograniczona i są pewne gotowe propozycje, z których wybieramy – kiedy które stosować?

Pytania otwarte są trudne z dwóch powodów – z poziomu użytkownika często trudno na nie odpowiedzieć, dlatego że obciążają nas poznawczo. Jeśli dostaję pytanie „w jaki sposób moglibyśmy poprawić jakość naszych usług?”, to nigdy nie potrafię udzielić odpowiedzi. Gdyby ktoś zadał w zamian pytanie zamknięte „czy uważasz, że moglibyśmy poprawić czas wysyłki?”, to byłabym w stanie to oszacować. Bardzo często ludzie nie odpowiadają na pytania otwarte, bo nie potrafią nic wymyślić. Z kolei z poziomu ankietera – kodowanie pytań otwartych to jest piekło na ziemi – oczywiście mamy programy, które to robią, które potrafią automatyzować analizę danych jakościowych, ale to nie jest już takie proste, jak w pytaniach zamkniętych.

Osobiście jestem zwolenniczką zadawania pytań zamkniętych z opcją dodania pytań otwartych, uzupełniających, po to, żeby dać ludziom możliwość dodatkowego wypowiedzenia się. Wracając do przykładu Brand24 – pytają mnie, jak jestem zadowolona w skali 0 do 10, a potem dają mi pytanie otwarte: „czy chcę coś jeszcze dodać”. Jednak należy pamiętać, że najchętniej odpowiedzi na pytania otwarte udzielają osoby, które bardzo wkurzyliśmy albo które nas bardzo lubią – czyli ludzie, którzy mają skrajne emocje i skrajne sytuacje do opowiedzenia. Samo w sobie to może być informatywne, bo jeśli mamy iluś wkurzonych klientów, to fajnie, że nam to powiedzieli, ale powinniśmy być ostrożni w generalizacji. Może się okazać się, że 50 procent odpowiedzi na pytania otwarte udzielili ludzie, którzy po prostu nienawidzą naszej firmy, a to nie znaczy, że rzeczywiście tylu ludzi nienawidzi naszej firmy – ludzie o skrajnych poglądach znacznie chętniej wypełniają te pola.

Jeśli w twojej ankiecie są pytania otwarte, to licz się z tym, że najchętniej odpowiedzą na nie ludzie wkurzeni na ciebie

Powiedziałaś, że idealna ankieta ma jedno pytanie, bo wtedy najłatwiej ją wypełnić.

To był skrót myślowy.

Oczywiście, jeżeli chcemy zebrać więcej informacji, to jednym pytaniem nie ogarniemy. A czy jest jakaś rozsądna liczba pytań, powyżej której ludzie zdecydowanie już przestają się angażować i odpuszczają sobie wypełnienie tej ankiety? Czy istnieje jakieś zdrowe maksimum?

Myślę, że lepiej to liczyć w czasie wypełnienia, niż w pytaniach – są pytania, na które odpowiadamy dość szybko i są takie, które wymagają od nas większego zaangażowania. Gdy zadajemy pytania, to fajnie byłoby, gdyby kafeteria, czyli odpowiedzi do wyboru, były w jakiś sposób wystandaryzowane. Jeśli w pytaniu pierwszym była skala od 1 do 3, w drugim skala od 1 do 10, a w trzecim mam pytanie i 38 możliwych odpowiedzi, to jakby sprawi, że czas wypełnienia ankiety będzie zbyt wysoki i nie będzie się chciało jej wypełniać. Po drugie, mamy pytania, które na przykład wymagają od nas pewnego zaangażowania typu „proszę podaj mi dokładną kwotę na twoim ostatnim rachunku telefonicznym”, no wspaniale, czyli muszę odłożyć komputer i pogrzebać w swoich teczkach, żeby znaleźć tę kwotę.

Jeśli będziemy mieć wiele takich pytań, to czas wypełnienia ankiety będzie bardzo wysoki i nawet jeśli mielibyśmy tylko pięć takich pytań, to ludzie i tak jej nie wypełnią, dlatego że się wkurzą, że chcemy od nich tak wiele. Starajmy się zadawać jak najprostsze pytania, jak najbardziej ułatwić ludziom proces przejścia przez ankietę – wiadomo, że czasem, by uzyskać odpowiednie dane i informacje, musi być tych pytań więcej. Optymalne jest maksymalnie pięć-dziesięć minut dla ankiety internetowej. Dodatkowo musimy się liczyć z tym, że im dłuższy czas na wypełnienie ankiety, tym większe prawdopodobieństwo, że na końcu będziemy mieć brakujące dane, bo ludzie nie odpowiedzą na wszystkie pytania.

Czasami stosuje się różnego rodzaju zabiegi, żeby zachęcić ludzi do wypełnienia ankiety, na przykład „wypełnij ankietę – weźmiesz udział w losowaniu nagród”. To pewnie pomaga w zachęceniu ludzi do wypełnienia, natomiast, czy to wpływa na wyniki, które otrzymujemy?

Kilka lat temu Laura Sharp przeprowadziła badanie, w którym sprawdziła, co wpływa na to, że ludzie oszukują w ankietach. Mówiąc oszukują, nie mam na myśli efektu społecznych oczekiwań, bo czasem dostosowujemy swoje odpowiedzi do tego, co jest od nas oczekiwane, mimo iż to nie jest wartość prawdziwa.

Deklarujemy, że jemy tylko zdrowe jedzenie i słuchamy muzyki poważnej.

Wiesz, jakie to jest ciekawe? Efekt społecznych oczekiwań w badaniach polega na tym, że odpowiadamy tak, jak się nam wydaje, że jest to oczekiwane, a nie tak, jak jest naprawdę. Są określone rzeczy i czynności, których częstotliwość lubimy zawyżać – na przykład, jeśli spytasz kogoś, jak często chodzi na siłownię, to nagle okazuje się, że cały kraj chodzi na siłownię trzy razy w tygodniu. Zawyżamy też wszelkie praktyki religijne. W sytuacji odwrotnej zaniżamy odpowiedzi – jak zapytasz „jak często palisz papierosy i pijesz alkohol?”, to okaże się, że wszyscy są abstynentami. Najciekawszy wynik jest w liczbie partnerów seksualnych, bo okazuje się, że to jest coś, co kobiety w ankietach zaniżają, a mężczyźni zawyżają.

Tak podejrzewałem, że kiedyś dojdziesz do tego tematu – zastanawiałem się tylko, czy będziesz mówić o liczbie partnerów, czy o długości, czy o częstotliwości. To są miary, które rzeczywiście trochę inaczej ludzie przedstawiają w ankietach, niż jest w rzeczywistości [śmiech].

To jest właśnie jedna z nich. Wracając do wątku płacenia za odpowiedzi – moim problemem byłoby to, czy przez to, że ludzie wiedzą, że dostaną coś na końcu, nie wypełnią tej ankiety na odczepnego. Żeby były wszystkie odpowiedzi, żeby było, że wypełnili tę ankietę, a tak naprawdę nie pomyślą nawet nad tym, jak tam odpowiadają. Oczywiście mamy sposoby na to, żeby to sprawdzać, istnieje klasyfikacja oszustów ankietowych – są ludzie, którzy zawsze zaznaczą tylko pierwszą opcję, czyli we wszystkich pytaniach będziesz mieć opcję A. Są ludzie, którzy znaczą tylko opcję B, są tacy, którzy będą udawać, że wypełniają, więc będą robić takich szlaczek A,B,C,D – mamy sposoby na to, żeby to sprawdzać. Martwiłabym się o to, na ile ta nagroda nie jest aż tak zachęcająca, że może doprowadzić ludzi do tego, by udawali, że ją wypełnili.

Badania Laury Sharp, o których wspominałam, sprawdzały, które czynniki są najważniejsze dla ludzi, którzy wypełniają ankietę, a które sprawiają, że chcą jak najmniej oszukiwać i najbardziej rzetelnie wypełniają tę ankietę. Ciekawe czy zgadniesz – jak myślisz, co to jest?

Nie mam pojęcia, jakie czynniki były brane pod uwagę. Zadałaś mi pytanie otwarte i jest trudne.

Jest trudne. Odpowiedź to przydatność ankiety – to jest pierwsza rzecz, czyli czy ludzie widzą jakikolwiek sens w udzielaniu nam odpowiedzi. Drugie to, czy ankieta nadużywa naszej prywatności – a cała reszta ma mniejsze znaczenie. To są optymistyczne wyniki, bo pokazują, że bony i nagrody są dobre, ale na początku zadbajmy o to, żeby ta ankieta była po prostu dobrze skonstruowana, żeby ludzie wiedzieli, jaki jest jej cel – a to jest coś, o czym bardzo często zapominamy. Ktoś dostaje ankietę, ale nie wie po, co ją wypełnia. Ludzie lubią nam pomagać, lubią czuć się przydatni, jeśli wiedzą, że to do czegoś służy. Zadbajmy o to, żeby nie nadużywać czyjejś prywatności, żeby ta ankieta była jak najbardziej zautomatyzowana, żeby przejście przez nią było jak najprostsze i jak najbardziej przyjemne – a na końcu możemy się zastanowić na tym, czy dać jakiś bonus.

Jeśli występuję w roli odbiorcy, to dla mnie największym bonusem jest, jeśli ankieta jest po prostu dobrze skonstruowana. Co prawda jestem chora psychicznie na punkcie ankiet, ale czuję się obrażona, jeśli widzę ankietę, która została skrojona na kolanie i nikt jej nie przemyślał i nie przetestował. Najważniejsze jest to, że ankiety musimy testować – nieważne czy zadaję pięć pytań czy pięćdziesiąt, tworząc kwestionariusz ankiety, muszę zrobić badanie pilotażowe, muszę ją przetestować na rodzinie, znajomych i jeszcze wielu innych osobach, żeby mieć pewność, że gdy pójdę z nią do ludzi, to uzyskam jak najwyższej jakości dane.

Mnóstwo pytań mi się ciśnie, a szczególnie jedno, które nawiązuje do tej łatwości odpowiadania na pytania i też chyba nawiązuje do tego, czy uzyskamy rzetelne wyniki – jeżeli proszę ludzi o ocenę jakiegoś zjawiska w skali, to jaka powinna być ta skala? Od 1 do 10, 1-2-3?

W badaniach ankietowych najczęściej stosujemy skalę Likerta – to są te wszystkie skale, które idą: bardzo rzadko-zawsze.

Zdecydowanie nie-raczej nie.

Tak, dokładnie. Bardzo niezadowolony-bardzo zadowolony – ta skala czasem jest wyrażona w cyfrach, czyli od jeden do pięć. Pierwsze pytanie brzmi, czy to ma być skala parzysta? Innymi słowy, czy dać ludziom opcję odpowiedzi środkowej, pod tytułem „nie wiem, nie mam zdania”. Są różne szkoły – ja uważam, że zwłaszcza w badaniach marketingowych, ta opcja jest bardzo ważna. Oczywiście, ryzykujemy, że znajdzie się człowiek, który na wszystko odpowie „nie wiem” – trudno może tak ma w życiu, że nie wie [śmiech]. Jednak uważam, że to jest i tak znacznie lepsza opcja, niż zmuszanie ludzi do wybrania odpowiedzi, czyli zmuszenie ich, żeby się określić czy to jest 2, czy to jest 4, czy to jest 10. W mojej ocenie, ta wartość środkowa jest bardzo dobra.

Druga rzecz, to fajnie byłoby wystandaryzować te skale, żeby wszystkie wyglądały tak samo. Nasz umysł z dużą łatwością umie procesować do siedmiu cyfr, dlatego jestem zwolenniczką skali pięciostopniowej.

Co mogę zrobić, żeby zwiększyć swoje szanse na to, że ludzie wypełnią moją ankietę? Mówiłaś o tym, że jak podajesz przykłady swoich ankiet, które wypełnia 57 procent osób, to szczęki opadają – co takiego mogę zastosować, żeby ludzie wypełnili też moją ankietę? Pewne wskazówki już się pojawiły, bo jeżeli jest przydatna, to pewnie wypełnią ją chętniej – ale co jeszcze?

Jeśli jest przydatna, to weźmy pod uwagę, że to musi być jasno określone – musimy napisać we wstępie ankiety, że ta ankieta potrzebna nam jest w określonym celu, to bardzo ważne. Warto popracować trochę nad wstępem do ankiety, on nie może być za długi – jak widzę wstępy do ankiety, które mają trzy albo cztery strony, to pytam: „kto ci to przeczyta?”. Warto popracować nad tym wstępem, żeby ludzie wiedzieli, po co ją uzupełniają i żeby czuli się bezpiecznie. Możemy zapewnić ich, że ochronimy ich dane, że nie wyciekną i po co nam wszystko.

Fajnie jest powiedzieć ludziom, ile czasu zajmie ta ankieta – obecnie programy do ankiet pozwalają tworzyć paski postępu, które świetnie działają, bo człowiek widzi, ile już przeszedł i ile ma do końca. Niestety te paski postępu nie działają, jeśli mamy bardzo dużo ścieżek w ankietach, czyli tych pytań filtrujących i warunkowych. Wtedy nie jesteśmy w stanie oszacować, jak wiele pytań zostanie tej osobie zadanych. Jednak, gdy jest taka możliwość, warto to robić. Co jeszcze? Można sprawić, by ankieta na poziomie użytkownika była jak najprostsza do wypełnienia. Mam na myśli nawet czas ładowania strony czy pytania. Ostatnio miałam ankietę, w której grała muzyczka w tle – Chryste Panie [śmiech]! Na poziomie użytkownika fajnie, gdy ankieta jest ładna, ale ona przede wszystkim ma być użyteczna, ma się szybko klikać.

Dla ankietowanych fajnie, gdy ankieta jest ładna, ale przede wszystkim ma być użyteczna i łatwa w obsłudze

Ostrożnie z pytaniami obowiązkowymi. Zawsze warto się zastanowić, czy to pytanie naprawdę jest obowiązkowe i będzie nam niezbędne do analizy danych, bo czasem tak jest, że na przykład muszę mieć kluczową informację o płci, bo inaczej wszystkie moje badania są bez sensu. Ale jeśli zaznaczam, że pytanie jest obowiązkowe tylko dlatego, że tak chcę i w razie odmowy odpowiedzi będę wszystkich wkurzać ogromnym komunikatem „halo, halo pytanie piąte!”, to nie tędy droga. Jak najmniej pytań obowiązkowych.

Takie rzeczy, co zawsze działają, to personalizacja, czyli wysyłanie spersonalizowanych maili, w których tłumaczymy ludziom „hej, mamy taką ankietę – fajnie byłoby, gdybyś na nią odpowiedział”. Personalizację możemy zastosować przy przypomnieniach, czyli wysyłamy co jakiś czas przypomnienia, bo może być tak, że ktoś zapomniał albo nie miał czasu wypełnić tej ankiety – wtedy możemy do niego wrócić. To oczywiście nie zawsze jest możliwe, jeśli publikujemy ankietę na Facebooku, to nie możemy wysyłać powiadomień do konkretnych ludzi – możemy tylko non-stop ją publikować i wkurzać znajomych na Fejsie.

Wspomniałaś o urodzie ankiet, o tym, że powinny estetycznie wyglądać – tutaj też mamy przeróżne narzędzia i możliwości. Dla mnie takie skrajne przypadki to Formularze Google, które są bardzo proste, a nie są szczególnie szpetne, ale też nie są jakieś mega piękne – a z drugiej strony mamy takie narzędzie jak TypeForm, które pozwala tworzyć cudownie wyglądające ankiety z animacjami i różnymi efektami graficznymi. Jaki to ma wpływ na wyniki i chęć ludzi do wypełnienia takiej ankiety?

Chciałam przeprosić Maćka Lewińskiego, bo wiem, że on bardzo kocha Google Forms, ale nie róbmy ankiet w Google Forms – jest dużo lepszych narzędzi i nawet TypeForm, o którym wspomniałeś, w wersji bezpłatnej jest jak najbardziej wystarczający dla naszych potrzeb. Wersja płatna ma już takie bajery jak pytania filtrujące, pytania warunkowe, wideo. Ale na poziomie podstawowym każdy za darmo może z niego skorzystać. Nawet nie chodzi o to. że te ankiety wyglądają ładniej, ale w TypeForm możesz wyświetlać pytanie jedno po drugim, czyli pojawia się jedno pytanie, później pojawia się drugie. Jeśli dostaję długi formularz pytań, to mnie to nie zachęca do wypełnienia.

Ostatnio widziałam fakap – bardzo duża instytucja badawcza, Uniwersytet, który opublikował ankietę w Google Forms i nie zaznaczył opcji ukrycia danych użytkowników – weszłam na tę ankietę i z poziomu zwykłego użytkownika byłam w stanie zobaczyć indywidualne odpowiedzi ludzi, ich adresy IP, adresy email. To jest bardzo poważny błąd. A zupełnie inna kwestia, na ile narzędzie, z którego korzystamy, zapewni nam ochronę tych danych, które zbieramy. Rozumiem, że może wydawać się nieistotne to, że jakiś Józek z Bytomia powiedział nam, jak często wyprowadza psa na spacer – ale to są dane, za które jesteśmy odpowiedzialni. Gdy prosimy o wypełnienie ankiety, to składamy ludziom obietnicę, że zrobimy wszystko, żeby te dane chronić przed przypadkowymi użytkownikami internetu.

Fajnie, gdy to narzędzie jest ładne, użyteczne, szybko się ładuje, pozwala na szybkie przejścia między pytaniami – a przede wszystkim zadbajmy o to, żeby to narzędzie chroniło dane. Gdy wybieramy narzędzie, to sprawdźmy, jakie dostaniemy raporty analityczne, bo niektóre z tych narzędzi już oferują raporty wystarczające do naszych potrzeb, czyli od razu dostajemy tabelki, wykresy i wszystko tam jest – niektóre dają tylko surowe dane, więc to będzie wymagało od nas trochę więcej pracy.

Powiem Ci ciekawostkę – czytałem książkę, która ma tytuł Ask, autorem jest Ryan Levesque. Pisze tam o tym. jak pytać za pomocą ankiet i zaleca korzystanie z Google Forms, dlatego że to jest brzydkie narzędzie i jeżeli wyślesz ludzi do tak brzydkiego narzędzia, to odpowiedzą tylko te osoby, które rzeczywiście chcą ci pomóc, które są zdeterminowane – to nie będzie dla nich frajda, tylko to będzie dla nich żmudny obowiązek. To zwiększa jakość odpowiedzi, bo zależy ci na osobach, które mają jakiś problem na tyle palący, żeby przebrnąć przez Google Forms, który jest brzydki.

Ciekawa koncepcja.

Taka przewrotna trochę.

Chyba się z nią nie zgadzam – trudno oczekiwać od ludzi, że na przykład problem funkcjonowania mojej firmy będzie dla nich tak palący, że będą w stanie przebrnąć przez brzydki lub źle skonstruowany kwestionariusz.

Może właśnie specyfika tej konkretnej sytuacji wynika z książki, bo książka zakłada, że budując swój biznes, pytasz ludzi o ich problemy. Obiecujesz im rozwiązanie tego problemu, jeżeli ci go zdefiniują, więc ten problem powinien być dla nich tak palący, że jakie to nie byłoby narzędzie, to oni to wypełnią.

Muszę nad tym pomyśleć, to ciekawa koncepcja, jednak myślę, że nie we wszystkich badaniach ankietowych się sprawdzi. Przede wszystkim musimy myśleć o tym, że w chwii obecnej jesteśmy tak często proszeni o wypełnianie ankiet, że musimy ten proces ułatwiać ludziom. Szanujmy swoich ankietowanych, to jest ich czas, to są ich dane, które są nam potrzebne – więc przynajmniej zróbmy tak, żeby ten proces wypełniania naszej ankiety był jak najmniej bolesny.

Na koniec – kiedy, widząc ankietę, dostajesz szału?

Ja w ogóle mam takie hobby, że jak widzę ankietę i ją przechodzę, bo uwielbiam uzupełniać i uwielbiam patrzeć, jak to ludzie zrobili – to na końcu spisuję wszystkie błędy w tej ankiecie i wysyłam ludziom, którzy ją stworzyli. Niestety, nikt nigdy mi nie odpowiada na tego maila [śmiech]. Jeden z największych mitów badań ankietowych – ile osób potrzebuję przepytać i najczęściej ludzie odpowiadają „im więcej, tym lepiej”. Nie, znacznie ważniejsze od tego ile osób przepytasz jest to, kogo przepytasz – najważniejsza jest jakość naszej próby badawczej.

Wyjaśnię to na takim bardzo prostym przykładzie – jeśli chcę wiedzieć, jaki procent Polaków to katolicy i sprawdzę to stojąc w niedzielę pod kościołem z ankietą, pytając każdego wychodzącego stamtąd człowieka, czy jest katolikiem, to okaże się, że 98 procent Polaków to katolicy. Dwa procent to ktoś, kto się zagubił albo szukał toalety w tym kościele, kogoś żona zmusiła – ale generalnie 98 procent osób to katolicy. Jeśli będziemy zbierać dane w taki sposób i pytać niewłaściwych osób, to nieważne czy przepytam pod tym kościołem pięć milionów, pięć tysięcy, czy pięćset osób – moje wyniki nadają się do kosza.

Ile musimy przepytać osób? Najpierw skupmy się na tym, żeby przepytać właściwe osoby, czyli właśnie na przykład klientów naszej firmy, a nie przypadkowych ludzi na Facebooku – a później zastanawiajmy się, ile ich potrzebujemy. Statystycznie rule of thumb jest taka, że trzysta odpowiedzi to jest coś, co dam nam już fajne wyniki. Najważniejsze jest to, żebyśmy wybierali właściwe osoby i nie wybierali próby badawczej sugerującej nam określone odpowiedzi, tak jak ten człowiek stojący pod kościołem.

Co jeszcze mnie wkurza? Podwójne pytania – to też jest coś, co często widzę w ankietach, na przykład „czy lubisz psy i koty?”. A co, jeśli lubię psy, a nie lubię kotów? Albo „jak często korzystasz z radia i telewizji?”, z radia wcale, a z telewizji raz w tygodniu. To też jest błąd, który bardzo często widzę w ankietach. Kolejny to kafeteria i to jest coś, co ty zrobiłeś w swojej ankiecie, kiedy kategorie odpowiedzi się zazębiają, czyli na przykład „ile masz lat?” i masz odpowiedzi od 0 do 10, od 10 do 25.

Naprawdę tak zrobiłem?

W jednym miejscu. Twój przypadek nie jest ekstremalny, ale to się bardzo często zdarza w pytaniu o wiek, gdzie te kategorie się okropnie zazębiają, gdy mam 30 lat i pasuję do dwóch kategorii. Denerwujące są jeszcze wszelkie pytania, które wymagają ode mnie doskonałej pamięci, a mogę nie pamiętać, co robiłam w zeszłym tygodniu o ósmej rano albo takie, które wymagają ode mnie bardzo dokładnych danych, że muszę zamknąć komputer i iść sprawdzić jakiś numer, rachunek. Konstruując ankiety, zastanówmy się, na ile wszystkie pytania są niezbędne, przetestujmy je na jak największej grupie osób, żeby mieć pewność, że gdy wysyłamy ankietę w świat, to szanuję swojego odbiorcę i sprawiam, że proces przejścia przez ankietę jest jak najszybszy, jak najprostszy i jak najbardziej przyjemny.

I obyśmy takich ankiet widzieli wokół siebie jak najwięcej. Bardzo dziękuję ci za rozmowę.

Bardzo ci dziękuję.

Na stronie zostały wykorzystane linki afiliacyjne. Jeżeli wejdziesz przez nie na stronę sprzedawcy i dokonasz zakupu, sprzedawca podzieli się ze mną częścią swojej marży (nie wpływa to na twoją cenę). Wymieniam wyłącznie te produkty i usługi, z których rzeczywiście korzystam i jestem z nich zadowolony.