Як і навіщо досвідчені фахівці тестують анкети?

Хоч би які висококласні фахівці розробляли анкету, всі нові запитання важливо тестувати (проводити їх апробацію), оскільки є ризик, що сприйняття запитань і варіантів відповідей респондентами виявиться відмінним від сприйняття дослідників і замовників. Якщо таку відмінність вчасно не помітити, інтерпретація результатів опитування буде хибною. Понад те, інтерпретація запитання може різнитися серед генеральних сукупностей, тому тестування варто робити не лише для нових запитань, а й для раніше апробованих, якщо їх планують запропонувати новій генеральній сукупності респондентів.

Тестування анкети аж ніяк не є ознакою браку досвіду або непрофесійності тих, хто її складали. Навіть найдосвідченіші фахівці з опитувань, які ретельно планують кожне запитання, здійснюють тестування до запуску опитування. Як відбувається таке тестування? У його найпростішій версії учасників апробації просять відповісти на запитання анкети, а потім цікавляться, чи все було зрозуміло, чи викликали дискомфорт якісь запитання або варіанти відповідей, на які запитання було відповісти найважче та чому. Можна вчинити інакше: просити учасників не лише ділитися будь-якими враженнями щодо запитань і варіантів відповідей під час заповнення анкети, а й думати вголос над кожним запитанням або давати розгорнуту відповідь на додачу до обраного варіанта.

Скільки респондентів мають узяти участь у такому тестуванні? Нетривіальність анкети та культурне розмаїття генеральної сукупності спонукають дослідників збільшувати кількість учасників тестування до кількох десятків. І навпаки, чим типовіші запитання та чим менше культурне розмаїття генеральної сукупності, тим менше людей доцільно залучати до тестування.

Чому немає чітких критеріїв щодо кількості учасників тестування? Річ у тім, що для однозначної певності потрібно було б задіяти надто багато людей. Повноцінне тестування може виявитися настільки ж дорогим, як і саме опитування, для якого його проводять. Тому, приймаючи рішення щодо масштабу тестування нових запитань, доводиться шукати компроміс між впевненістю у вдалості формулювань й ощадливістю використання коштів.

У разі звичних запитань та добре знайомої генеральної сукупності, якщо 3-5 різнопланових респондентів узяли участь у тестуванні фахово розробленої анкети й жодних проблем не виявлено, її можна вважати прийнятною. Якщо виявлено, то тестування варто повторити, щоб пересвідчитися, чи не вкралася нова помилка на місце старої (у такому разі загальна кількість учасників тестування буде більшою ніж 3-5). Під різноплановістю в цьому контексті розуміють належність до різних субкультур, різні освіту, вік і стать – будь-які соціальні характеристики, через які сприйняття змісту запитань і варіантів відповідей може різнитися.

У масштабних дослідженнях, де задіяні значні ресурси, дослідники й замовники воліють зменшити ризики навіть для типових анкет і лік ведеться на десятки учасників. Однак навіть у таких проектах він не переходить із десятків у сотні, якщо йдеться про опитування в межах одного суспільства^[1]. Якщо ж ми проводимо опитування, скажімо, в 10 країнах 12 мовами, то не виключено, що в підсумку доведеться залучити до тестування кількасот осіб – по кілька десятків кожною мовою.

Опанувавши матеріал цього та попередніх розділів, читачі зможуть значно впевненіше й ефективніше спілкуватися з фахівцями, яким хотіли б замовити дослідження. Адже вже знатимуть як базову термінологію, так і ключові аспекти логіки соціальних досліджень. Утім, є низка інших спеціалізованих питань, із яких варто почерпнути базову інформацію, щоб почуватися максимально комфортно при обговоренні свого потенційного замовлення з планування й виконання дослідження: з чого почати розмову, що впливає на вартість, де та як шукати фахових дослідників. Саме про це – наступний розділ нашої книжки.

• [1] Кількасот респондентів можуть бути залучені до тестування анкети в межах одного суспільства, якщо його поєднують із пілотним (пробним) дослідженням; розгляд таких тестувань є поза межами цілей цього видання.