У чому складність формулювання запитань анкети?

У фокус-групах і глибинних інтерв'ю учасники дослідження надають розгорнуті відповіді, а отже, малоймовірно, що залишаться непоміченими непорозуміння, коли інтерв'юер питає про одне, а респондент говорить про інше. У неформалізованому інтерв'ю якщо інтерв'юери не отримують потрібної інформації, то мають можливість перефразувати запитання, поставити додаткові, уточнювальні. Однак імпровізація є неприйнятною у формалізованих інтерв'ю, які проводять за допомогою анкет.

На перший погляд здається, що це дає переваги, а не створює проблеми. Адже робота інтерв'юера спрощується: не потрібно уважно вдумуватись у відповіді респондентів і на ходу адаптовувати сценарій розмови до кожного з них. Але дослідницька дійсність складання анкет, виявляється, не лише не "безхмарна", а й настільки "похмура", що існують книги в кілька сотень сторінок про складання запитань анкет^[1]. У чому ж складність? Про що може йтися в тих товстих книгах?

• • По можливості всі респонденти мають однаково зрозуміти запитання та варіанти відповідей до нього^[2].
• • Для кожного з респондентів має знайтися той варіант відповіді, який точно відображає його/їі погляди або досвід.
• • Якщо можна обрати лише один варіант відповіді, то не має бути кількох варіантів, що точно відображають погляди або досвід респондента. Інакше кажучи, варіанти відповідей мають бути взаємовиключними в тих запитаннях, у яких респондент мусить обрати один варіант відповіді (на відміну від запитань, де допустимий множинний вибір).
• • Формулювання ані запитання, ані відповіді не має схиляти респондента до певного вибору, позиціонуючи його як більш привабливий, бажаний.
• • Чутливі запитання мають бути сформульовані таким чином, щоб якомога більше людей погодилося щиро відповісти.
• • Фахові дослідники мають бути свідомими того, як навіть незначні зміни у формулюваннях запитань можуть вплинути на результат опитування. Відповідно вони вивчають результати експериментальних опитувань, у яких були протестовані різні формулювання того самого запитання, та проводять власні.

Хрестоматійним прикладом останнього стало експериментальне репрезентативне опитування, проведене в США у 1940-х роках^[3]. На репрезентативних вибірках було протестовано дві версії запитання.

Версія 1. "На Вашу думку, чи мають бути заборонені в США публічні виступи проти демократії?" 54% респондентів відповіли, що мають бути заборонені.

Версія 2. "На Вашу думку, чи мають бути дозволені в США публічні виступи проти демократії?" 75% респондентів зазначили, що такі виступи не мають бути дозволені.

У відповідях і 54% респондентів, і 75% йшлося про той самий практичний наслідок: у США публічні виступи проти демократії були б нелегальними, але різниця у відповідях становила майже 26%, ніби йшлося про вельми різні практичні наслідки. Оскільки анкети зазвичай містять лише одну версію запитання, необережні, нефахові або зумисно маніпулятивні формулювання можуть

спричинити чимало непорозумінь у суспільстві, якщо тематика опитування є суспільно значущою.

Інший хрестоматійний приклад: чимало експериментальних опитувань засвідчило, що коли поміж варіантів відповідей є "важко сказати", то кількість респондентів, які зазначають, що вагаються, суттєво більша порівняно з тими результатами, у яких "важко сказати" не було серед варіантів і було реєстровано як відповідь лише тоді, коли респондент казав, що йому/їй важко обрати з-поміж запропонованих варіантів^[4].

Виклик у формулюванні запитань анкети можна показати на прикладі, дуже близькому до повсякдення громадських організацій. Уявімо, що велику грантодавчу організацію зацікавило, який відсоток організацій-грантерів оприлюднює річні звіти на своїх сайтах. У базі даних є контактна інформація всіх 358 організацій, які були грантерами впродовж останніх трьох років. Щоб не передивлятися понад 300 Інтернет-сторінок, вирішують провести невеличке анонімне Інтернет-опитування, розіславши запрошення до участі на електронні адреси, зазначені в базі. Нашвидкуруч формулюють запитання: "Скажіть, будь ласка, чи оприлюднює Ваша громадська організація річні звіти на своєму сайті?"; створюють сторінку^[5], на якій можна анонімно відповісти "так" або "ні", і просять зробити це за відповідним посиланням. Відповіді надходять швидко, й вони здебільшого ствердні: "Так, оприлюднюємо". Здавалося б, усе зрозуміло. Але тут автори опитування замислюються: "Річні звіти громадських організацій бувають описові й фінансові. Під річним звітом можна розуміти або такий, що включає як описову, так і фінансову частини, або такий, що містить будь-яку з них. Може, хтось публікує описовий, але не фінансовий? Або навпаки? Варто було спитати окремо про описовий і фінансовий, а не про звіт загалом..."

Однак брак уточнення типу річного звіту не єдина проблема у формулюванні цього запитання. Людина, яка вміє фахово формулювати запитання для опитувань, звернула б увагу й на інше: різні організації могли по-різному сприйняти часовий аспект запитання. Інакше кажучи, воно сформульоване настільки загально, що неможливо зрозуміти, що саме стоїть за відповідями на нього не лише з огляду на тип звіту, а й у часовому вимірі.

Уявімо, що певна громадська організація час від часу оприлюднює той чи інший вид річного звіту, хоча й не щороку. Керівник ГО цілком закономірно вважає її такою, що публікує щорічний звіт, адже в запитанні не уточнено, чи оприлюднюють звіт щороку. Можливо, вона це робить лише в ті роки, коли діяльність була особливо активною. Тож має повне право щиро відповісти "так" на поставлене запитання.

В іншій організації, навпаки, команда оприлюднила звіт того року, коли було більше часу в керівника, але в наступні кілька років усі були перевантажені, тож звіт так ніхто й не підготував. Третя організація опублікувала звіт за минулий рік, оскільки таку вимогу висунув один із донорів, на розгляд якому подавали один із проектів, але ГО не планує повторювати цю практику в майбутньому, бо вважає, що час треба максимально витрачати на результативну проектну діяльність, а не звітність. Будь-яка з таких організацій могла щиро відповісти "так" на запитання про оприлюднення річних звітів, адже зробила це бодай один раз.

Однак це не означає, що всі, хто відповіли заперечно, не опублікували звіт жодного разу. Адже інші громадські організації могли інтерпретувати запитання, навпаки, більш вузько. Наприклад, ГО оприлюднювала річний звіт 10 років поспіль, але якраз торік не зробила цього (усі були перевантажені, за рік було реалізовано багато проектів, підсумки хотіли підбити, але поки що не знайшли часу цим зайнятися). Експрес-опитування грантодавця змушує пригадати, що звіт так і не оприлюднили, тож представник організації відповідає заперечно: "Ні, не оприлюднюємо", маючи на думці, що тимчасово призупинили цю практику.

У підсумку за відповідями респондентів стоїть таке розмаїття інтерпретацій і реальних ситуацій оприлюднення та неоприлюднення звітів, що результати опитування є малоінформативними. Відповідно фахове складання анкет, зокрема, передбачає розуміння різноманіття інтерпретацій, яке може виникнути в респондентів, коли вони відповідатимуть на запитання, і вміння так конкретизувати запитання, щоб мінімізувати ймовірність множинних інтерпретацій.

• [1] Прикладами популярних англомовних видань можуть слугувати: Survey Questions: Handcrafting the Standardized Questionnaire [Sage University Papers Series, Quantitative Applications in the Social Sciences] / Jean. M. Converse, Stanley Presser. – Sage Publications, Inc., 1986. – 80 p.; Asking Questions: The Definitive Guide to Questionnaire Design — for Market Research, Political Polls, and Social and Health Questionnaires / Norman Bradburn, Seymour Sudman, Brian Wansink. – Jossey-Bass; John Wiley & Sons, Inc., 2004. – 426 p.; Methods for Testing and Evaluating Survey Questionnaires [Wiley Series in Survey Methodology] / Ed. by Stanley Presser, Jennifer M. Rothger, Mick P. Couper, Judith T. Lessler, Elizabeth Martin, Jean Martin, Eleanor Singer. – Wiley-Interscience; John Wiley & Sons, Inc., 2004. – 606 p. На жаль, жодного подібного видання в Україні поки що немає.
• [2] Тут і далі в цьому підрозділі виходитимемо з того, що в анкеті не всі запитання відкриті, тобто є бодай одне з варіантами відповідей.
• [3] Schuman Н. Survey Research / Howard Schuman // Encyclopedia of Sociology / Edgar F. Borgatta, editor-in-chief; Rhonda). V. Montgomery, managing editor. – 2nd ed. – V. 5. – Macmillan Reference, 2000. – P. 3089.
• [4] Там само.
• [5] Наприклад, за допомогою безкоштовного інструменту Google Form, який дає змогу швидко створити Інтернет-сторінку з анкетою й відкрити доступ до неї лише тим, хто отримав запрошення від дослідників.