Приклад 3. Викладачі університетів

Некоректне формулювання

Помилка: множинність інтерпретацій.

Під "університетом, який закінчували" можна розуміти університет, у якому опановано бакалаврську програму, програму спеціаліста, магістерську програму або й аспірантуру (рідше докторантуру). Для когось із респондентів "університет, який закінчували" – це той, де навчався найдовше; для іншого – той, де була остання навчальна програма; ще для когось – той, де навчався, займався дослідницькою роботою хоча б на одній із цих програм. Хтось із викладачів у такій ситуації візьме до уваги лише рівень освіти до магістра включно, а хтось ще й аспірантуру або докторантуру.

У викладачів, які працюють за сумісництвом або погодинно, можлива множинна інтерпретація часових рамок запитання. Під "викладаєте" можна зрозуміти конкретний семестр, діапазон у кілька років, в один календарний або навчальний рік, і від цього залежатиме відповідь. Наприклад, в осінньому семестрі людина за сумісництвом викладає в університеті, у якому не навчалася на жодній програмі, а у весняному – у тому, який закінчувала. Якщо опитування проводять восени, такий викладач має відповісти "так" чи "ні" на це запитання?

Окрім часових рамок є ще один аспект множинної інтерпретації. Наприклад, респондент час від часу викладає за сумісництвом в університеті, який закінчував, а також є штатним викладачем іншого вищого навчального закладу. Така людина може відповісти заперечно, маючи на думці лише основне місце роботи або, навпаки, ствердно, навіть якщо лише раз на кілька років викладає за сумісництвом в університеті, де колись навчалася.

Можливий варіант коректного формулювання

Нехай опитування проходить при зустрічі, тобто інтерв'юер звертається до респондента-викладача в конкретному вищому навчальному закладі.

Приклад 4. Зайнятість

Некоректне формулювання

Помилки:

• одночасно можливі кілька варіантів відповідей, але респондентові не запропоновано обрати кілька відповідей (у професійній лексиці таку проблему позначають як "сумісні альтернативи" або "сумісні варіанти відповідей");
• перелік варіантів відповідей не є вичерпним (аналогічно "альтернативи не є вичерпними" або "варіанти відповідей не є вичерпними").

Третій сектор тому й називають третім, оскільки розрізняють саме три основні сектори зайнятості. Як же могло трапитися, що наш перелік не є вичерпним?

Людина могла на платній основі виконувати роботу для приватної особи. За логікою класифікації такий вид діяльності можна зарахувати до бізнесового, але цей варіант не був представлений у поясненнях у дужках.

У варіантах відповідей також не взяті до уваги міждержавні організації, наприклад Організація Об'єднаних Націй. їхній статус відмінний від державного, й працівники таких установ зазвичай це усвідомлюють і відповідно не вважають себе працівниками державного сектору.

Також нині є підприємства, які складно віднести до певного одного сектору. Наприклад, частина підприємства може бути в державній власності, частина – у приватній. Для таких випадків можна додати категорію "Інше".

Як можливі кілька варіантів відповідей? Уявімо таку ситуацію. Правник на чверть ставки працює над різними правовими темами в державній науково-дослідній установі: саме там оформлена його/її трудова книжка. Та сама людина також працює експертом у проектах громадської організації та надає платні юридичні послуги компанії. Якщо потрібно обрати один варіант відповіді на таке запитання, як наведено вище, то зовсім не зрозуміло, що обрати. Той сектор, де оформлена трудова книжка? Той сектор, на роботу в якому було витрачено найбільше часу впродовж останнього року? Чи той сектор, на роботу в якому було витрачено найбільше часу впродовж останнього місяця? Можливо, той сектор, робота в якому забезпечила найбільшу частку в доходах цієї людини за останній місяць?

Інший приклад: психолог працює на півставки в університеті, а також проводить платні психологічні тренінги для різних компаній. Отже, людина задіяна у двох секторах: державному та бізнесовому.

У сучасному світі, як в Україні, так і в інших суспільствах, такі ситуації не є винятками. Тож потрібно або конкретизувати запитання про сектори зайнятості, або дозволити респондентам обирати кілька варіантів відповідей.

Понад те, варто взяти до уваги, що деякі люди професійно задіяні в третьому секторі або в державному на громадських засадах. Якщо нас цікавить лише оплачувана робота, то про це теж варто зазначити в запитанні.

Можливий варіант коректного формулювання

Приклад 5. Вступ до НАТО

Розгляньмо два приклади запитань про вступ до НАТО.

Приклад 5-А

Некоректне формулювання

Помилки:

• формулювання запитання схиляє до певної відповіді;
• можлива множинна інтерпретація через...
- брак конкретизації часових рамок;
- іншомовне слово, що може бути зрозумілим не всім категоріям респондентів ("ескалація").

По-перше, формулювання запитання не є нейтральним. Адже преамбула до запитання містить аргумент проти посилення співпраці з НАТО.

По-друге, дехто з респондентів може вважати, що Україні варто посилювати співпрацю з НАТО в перспективі, але не зараз. Частина таких респондентів дадуть ствердну відповідь, частина – заперечну, хоча насправді їхні погляди однакові, просто різна інтерпретація часової орієнтації запитання.

По-третє, наскільки можливо, варто уникати слів, що не є вживаними повсякденно. Якщо опитування репрезентативне для населення України загалом, не всім респондентам буде зрозумілим іншомовне слово "ескалація". Людині може бути ніяково визнати, що вона не певна щодо значення слова, а відтак вона відповість навмання.

Можливий варіант коректного формулювання

Додаткове запитання для тих респондентів, які відповіли "ні" або "важко сказати" щодо посилення співпраці України з НАТО зараз.

Приклад 5-Б

Некоректне формулювання

^[1]

Помилки:

• шкала відповідей асиметрична, а отже, не е нейтральною;
• варіанти відповідей не е гендерно коректними;
• заперечне формулювання запитання підвищує імовірність множинної інтерпретації.

Серед варіантів відповідей ми маємо дві ствердні ("Цілком згоден" та "Радше згоден", одну заперечну ("Не згоден") та одну невизначену ("Важко сказати"). Така шкала схиляє до вибору ствердної відповіді.

Формулювання відповідей орієнтовані на респондентів чоловічої статі ("Згоден"). Як було показано в розділі 5, є кілька способів нейтрального формулювання запитання, що однаковою мірою підходитимуть і жінкам, і чоловікам. У цьому разі замість "Згоден" можна було б зазначити або "Погоджуюся", або "Згоден/Згодна".

Насамкінець, але не менш важливо: експериментальні опитування засвідчують, що наявність заперечення у формулюванні запитання ("не варто зараз посилювати") збільшує неточність відповідей. Проблема в тім, що частина респондентів не зосереджують уваги на заперечній частці "не", а отже, є підвищена ймовірність множинності інтерпретацій запитання просто через неуважність. Як ми вже знаємо, множинність інтерпретацій потрібно мінімізувати. Тому запитання варто формулювати завжди ствердно.

Ще менш точні результати дають заперечні запитання зі спрощеними варіантами відповідей. Уявімо, що для цього самого запитання варіантами відповідей були б просто "Так", "Ні", "Важко сказати". Одні респонденти позначали б "Ні", маючи на думці "Ні, не варто посилювати", інші – "Ні, не погоджуюся: варто посилювати", тобто вибирали б ту саму відповідь, маючи протилежні погляди.

Ще більшою помилкою є подвійні заперечення в запитанні. Наприклад, "Чи не згодні Ви з тим, що Україні не варто зараз посилювати співпрацю з НАТО?". На таке запитання можна відповісти "Ні", маючи на думці протилежне: "Ні, не варто посилювати" або "Ні, варто посилювати". Аналогічна ситуація з відповіддю "так".

Тому важливо уникати будь-яких заперечних формулювань, а тим паче подвійних заперечень.

Можливий варіант коректного формулювання

Варто додати, що сам порядок варіантів відповідей теж може впливати на вибір респондентів: відповіді обиратимуть трохи частіше, якщо вони запропоновані серед перших, а не останніх. Неможливо точно сказати, наскільки велике значення має порядок відповідей: якщо респондент має чітку позицію, то порядок відповідей неважливий; однак якщо над цим питанням людина раніше не задумувалася, то підсвідомо перші відповіді може сприйняти як "більш правильні".

Можна нейтралізувати вплив порядку варіантів відповідей, змінюючи його для різних респондентів. Наприклад, якщо респонденти заповнюють анкети самостійно, ми завчасно ділимо репрезентативну вибірку на дві однакові за розміром репрезентативні підвибірки та подаємо в них порядок варіантів відповідей дзеркально: в одній підвибірці спершу будуть наведені ствердні відповіді, а в іншій – заперечні. У сукупності тенденційність у відповідях буде взаємно компенсована, й у підсумку ми зможемо отримати максимально точний результат.

Якщо йдеться про значну кількість варіантів відповідей в опитуваннях при зустрічі, то може постати потреба в ротації порядку, у якому вони наведені. Наприклад, в електоральних опитуваннях прийнято забезпечувати ротацію варіантів відповідей у картці^[2], дивлячись на яку респондент обирає політичну партію подібно до того, як обиратиме її у виборчому бюлетені. Це роблять для того, щоб уникнути зміщення результатів опитування на користь тих партій, що наведені ближче до початку списку^[3].

Отже, підіб'ємо підсумки, на що потрібно звернути увагу, щоб уникнути найпоширеніших помилок при формулюванні анкетних запитань^[4].

• Чи можливо, щоб різні респонденти по-різному зрозуміли запитання? Інакше кажучи, чи можлива множинна інтерпретація самого запитання або варіантів відповідей до нього?

Множинна інтерпретація виникає через брак конкретизації окремих понять, часових, географічних та інших аспектів. Імовірність множинності інтерпретацій має бути виключена або принаймні мінімізована.

• Чи можливо, що дехто з респондентів не знайде відповіді, яка чітко відповідає його/її досвіду або поглядам? Інакше кажучи, чи є перелік відповідей вичерпним?

Якщо після ретельних роздумів і тестування анкети є бодай найменші сумніви щодо вичерпності варіантів відповідей у певних запитаннях, варто просто додати варіант "Інше (зазначте, будь ласка): _______________". Це зніме ризики викривлених результатів^[5].

• Чи не містить запитання або преамбула до нього інформації, що схиляє до обрання певних варіантів відповіді? Чи не містять вони аргументів на підтримку певного погляду? Інакше кажучи, чи є формулювання запитання нейтральним?
• Чи не переважають негативні або позитивні оцінки серед варіантів відповідей? Чи в одному стилі сформульовані позитивні та відповідні їм негативні оцінки? Інакше кажучи, чи є шкала відповідей симетричною? Асиметричність може спричинити викривлення результатів.
• Чиє ствердним формулювання запитання? Щоб мінімізувати непорозуміння при відповідях, формулювання мають бути саме у ствердній, а не заперечній формі.
• Якщо серед респондентів і жінки, і чоловіки, чи сформульовані запитання таким чином, що відповідає людям обох статей?
• Чи всі слова в запитанні та варіантах відповідей зрозумілі для всіх респондентів? Якщо ні, то необхідно або замінити слово на більш широковживане, або включити пояснення тих понять, які можуть бути незрозумілими.
• Чи зазначено чітко, скільки саме варіантів відповідей може обирати респондент, відповідаючи на запитання? Лише один? Усі доречні? Чи не менше й не більше за певну кількість^[6]? Якщо цього не зазначити, збільшується ймовірність того, що респонденти по-різному інтерпретуватимуть можливості вибору відповідей на одне й те саме запитання. Інтерпретація принаймні частини з них не збігатиметься з очікуваннями авторів запитання^[7].

[1] В опитуваннях літературне слово "радше" часто заміняють на лексично некоректне "скоріше", оскільки останнє є широковживаним у побутовій мові, а перше може бути незрозумілим деяким респондентам, які не володіють добре літературною українською мовою.
[2] Є кілька карток (нехай чотири), у яких партії наведені в різній послідовності. Інтерв'юер щоразу міняє картку від респондента до респондента, поки не використає всі чотири. З наступною четвіркою респондентів аналогічно. Загалом кожна картка буде використана однакову кількість разів. Така процедура допомагає уникнути або принаймні зменшити кількість штучних зміщень відповідей на користь партій на початку переліку.
[3] Якщо у виборчих бюлетенях назви партій планують перелічити за абеткою, то так само їх наводять і в передвиборчих опитуваннях громадської думки. Але в бюлетенях назви партій можуть наводити не за абеткою, а за результатами жеребкування, яке проводять незадовго до виборів. Тож, поки порядок партій у бюлетені невідомий, для вищої точності результатів потрібна ротація в переліку.
[4] Варто наголосити, що цей перелік не вичерпує всіх пасток у розробці анкет. Повному огляду необхідно було б присвятити окрему книгу, причому розглянути в ній не лише формулювання запитання, а й те, які запитання були поставлені перед ним. Експериментальні опитування переконливо показують: те, які запитання передували, може суттєво впливати на вибір відповіді.
[5] У деяких ситуаціях доречно додати до варіантів відповідей "Важко сказати" та/або "Жодне з переліченого вище". Однак лише "Інше (зазначте, будь ласка):___________" дає нам шанс з'ясувати, якою саме є думка респондента.
[6] У професійних опитуваннях, особливо тих, де ставлять чимало запитань поспіль, часто виділяють прохання обирати певну кількість відповідей великими літерами, курсивом абощо. Наприклад: "Будь ласка, оберіть ЛИШЕ ОДНУ відповідь", "Будь ласка, оберіть НЕ БІЛЬШЕ НІЖ ТРИ варіанти відповідей".
[7] Читачам, зацікавленим у докладнішій інформації про формулювання запитань і віял відповідей в анкетах, буде корисним такий посібник: Паніна Н. Б. Технологія соціологічного дослідження: курс лекцій / Наталя Вікторівна Паніна; наук. ред. В. І. Паніотто; НЛН України, Інститут соціології, Вища школа соціології. – 2-ге вид., допов. – К., 2007. – 320 с.