Оцінюєте якість консультацій? Оберіть експеримент!

Третій сектор в Україні нерідко здійснює моніторинг роботи органів державної влади та місцевого самоврядування, зокрема їхніх консультаційних послуг. Найефективнішим методом оцінки якості консультацій є саме експеримент^[1]: спеціально підготовлені учасники дослідницької групи звертаються по консультаційні послуги, як і будь-хто інший, кому консультація справді необхідна. Вони фіксують її перебіг за наперед розробленою методикою. Зважаючи на популярність моніторингових проектів, окрему увагу приділимо перевагам експерименту над репрезентативним опитуванням для таких проектів та деяким застереженням щодо його планування.

У чому переваги експерименту порівняно з репрезентативним опитуванням реальних клієнтів, які отримали консультаційні послуги, бо дійсно їх потребували?

По-перше, експеримент надає можливість оцінити фаховість, зміст консультації. Експеримент може проводити підготовлена людина, компетентна в тематиці консультації. Експериментатор знає, якою мала б бути "ідеальна" за змістом консультація. Натомість реальні клієнти, які відповідають на запитання анкети, мало обізнані в питаннях, із яких їх консультували (інакше їм була б не потрібна консультація), а отже, оцінюють не так зміст консультації, як інші її аспекти.

Уявімо таку ситуацію. Клієнт задоволений консультацією: можливо, у нього залишилося враження, що до нього уважно поставилися й надали детальну інформацію; можливо, його обнадіяли, що проблему дуже легко вирішити. Він/вона позитивно оцінює консультацію в анкетному опитуванні. Однак фахівець, знаючи зміст консультації, може виявити, що насправді консультант надав хибну інформацію й ефективного, реалістичного вирішення проблеми не запропонував. Можна ввічливо й привітно надавати вельми неякісні послуги. Непідготовлена людина оцінюватиме консультацію здебільшого за стилем спілкування, бо вона не орієнтується в питаннях, із яких її консультують. Натомість підготовлена зможе оцінити саме зміст консультації, а не лише стиль.

Протилежний приклад. Клієнтові пояснили, що проблему неможливо вирішити в той спосіб, на який він сподівався. При цьому консультація була цілком фаховою та коректною за стилем, але розчарування ситуацією, у яку він потрапив, позначилося на сприйнятті самої консультації. Як наслідок – людина відповідає в анкетному опитуванні, що консультацією вона не задоволена й консультант їй не допоміг (це правда, але це не є оцінкою якості роботи консультанта).

По-друге, експеримент дасть змогу виявити цілком конкретні проблемні аспекти консультаційних послуг, а не просто дати оцінки "добра консультація – погана", "послугою задоволені – не задоволені". Коли ми проводимо фаховий експеримент, маємо модель, із якою порівнюємо реальну консультацію. Маючи ідеальну модель, експериментатор чітко вкаже, чим реальна консультація відрізнялася від ідеальної як за змістом, так і за стилем.

По-третє, експеримент, проведений підготовленою людиною, дасть змогу відмежувати суб'єктивні враження від фактів при оцінці консультації, а також ретельно зафіксувати як перше, так і друге. Суб'єктивні враження зручно виявляти завдяки анкетуванню: людина легко висловить загальне суб'єктивне враження (сподобалося – не сподобалося, добре – погано). Виявити факти, коли досліджувана ситуація вже завершена, значно складніше: клієнт міг не звернути уваги на ці факти під час консультації, а отже, інформація буде менш точною. Наприклад, людина не подивилася на годинник, коли почалася консультація й коли завершилася, тому, не може назвати точну її тривалість.

Розглянемо більше прикладів. "Консультант не був ввічливим" – це суб'єктивне враження (оціночне твердженняJ. Консультант не привітався; конкретні фрази, які прозвучали, – це факти (фактуальні твердження)^[2]. "Нам не приділили достатньо часу" – це суб'єктивне враження. Консультація тривала 12 хвилин – це факт. Консультант розповів про аспект А проблеми, але не аспект Б – це встановлений експериментатором факт.

Підготовлені експериментатори розуміють відмінність між суб'єктивними та об'єктивними показниками якості консультації та фіксують їх відповідним чином. Зайве казати, за звичайних обставин клієнти не фіксують із таймером час очікування й час консультування; не занотовують, чи привіталися з ними, чи дякували їм, чи перепросили тощо, – вони лише намагаються пригадати, як усе відбулося, якщо їх про це запитати. Натомість усі ці аспекти консультування ретельно фіксуватиме експериментатор, а отже, зібрані дані точно відповідатимуть дійсності^[3].

Розмежування суб'єктивного й об'єктивного дуже важливе для справедливої оцінки. Ми всі різні, а отже, по-різному можемо сприймати одне й те саме. По-різному реагуємо на інтонацію, голос і зовнішність співрозмовника. Понад те, маємо різні очікування щодо "нормальної", або "задовільної", тривалості консультації, часу очікування в черзі (у разі телефонних консультацій часу, впродовж якого можна додзвонитися), умов очікування або консультування. Хтось призвичаєний до стресового стилю спілкування й може не звернути уваги на те, що консультант розмовляв підвищеним тоном. Хтось, навпаки, чутливий до найменшого роздратування. Одні легко й швидко сприймають інформацію, іншим потрібен значно повільніший темп консультування. Наші очікування щодо "норми" накладають відбиток на наші враження. Якщо очікування дуже низькі, ми будемо вельми задоволені тим, що насправді не мало високого рівня. Якщо очікування дуже високі, можемо дати виразно негативну оцінку тому, що було цілком добрим.

Отже, опитуючи реальних клієнтів, які отримали певну консультацію, ми можемо довідатися про їхнє сприйняття консультації, але не можемо оцінити її зміст та отримати точну інформацію. Натомість завдяки ретельно спланованому експерименту можемо порівняти ідеальну модель із реальною консультацією, а відтак надати фахову, аргументовану або хоча б підкріплену аргументами оцінку її якості за чітко визначеними критеріями.

Однак, як і будь-який інший метод, оцінка якості консультації спеціально підготовленим експериментатором має не лише переваги, а й обмеження. Розгляньмо ключові з них.

По-перше, консультація може прозвучати цілком адекватно для підготовленого експериментатора, але бути недостатньо зрозумілою для людини непідготовленої. Якщо є сумніви в зрозумілості консультації для так званого пересічного громадянина, потрібна додаткова модифікація експерименту: щоб експериментаторами були як фахівці, так і необізнані в тематиці люди різного рівня й типу освіти, які повідомлятимуть фахівцеві, що саме вони зрозуміли в результаті консультації, а фахівець порівнюватиме їхню розповідь із тим, що в ідеалі мав би знати клієнт після консультації.

По-друге, на якість консультації може впливати особистість експериментатора. Адже на поведінку консультанта може впливати те, як поводиться клієнт: наскільки впевнено людина тримається, наскільки привітно, як вона вдягнена, скільки їй років, якої статі тощо. Тож в ідеалі, якщо дозволяють ресурси, у команді експериментаторів варто мати людей різного віку, статі, а в деяких випадках навіть запланувати вбрання різного стилю: формальне й неформальне, дороге й дешеве. В умовах обмежених ресурсів, коли немає можливості залучити різних експериментаторів і провести відповідну кількість експериментів, необхідно принаймні бути свідомими можливого впливу експериментатора на якість надаваної йому або їй консультації.

По-третє, потрібна обережність у плануванні часу й кількості експериментів. Наприклад, в установі можуть працювати З консультанти високого рівня, 1 – середнього та 1 – низького. Якщо в результаті експерименту будуть зроблені висновки щодо консультаційної роботи установи загалом, необхідно спланувати експерименти таким чином, щоб отримати бодай по одній (бажано по кілька) консультації в кожного з працівників.

Отже, ми пересвідчилися, що експеримент, як і будь-який інший метод, має свої переваги й обмеження. Однак усе ж таки є низка причин, із яких варто віддати перевагу спостереженню й експерименту, якщо це можливо.

• • Проводячи інтерв'ю, ми можемо зафіксувати лише те, що люди розповідають нам про свій досвід, а не те, що відбулося насправді. Пригадуючи власний досвід, респонденти можуть забути чи сплутати деталі або й свідомо не надати інформації, яка, на їхню думку, представляє їх у негативному світлі.
• • Дослідники наперед визначають низку деталей, на які потрібно звернути увагу в процесі спостереження. Людина, яка була свідком ситуації без дослідницької мети, могла просто не звернути уваги на деталі, важливі для дослідження.
• • Людині, яка була свідком ситуації без дослідницької мети, легше давати оціночні судження (наприклад, довго чи швидко, багато присутніх чи мало), ніж фактуальні (скільки саме часу це зайняло, скільки саме людей були присутні).
• • Якщо спостереження або експеримент записані на відео чи аудіо, то їх результати надзвичайно складно поставити під сумнів, адже можна публічно продемонструвати відповідний запис. Натомість у разі інтерв'ю можуть ставити під сумнів коректність відбору респондентів, коректність спілкування з ними або й узагалі звинуватити дослідників у "намальованості" результатів, вигідних замовникові дослідження. Навіть якщо дослідники мають аудіозапис інтерв'ю^[4], вони не можуть передавати його третім особам, оскільки це порушило б принципи конфіденційності: можна впізнати людину за голосом або специфічною особистою інформацією, згаданою в інтерв'ю. З тих самих причин не можна передавати третім особам контактну інформацію респондента для публічного підтвердження або спростування тих чи інших відповідей: зазвичай дослідники гарантують учасникам дослідження, що відповіді будуть використані лише в узагальненому вигляді й що за межами дослідницької команди ніхто ніколи не довідається, як саме відповіла конкретна людина.

На завершення розділу підсумуємо, які питання маємо собі поставити, щоб визначитися у виборі стратегії, джерел і методу дослідження.

• 1. Що саме ми бажаємо з'ясувати, виявити в результаті дослідження? Конкретизуємо мету дослідження^[5].
• 2. З огляду на мету дослідження нам потрібна інформація, виражена в числах, чи достатньо нечислового опису досліджуваного феномену? Інакше кажучи, потрібно з'ясувати різноманіття проявів феномену чи тенденції? Обираємо стратегію дослідження: кількісну, якісну або їх поєднання.
• 3. З огляду на мету дослідження та наявні ресурси від кого або на основі чого ми отримаємо інформацію? Визначаємо джерела отримання інформації. їх може бути кілька; у такому разі дослідження складатиметься з кількох дослідницьких компонентів.
• 4. З огляду на мету дослідження та наявні ресурси в який спосіб ми можемо отримати й опрацювати інформацію від кожного з джерел? Обираємо методи дослідження.

Читач із досвідом дослідницьких компонентів може помітити, що для повної картини запланованого дослідження нам бракує відповіді на одне важливе питання: як ми відберемо учасників дослідження або інші джерела інформації? Наприклад, якщо нас цікавить думка українських фермерів, то ми навряд чи зможемо опитати кожного фермера. Якщо нас цікавить думка директорів українських шкіл, то навряд чи подужаємо опитати їх усіх. Отже, окрім джерела інформації як такого потрібно визначитися з критеріями та методиками відбору учасників або інших джерел інформації в дослідженні.

Незалежно від того, отримуватимемо ми інформацію від спостереження за певною ситуацією, спілкування з певними людьми чи аналізу статей на сайтах, нам треба визначитися, за якими саме та скількома ситуаціями спостерігатимемо, з якими саме та скількома людьми спілкуватимемося і які саме та скільки статей аналізуватимемо. Інакше кажучи, потрібно визначитися з вибіркою нашого дослідження. Саме про неї – вибірку – наступний розділ книги.

• [1] Експеримент – вдалий метод оцінки якості не тільки консультаційних, а й низки інших послуг. Однак у тих випадках, де послуга є не лише консультаційною, набагато складніше підібрати учасників експерименту й навіть можливі значні суми обов'язкових платежів за надання послуги. Наприклад, якщо потрібно здійснити моніторинг дозвільних процедур, процедур оформлення прав власності, реєстрації в державному центрі зайнятості та його допомоги з працевлаштуванням тощо, то в усіх цих випадах, найімовірніше, необхідно або залучати до участі в дослідженні людей, яким справді потрібна така послуга, або відмовитися від експерименту на користь інтерв'ю. Адже переоформлювати право власності на свою квартиру, реєструвати нове підприємство або звільнятися з роботи лише заради постановки експерименту було б вельми екстремальним рішенням, яке не є еквівалентним цінності отриманої інформації. Тож за потреби оцінити інші послуги, не консультації, рішення, що ефективніше: брати інтерв'ю в людей, які вже отримали послугу, чи проводити експеримент аж ніяк не буде однозначно на користь останнього.
• [2] Оціночні твердження, судження (суб'єктивні враження) — інформація, що відображає індивідуальне сприйняття людини, а отже, може різнитися при описі того самого феномену залежно від того, хто його характеризує та в якому стані при цьому перебуває. Фактуальні твердження, судження – інформація, що не залежить від індивідуального сприйняття людини. Наприклад, "у кімнаті тепло", "у кімнаті прохолодно" – оціночні твердження, адже та сама температура може відчуватися по-різному різними людьми або й однією людиною залежно від її стану (чи голодна, чи втомлена, як одягнена тощо). "Температура в кімнаті 20 °С" – фактуальне твердження.
• [3] Приклад форми для фіксування перебігу консультації наведено в додатку 1 "Приклад інструментарію експерименту".
• [4] Як правило, у соціальних дослідженнях індивідуальне інтерв'ю не записують на відео, оскільки постійний фокус камери на одній людині стає на заваді щирій, невимушеній розмові, без якої неможливо здобути належну інформацію.
• [5] Докладні пояснення щодо того, як конкретизувати мету дослідження, наведені в розділі 2 "Плануємо дослідницький компонент проекту: перші кроки".