Открытые и закрытые вопросы в многоязычном поле

Выбор между открытым и закрытым вопросом — это выбор между глубиной и масштабом. Но в узбекском поле к этому компромиссу добавляется второй, не менее важный: переживёт ли ваш формат перевод на три языка. Шкала, которая безупречно работает в русской версии, может тихо сломаться в узбекской, а ворох открытых ответов на русском, узбекском и таджикском способен похоронить весь бюджет на обработку. Эта статья — про то, как тип вопроса и шкала ведут себя в реальных многоязычных условиях Узбекистана.

Старый компромисс: глубина против масштаба

Закрытый вопрос предлагает готовый набор вариантов: да/нет, выбор одного или нескольких пунктов, шкала оценок. Его сила — стандартизация: ответы легко агрегировать, сравнивать между регионами и отслеживать во времени. Его слабость — он навязывает респонденту вашу рамку и пропускает то, чего вы не предусмотрели.

Открытый вопрос даёт ответить своими словами. Он незаменим, когда вы не знаете заранее всех вариантов или хотите понять почему за цифрой. Его цена — трудоёмкое кодирование, риск пустых и нерелевантных ответов, повышенная нагрузка на респондента и интервьюера.

Этот компромисс описан в любом учебнике. Дальше — то, чего в учебниках нет: что происходит с обоими форматами, когда поле говорит на нескольких языках, а половина страны — сельская.

Шкала, которая ломается при переводе

Закрытый вопрос со шкалой кажется самым «безопасным» форматом: цифры универсальны, считать легко. На практике именно шкалы дают самые коварные ошибки в многоязычном проекте, потому что ломаются они молча — данные выглядят чистыми, но несопоставимы между языковыми версиями.

Проблема в якорях (anchor labels). Возьмите классическую шкалу согласия. «Совершенно согласен» по-русски — сильное, но нейтральное по тону выражение. Прямой перевод «to'liq qo'shilaman» в узбекском звучит чуть мягче по интенсивности, а варианты вроде «mutlaqo» добавляют оттенок категоричности, которого в русском якоре не было. То же с серединой шкалы: русское «затрудняюсь ответить» и узбекское «javob berishga qiynalaman» — не одно и то же, что «нейтрально» или «и да, и нет». Респондент в одной версии и респондент в другой реагируют на разные стимулы, а вы потом сравниваете их доли, будто это одна шкала.

С NPS и шкалами удовлетворённости та же история. Слово «рекомендовать» в узбекском («tavsiya qilaman») и понятие «вероятность» переводятся, но интонация интенсивности — «обязательно», «скорее всего», «вряд ли» — в Узбекистане идиоматична и не ложится на русские градации один к одному.

Отсюда практический выбор самого типа шкалы. Полностью подписанная шкала (где у каждого деления свой словесный якорь) измеряет тоньше, но именно она хуже всего переживает перевод: ломается на каждом промежуточном слове. Числовая шкала с подписанными только концами («1 — совсем не доволен … 5 — полностью доволен») переводится надёжнее, потому что носителю нужно выверить лишь два-три якоря, а не семь. Поэтому в многоязычном проекте есть смысл сознательно пожертвовать частью тонкости ради сопоставимости: короткая числовая шкала с двумя выверенными концами почти всегда честнее, чем семибалльная подписанная сетка, у которой средние якоря разъехались между версиями.

То же касается ранжирования и парных сравнений. Просьба «расставьте пять вариантов по важности» звучит просто, но в устном интервью на узбекском или таджикском, да ещё с пожилым респондентом, она резко повышает когнитивную нагрузку и провоцирует «лишь бы отстали». Закрытый рейтинг каждого пункта по отдельности или выбор «самого важного / наименее важного» переносит перевод и зачитывание вслух куда устойчивее, чем полное ранжирование.

Практические выводы:

• Переводите якоря, а не только пункты. Слова-интенсификаторы («совершенно», «скорее», «вряд ли») — самая хрупкая часть шкалы. Их нужно подбирать носителем, а не подставлять словарём.
• Делайте обратный перевод именно якорей. Узбек→русский back-translation быстро вскрывает, что «вполне согласен» и «совсем согласен» в узбекской версии слились в один вариант.
• Проверяйте равномерность шага. Хорошая шкала идёт ровными интервалами. После перевода два соседних якоря часто оказываются почти синонимами, а между другими — провал.
• Держите число градаций одинаковым во всех версиях. Соблазн «упростить» узбекскую версию до меньшего числа пунктов убивает сопоставимость.

Подробнее о переводе и обратном переводе мы пишем в руководстве по дизайну анкет — здесь же важно одно: шкала, не прошедшая лингвистическую проверку на всех языках поля, даёт ложное ощущение точности.

Вежливость, которая надувает верх шкалы

Есть культурная особенность, которую в Узбекистане нельзя игнорировать: склонность соглашаться из вежливости. Гость в доме, чай, уважение к человеку, который «при деле» и задаёт вопросы, — всё это подталкивает респондента подтверждать, а не спорить. На шкалах согласия это даёт acquiescence bias — систематический сдвиг к верхним, «согласным» вариантам.

Эффект сильнее там, где дистанция между интервьюером и респондентом велика: молодой интервьюер у пожилого человека, городской — в сельской махалле, мужчина — в разговоре о семейных темах. И он маскируется под «хорошие новости»: клиент видит 85% довольных и радуется, хотя часть этих 85% — просто вежливость.

Что с этим делать на уровне формата:

• Предпочитайте сбалансированные и принудительные форматы. Вместо «Согласны ли вы, что сервис хороший?» дайте выбор из двух содержательных позиций: «Одни считают сервис хорошим, другие — что его нужно улучшать. Что ближе вам?» Так у согласия нет дефолтного направления.
• Формулируйте нейтрально. Избегайте «наводящих» утверждений, с которыми вежливо согласиться. Не «Насколько вы довольны нашей прекрасной услугой?», а «Как бы вы оценили услугу?».
• Используйте поведенческие якоря вместо абстрактного согласия. «Сколько раз за последний месяц вы…» труднее «подтвердить из вежливости», чем «Согласны ли вы, что часто…».
• Чередуйте направление шкал и перемешивайте формулировки (часть утверждений — «обратные»), чтобы поймать тех, кто механически ставит «согласен» на всё.

Поэтому если узбекская версия анкеты показывает на десять пунктов больше «согласия», чем русская, не радуйтесь раньше времени: сначала проверьте, не вежливость ли это и не разъехались ли якоря при переводе.

Открытые вопросы и тройная стоимость кодирования

Один открытый вопрос в одноязычном опросе — это объём кодирования X. Тот же вопрос в узбекском поле — это X на русском, плюс X на узбекском, плюс изредка X на таджикском (в Самарканде и Бухаре) или каракалпакском, плюс отдельная головная боль со смешанной речью.

Потому что люди не отвечают «на одном языке». Респондент в Ташкенте легко переключается с русского на узбекский в пределах одной фразы; в Фергане ответ придёт на узбекском с русскими вставками; в Самарканде — частично на таджикском. Ваш кодировщик должен понимать всё это и относить ответы к одним и тем же категориям независимо от языка.

Поэтому правило простое: один многоязычный кодбук, а не три параллельных. Категории определяются по смыслу, а не по языку, и применяются ко всем ответам сразу:

1. Соберите первую сотню-другую ответов со всех языков, а не только русские.
2. Выделите темы по смыслу и зафиксируйте определение каждой категории на языке команды (обычно русском).
3. К каждой категории добавьте примеры-якоря на каждом из языков поля — чтобы кодировщик узнавал тему и по узбекской, и по таджикской формулировке.
4. Прогоните двух кодировщиков на общей выборке и сверьте согласованность, прежде чем кодировать всё.

Отдельно заложите время на разнобой в записи. Открытые ответы, записанные интервьюерами вручную, приходят и на латинице, и на кириллице, с диалектными словами и сокращениями; при цифровом сборе часть наберут с телефона, часть — голосом. Полезно заранее договориться о норме транслитерации и о том, что делать со смешанными ответами, иначе кодировщики потратят половину времени не на смысл, а на расшифровку. Это ещё один скрытый множитель стоимости, который виден только тем, кто уже обрабатывал узбекское поле.

Эта работа реальна и стоит денег. Именно она — главный аргумент за сдержанность с открытыми вопросами в многоязычном поле: не потому что они «плохие», а потому что их обработка в Узбекистане дороже, чем кажется на бумаге.

Грамотность, показные карточки и Латиница против Кириллицы

Формат вопроса нельзя выбирать в отрыве от того, как его предъявляют в поле. И здесь у Узбекистана своя специфика.

Самозаполняемые закрытые форматы и показные карточки (showcards со списком вариантов или с изображением шкалы) предполагают, что респондент уверенно читает. Но в стране идёт переход с кириллицы на латиницу: молодёжь училась на латинице, многие пожилые и сельские читатели свободнее с кириллицей. Карточка, набранная только латиницей, может оказаться нечитаемой для пожилого респондента в кишлаке, а кириллическая — неудобной для школьника.

Практические следствия:

• Длинные шкалы и сложные закрытые форматы лучше зачитывать вслух, а не отдавать на самозаполнение, особенно для старших и сельских респондентов.
• Если используете показные карточки, готовьте их с учётом обоих алфавитов или дублируйте, а числовую шкалу подкрепляйте словесными якорями (цифры читают почти все).
• Простые форматы устойчивее. Бинарный выбор и короткая словесная шкала переживают и неуверенное чтение, и устное зачитывание лучше, чем семибалльная сетка с тонкими градациями.

Это ещё один довод в пользу закрытых вопросов, читаемых интервьюером, как основного рабочего формата в большей части поля — и против самозаполняемых сеток, которые в городе работают, а в сельской махалле рассыпаются.

Где побеждает закрытый формат

Закрытые вопросы выигрывают всякий раз, когда вам нужна сопоставимость — между регионами, между группами, во времени.

• Сравнение регионов. Если вы меряете один и тот же показатель в Ташкенте, Фергане и Каракалпакстане, только стандартизированный закрытый формат даёт цифры, которые можно ставить рядом.
• Трекинг во времени. Замеры волна за волной — рынок, бренд, общественное мнение в духе исследований «Ижтимоий фикр» — держатся на неизменных закрытых формулировках. Поменяли якорь между волнами — потеряли тренд.
• Большие выборки. Когда нужны доли с приемлемой погрешностью на тысячах анкет, открытые вопросы просто не масштабируются по стоимости обработки.

К стандартизации закрытых данных хорошо относится и переход на цифровой сбор: единая анкета, одинаковые варианты, никакого расхождения версий между интервьюерами. Как это устроено на практике, мы разбираем в руководстве по запуску в AISurvey.

Где побеждает открытый формат

Открытые вопросы незаменимы там, где вы ещё не знаете пространства ответов.

• Ранняя разведка. Перед тем как фиксировать варианты закрытого вопроса, открытый этап (хоть на десятке глубинных интервью) показывает, какими словами люди вообще описывают тему — на узбекском это часто совсем не те слова, что вы перевели бы с русского.
• Одно-два ключевых «почему». В основном опросе пара открытых вопросов на самых важных развилках даёт контекст, который не выудишь шкалой.
• Локальная лексика и неожиданное. Открытый вопрос ловит то, чего нет в вашем списке: местные бренды, региональные практики, причины, о которых вы не догадывались.

Решение о размере и структуре выборки для такой разведки — отдельная тема; мы разбираем её в обзоре методов выборки.

Кто на самом деле отвечает — и как это меняет формат

Формат живёт не в вакууме, а в конкретном доме, с конкретным человеком напротив интервьюера. В Узбекистане этот человек систематически не тот, кого вы планировали.

Из-за трудовой миграции — миллионы взрослых мужчин, прежде всего из Ферганской долины и юга, работают в России и Казахстане — днём в доме чаще оказываются женщины, пожилые и молодёжь. Любая шкала, которую вы тестировали на «среднем» городском респонденте, попадает к человеку с другим уровнем образования, другой языковой привычкой и другой готовностью читать карточку. Сложная семибалльная сетка, отлично работавшая в пилоте в Ташкенте, в ферганском кишлаке у пожилой респондентки оборачивается случайным выбором — и это снова про устойчивость формата, а не только про перевод.

К этому добавляются гендерные нормы: в консервативном доме незнакомца-мужчину могут не принять, а женщина не всегда доступна без главы семьи. Отсюда практическое следствие для формата: чувствительные темы и тонкие шкалы лучше отдавать интервьюеру-женщине и зачитывать вслух, а не полагаться на самозаполняемую карточку, которую респондентка в присутствии родственников читать не станет.

И отдельное решение — какие языковые версии вообще делать. В Каракалпакстане полноценная анкета требует каракалпакской версии, а не «узбекской, которую и так поймут»: это другой тюркский язык, и шкала, переведённая только на узбекский, там даст тот же тихий сбой сопоставимости. В Самарканде и Бухаре значимая доля респондентов комфортнее на таджикском. Каждая дополнительная версия — это ещё один комплект якорей для перевода и обратного перевода и ещё один язык в кодбуке открытых ответов. Это прямо влияет на то, сколько открытых вопросов вы можете себе позволить.

Практическое правило для узбекского поля

Соберите всё вместе — получится рабочее правило.

Используйте закрытые вопросы как несущую конструкцию: для измерения, сравнения регионов и трекинга. Стройте их на сбалансированных, нейтральных, по возможности поведенческих формулировках, чтобы гасить вежливое согласие. Шкалы переводите якорями и проверяйте обратным переводом на всех языках поля. Сложные закрытые форматы давайте интервьюеру зачитывать.

Используйте открытые вопросы экономно и точечно: на этапе разведки и для одного-двух главных «почему». Помните, что каждый из них умножается на число языков поля при кодировании.

Хороший приём для Узбекистана: закрытый вопрос со сбалансированной шкалой, а сразу за ним — короткий открытый «Поясните, почему именно так». Вы получаете и считаемую, сопоставимую цифру, и контекст за ней — без анкеты из десяти открытых вопросов.

Не злоупотребляйте открытыми

Анкета из десяти открытых вопросов утомит респондента, спровоцирует отписки и завалит вас текстом на трёх языках, который никто не успеет закодировать в срок. Один-два хорошо поставленных открытых вопроса дают больше пользы, чем десять формальных — и это правило в многоязычном поле работает с тройной силой.

Хороший дизайн анкеты в Узбекистане — это не «открытые против закрытых», а трезвый расчёт: что вы измеряете, на скольких языках, кто и как будет это читать, и сколько ответов вы реально сможете обработать. Начните проектировать анкету в конструкторе AISurvey — а за принципами вернитесь в наш блог о полевых исследованиях.