Метод парных сравнений

Как работает метод попарных сравнений

Выбрать лучшее из двух человек умеет быстро и довольно честно. Выстроить по порядку десять пунктов сразу гораздо труднее: внимание держит верх списка, а середина расставляется наугад. Парное сравнение разбивает одну тяжёлую задачу на много лёгких.

Метод давно живёт в психометрике. Луис Терстоун описал закон сравнительных суждений в 1927 году: он показал, как из частоты, с которой один стимул предпочитают другому, получить шкалу. Томас Саати позже построил на попарных сравнениях метод анализа иерархий (AHP), где эксперт выбирает победителя и вдобавок указывает, во сколько раз один критерий важнее другого, по шкале от 1 до 9.

Блок в аскио работает по простой схеме: в каждой паре выбирается победитель, силу предпочтения не спрашивают. Этого хватает, чтобы получить порядок и доли побед, но это не полноценный AHP с весами и проверкой согласованности.

Сколько пар получится: формула n(n−1)/2

Каждый вариант сравнивается с каждым один раз, поэтому число пар растёт быстрее, чем число вариантов.

Число пар = n × (n − 1) / 2, где n это число вариантов

Шесть вариантов дают 15 кликов, это терпимо даже на телефоне. Десять вариантов дают 45, и к тридцатой паре человек начинает щёлкать не глядя. Если вариантов много, либо сократите список, либо ограничьте число пар и помните о цене такого ограничения (о ней ниже).

Когда парное сравнение лучше ранжирования

• Вариантов 6-8, и они похожи по важности: при ранжировании середина списка превратилась бы в лотерею.
• Отвечают на телефоне, где тащить пункты по длинному списку неудобно, а нажать одну из двух кнопок легко.
• Нужно сравнить концепции, названия или слоганы: «какое название вам ближе» решается за секунду.
• Хочется увидеть противоречия в предпочтениях, а не только итоговый порядок.

Когда метод не подходит

При двух-трёх вариантах парные сравнения избыточны, проще спросить выбором одного ответа или ранжированием. При двенадцати и больше пар слишком много для одного экрана. И если нужно знать не только порядок, но и вес каждого пункта в процентах, берите распределение 100 баллов.

Примеры вопросов для парного сравнения

• «Что для вас важнее при выборе клиники?» Варианты: близость к дому, отзывы, цена приёма, запись онлайн, врач конкретной специальности.
• «Какую доработку сделать первой?» Пять пунктов из бэклога, каждый сравнивается с каждым.
• «Какое название нового тарифа вам понятнее?» Четыре кандидата, шесть пар.
• «Что сильнее повлияло бы на ваше решение остаться в компании?» Зарплата, удалёнка, обучение, руководитель.

Варианты должны быть одного уровня и понятны без пояснений: в паре у человека нет времени перечитывать длинную формулировку.

Обработка результатов: доля побед и матрица предпочтений

Самая понятная метрика это доля побед: сколько раз вариант выиграл из тех пар, где он участвовал.

Доля побед = выигранные пары / пары, где вариант участвовал × 100%

Это ответ одного человека на четыре варианта (шесть пар). По всей выборке доли побед складываются так же: победы по всем ответам делятся на все сравнения с участием варианта.

Матрица предпочтений глубже. Это таблица, где в строке вариант A, в колонке вариант B, а в ячейке доля людей, выбравших A против B. По ней видно не только итог, но и спорные пары: 52 на 48 значит, что между вариантами разницы почти нет. Ещё один сигнал это циклы: A сильнее B, B сильнее C, а C сильнее A. Если их много, у людей нет устойчивого мнения по этим пунктам.

Ошибки при парном сравнении

• Ограничить число пар и не посмотреть, какие пары выпали. Часть вариантов сравнится реже остальных, и доли побед станут несопоставимы.
• Вставлять в список заведомого победителя вроде «низкая цена». Он выиграет все пары и ничего нового не скажет.
• Называть варианты длинными фразами. В паре их читают за секунду, половина смысла теряется.
• Толковать доли побед как проценты важности. 80% побед не значит «в четыре раза важнее варианта с 20%».

Парное сравнение в аскио: настройки и что видит респондент

Блок «Попарное сравнение» добавляется с вопросом «Что важнее?» и четырьмя вариантами. Вариантов нужно минимум два, их можно вставить списком. Поле «сколько пар показать» принимает число от 1 до n(n−1)/2; пустое поле значит «все пары».

Важная деталь: пары берутся по порядку списка, а не случайно. Если ограничить их число, первые варианты сравнятся чаще последних. Для честного результата показывайте все пары, а если ограничиваете, ставьте в начало списка самое спорное.

Все пары стоят на одном экране кнопками «A или B»: на телефоне одна под другой, на широком экране в три колонки. Сверху счётчик «Сравнено X из Y». Ответ засчитывается, когда пройдено заданное число пар. В аналитике для каждого варианта видна доля побед и число сравнений, а в CSV каждая пара записывается как «A vs B → победитель».