Калибрация прогнозов в задачах бинарного выбора

Аннотация

В работе рассматривается проблема уверенности человека в принятых решениях. Исследования, посвященные калибрации прогнозов (соотношению частоты фактически правильных ответов c оценками уверенности человека в их правильности), продемонстрировали наличие эффекта «избыточной уверенности»: люди склонны завышать вероятность того, что их ответы или предсказания верны. Авторы предположили, что оценка уверенности человека в принятом решении и точность калибрации зависят от метода измерения уверенности. В эксперименте принимали участие школьники (N=50) и студенты (N=36). Они отвечали на вопросы на общую эрудицию, определяя степень своей уверенности в ответах по стандартной шкале, вербально оценивая уверенность в выбранном варианте, или же по дуплексной шкале, когда оценивается уверенность как в выбранном, так и в отвергнутом варианте. В заключение участники делали  ставки на то, что выбранные ими альтернативы окажутся правильными. Результаты исследования подтвердили поставленные гипотезы,  в частности, наличие эффекта «избыточной уверенности» на российской выборке, причем она оказалась ниже в условиях дуплексных шкал. Мы объясняем это явление остаточной неопределенностью, которая не снимается при сравнении двух вариантов ответа в отличие от стандартной шкалы, где внимание респондента концентрируется на одном, выбранном им варианте. Кроме того, зависимость между уровнями уверенности и качеством прогноза оказалась линейной убывающей в случае стандартной шкалы и параболической — в случае дуплексной шкалы. Таким образом, если респондент испытывает большие сомнения в выбранном варианте, то повышение уверенности в ответе по дуплексной шкале в среднем приводит к увеличению вероятности того, что ответ будет правильным, тогда как если респондент полагает, что он знает ответ, его уверенность чаще оказывается избыточной вне зависимости от способа ее измерения. Наконец, мы выяснили, что ставки служат более надежным предсказателем качества прогноза, чем вербальные оценки для тех случаев, когда принятые решения были рациональными, а уровни уверенности – непротиворечивыми.