Думай медленно… Решай быстро. Даниэль Канеман
Читать онлайн книгу.
его как откровение. Вам давно известно, что результаты исследований надежнее на больших выборках, и о законе больших чисел слышали даже те, кто статистики совершенно не знает. Но просто «знать» недостаточно, и, возможно, вы обнаружите, что в отношении вас справедливы следующие утверждения:
• Вы не придали значения признаку «малонаселенный», когда читали историю об исследовании частоты заболеваний раком.
• Вы сильно удивились, узнав о разнице между выборками в 4 и 7 шариков.
• Даже сейчас вам требуются определенные умственные усилия, чтобы понять, что следующие два утверждения означают совершенно одно и то же:
– Большие выборки дают более точный результат, чем маленькие.
– Маленькие выборки чаще больших дают экстремумы.
Первое утверждение кажется истинным, но нельзя считать, что вы его поняли, пока интуиция не приняла второе.
Итак, вы знали, что результаты на больших выборках точнее, но сейчас вы, наверное, понимаете, что знали это не очень хорошо. Вы не одиноки. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки.
Закон малых чисел
Мое сотрудничество с Амосом в 1970-е годы началось с дискуссии об утверждении, что люди обладают интуитивным статистическим чутьем, даже если их статистике не обучали. На семинаре Амос рассказал нам об исследователях из Мичиганского университета, которые в целом оптимистично относились к интуитивной статистике. Меня эта тема очень волновала по личным причинам: незадолго до того я обнаружил, что я – плохой интуитивный статистик, и мне не верилось, что я хуже других.
Для психолога-исследователя изменчивость выборки – не просто странность, это неудобство и помеха, которая дорого обходится, превращая любое исследование в игру случая. Предположим, вы хотите подтвердить гипотезу, что словарный запас шестилетних девочек в среднем больше, чем словарный запас мальчиков того же возраста. В объеме всего населения гипотеза верна, у девочек в шесть лет словарный запас в среднем больше. Однако девочки и мальчики бывают очень разными, и можно случайно выбрать группу, где заметной разницы нет, а то и такую, где мальчики набирают больше баллов. Если вы – исследователь, такой результат вам дорого обойдется, поскольку, потратив время и усилия, вы не подтвердите правильность гипотезы. Риск снижается только использованием достаточно большой выборки, а те, кто работает с маленькими выборками, отдают себя на волю случая.
Риск ошибки в каждом эксперименте оценивается при помощи довольно простой операции, однако психологи не пользуются вычислениями для определения размера выборки, а принимают решения в соответствии с собственным, зачастую ущербным, пониманием. Незадолго до дискуссии с Амосом я прочитал статью, прекрасно иллюстрирующую типичные ошибки исследователей. Автор отмечал, что психологи сплошь и рядом