Страница:
С этим связан и другой статистический факт, относящийся к примеру о раке. Из одного и того же сосуда два очень терпеливых экспериментатора по очереди достают шарики. Джек в каждой попытке вытаскивает по 4 штуки, а Джилл – по 7. Они оба делают отметку каждый раз, когда им достаются шарики одного цвета, все белые или все красные. Если достаточно долго этим заниматься, то Джек будет наблюдать такие результаты примерно в 8 раз чаще Джилл (ожидаемый процент составляет 12,5 и 1,56 % соответственно). И вновь ни молотка, ни причины, просто математический факт: наборы из 4 шариков чаще дают однородные результаты, чем наборы из 7.
А теперь представьте население США шариками в огромном сосуде, причем некоторые шарики помечены буквами «РП», что говорит о раке почки. Вы извлекаете наборы шариков и по очереди населяете каждый округ. Выборки в сельских местностях меньше остальных. Как и в игре Джека и Джилл, экстремумы – то есть очень высокие и/или очень низкие уровни заболеваемости раком – с большей вероятностью окажутся в малонаселенных округах. Вот и вся история.
Мы начали с факта, который требует объяснения: уровень заболеваемости раком почки сильно меняется в зависимости от округа, и в этих изменениях есть закономерность. Я предложил статистическое объяснение: экстремумы (высокие и низкие показатели) вероятнее появятся в маленьких выборках, чем в больших. Это – не причина. Маленькое население округа не порождает рак и не спасает от него. Оно просто позволяет уровню заболеваемости быть намного выше (или намного ниже), чем в более многочисленной популяции. Истина состоит в том, что объяснять здесь нечего. На самом деле уровень заболеваемости раком не выше и не ниже нормы; если в округе маленькое население, она лишь кажется такой в отдельно взятом году из-за случайности выборки. Если повторить анализ на следующий год, мы заметим, что в целом ситуация с экстремумами в малых выборках та же, но округа, где в предыдущем году было много случаев рака, необязательно и на этот раз покажут высокий уровень заболеваемости. Если так, то разница между плотно населенными и сельскими округами не считается, это просто артефакты, то есть явления, порожденные исключительно каким-то аспектом метода исследования, в данном случае – различиями в размере выборки.
Вы, может, и удивились моему рассказу, но не восприняли его как откровение. Вам давно известно, что результаты исследований надежнее на больших выборках, и о законе больших чисел слышали даже те, кто статистики совершенно не знает. Но просто «знать» недостаточно, и, возможно, вы обнаружите, что в отношении вас справедливы следующие утверждения:
• Вы не придали значения признаку «малонаселенный», когда читали историю об исследовании частоты заболеваний раком.
• Вы сильно удивились, узнав о разнице между выборками в 4 и 7 шариков.
• Даже сейчас вам требуются определенные умственные усилия, чтобы понять, что следующие два утверждения означают совершенно одно и то же:
– Большие выборки дают более точный результат, чем маленькие.
– Маленькие выборки чаще больших дают экстремумы.
Первое утверждение кажется истинным, но нельзя считать, что вы его поняли, пока интуиция не приняла второе.
Итак, вы знали, что результаты на больших выборках точнее, но сейчас вы, наверное, понимаете, что знали это не очень хорошо. Вы не одиноки. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки.
Закон малых чисел
Предпочтение уверенности сомнению
Сообщение об опросе содержит информацию двух типов: историю и ее источник. Естественно, вы больше обращаете внимание на саму историю, чем на достоверность результатов. Однако, если достоверность невысока, сообщение не усвоят. Услышав, что «Группа сторонников провела некорректный и тенденциозный опрос, чтобы показать, что пенсионеры поддерживают президента», вы, конечно же, отвергнете эту информацию, результаты опроса не станут частью того, во что вы верите. Вместо этого некорректный опрос и его фальшивые результаты превратятся в очередную историю о вранье политиков. В таких явных случаях вы можете принять решение не верить. Но достаточно ли хорошо вы ощущаете разницу между «Я прочел в The New York Times…» и «Я слышал возле кулера…»? Умеет ли ваша Система 1 различать степени веры? Принцип WYSIATI предполагает, что нет.
Как уже упоминалось, Система 1 не склонна к сомнениям. Она подавляет неоднозначность и самопроизвольно составляет когерентные истории. Если сообщение не отвергается немедленно, то связанные с ним ассоциации будут распространяться так, как если бы оно было верным. Система 2 способна сомневаться, поскольку может одновременно рассматривать несовместимые варианты. Однако поддерживать сомнения труднее, чем уверяться в чем-либо. Закон малых чисел – проявление общей склонности к уверенности вместо сомнений, которая под разными видами еще не раз появится в следующих частях.
Сильная предрасположенность верить, что маленькие выборки точно представляют все население, означает и нечто большее: мы склонны преувеличивать последовательность и когерентность увиденного. Излишняя вера исследователей в результаты нескольких наблюдений сродни эффекту ореола, часто возникающему у нас чувству, что мы знаем и понимаем человека, о котором нам, по сути, известно мало. Система 1 предвосхищает факты, составляя по обрывочным сведениям полную картину. Механизм для поспешных выводов ведет себя так, будто верит в закон малых чисел. В целом он создает чересчур осмысленную картину реальности.
Причина и случай
Разговоры о законе малых чисел
11
Эффект привязки как способ корректировки
А теперь представьте население США шариками в огромном сосуде, причем некоторые шарики помечены буквами «РП», что говорит о раке почки. Вы извлекаете наборы шариков и по очереди населяете каждый округ. Выборки в сельских местностях меньше остальных. Как и в игре Джека и Джилл, экстремумы – то есть очень высокие и/или очень низкие уровни заболеваемости раком – с большей вероятностью окажутся в малонаселенных округах. Вот и вся история.
Мы начали с факта, который требует объяснения: уровень заболеваемости раком почки сильно меняется в зависимости от округа, и в этих изменениях есть закономерность. Я предложил статистическое объяснение: экстремумы (высокие и низкие показатели) вероятнее появятся в маленьких выборках, чем в больших. Это – не причина. Маленькое население округа не порождает рак и не спасает от него. Оно просто позволяет уровню заболеваемости быть намного выше (или намного ниже), чем в более многочисленной популяции. Истина состоит в том, что объяснять здесь нечего. На самом деле уровень заболеваемости раком не выше и не ниже нормы; если в округе маленькое население, она лишь кажется такой в отдельно взятом году из-за случайности выборки. Если повторить анализ на следующий год, мы заметим, что в целом ситуация с экстремумами в малых выборках та же, но округа, где в предыдущем году было много случаев рака, необязательно и на этот раз покажут высокий уровень заболеваемости. Если так, то разница между плотно населенными и сельскими округами не считается, это просто артефакты, то есть явления, порожденные исключительно каким-то аспектом метода исследования, в данном случае – различиями в размере выборки.
Вы, может, и удивились моему рассказу, но не восприняли его как откровение. Вам давно известно, что результаты исследований надежнее на больших выборках, и о законе больших чисел слышали даже те, кто статистики совершенно не знает. Но просто «знать» недостаточно, и, возможно, вы обнаружите, что в отношении вас справедливы следующие утверждения:
• Вы не придали значения признаку «малонаселенный», когда читали историю об исследовании частоты заболеваний раком.
• Вы сильно удивились, узнав о разнице между выборками в 4 и 7 шариков.
• Даже сейчас вам требуются определенные умственные усилия, чтобы понять, что следующие два утверждения означают совершенно одно и то же:
– Большие выборки дают более точный результат, чем маленькие.
– Маленькие выборки чаще больших дают экстремумы.
Первое утверждение кажется истинным, но нельзя считать, что вы его поняли, пока интуиция не приняла второе.
Итак, вы знали, что результаты на больших выборках точнее, но сейчас вы, наверное, понимаете, что знали это не очень хорошо. Вы не одиноки. Наше с Амосом первое совместное исследование показало, что даже у опытных исследователей плохая интуиция и зыбкое представление о значении объема выборки.
Закон малых чисел
Мое сотрудничество с Амосом в 1970-е годы началось с дискуссии об утверждении, что люди обладают интуитивным статистическим чутьем, даже если их статистике не обучали. На семинаре Амос рассказал нам об исследователях из Мичиганского университета, которые в целом оптимистично относились к интуитивной статистике. Меня эта тема очень волновала по личным причинам: незадолго до того я обнаружил, что я – плохой интуитивный статистик, и мне не верилось, что я хуже других.
Для психолога-исследователя изменчивость выборки – не просто странность, это неудобство и помеха, которая дорого обходится, превращая любое исследование в игру случая. Предположим, вы хотите подтвердить гипотезу, что словарный запас шестилетних девочек в среднем больше, чем словарный запас мальчиков того же возраста. В объеме всего населения гипотеза верна, у девочек в шесть лет словарный запас в среднем больше. Однако девочки и мальчики бывают очень разными, и можно случайно выбрать группу, где заметной разницы нет, а то и такую, где мальчики набирают больше баллов. Если вы – исследователь, такой результат вам дорого обойдется, поскольку, потратив время и усилия, вы не подтвердите правильность гипотезы. Риск снижается только использованием достаточно большой выборки, а те, кто работает с маленькими выборками, отдают себя на волю случая.
Риск ошибки в каждом эксперименте оценивается при помощи довольно простой операции, однако психологи не пользуются вычислениями для определения размера выборки, а принимают решения в соответствии с собственным, зачастую ущербным, пониманием. Незадолго до дискуссии с Амосом я прочитал статью, прекрасно иллюстрирующую типичные ошибки исследователей. Автор отмечал, что психологи сплошь и рядом используют настолько маленькие выборки, что рискуют не подтвердить верные гипотезы с вероятностью 50 %! Ни один разумный исследователь не примет такой риск. Правдоподобным объяснением казалось то, что решения психологов относительно размера выборок отражали господствующие интуитивные заблуждения о диапазоне изменчивости.
Меня поразили содержащиеся в статье объяснения, проливающие свет на проблемы с моими собственными исследованиями. Как и большинство психологов, я постоянно использовал слишком маленькие выборки и часто получал бессмысленные, странные результаты, оказывавшиеся артефактами, которые порождал сам метод моих исследований. Мои ошибки были тем постыднее, что я преподавал статистику и умел вычислять размер выборки, необходимый для снижения риска неудачи до приемлемого уровня. Но я никогда этим не занимался при планировании экспериментов и, подобно другим исследователям, верил традиции и собственной интуиции, не задумываясь о проблеме всерьез. К моменту, когда Амос посетил мой семинар, я уже осознал, что моя интуиция не работает, а во время самого семинара мы быстро пришли к выводу, что ошибаются и оптимисты из Мичиганского университета.
Мы с Амосом решили выяснить, есть ли среди исследователей такие же наивные глупцы, как я, и допускают ли те же ошибки ученые, обладающие математическими знаниями. Мы разработали опросник с описанием реалистичных исследований и успешных экспериментов. Опрашиваемые должны были определить размеры выборок, оценить связанные с этими решениями риски и дать советы гипотетическим аспирантам, планирующим научно-исследовательскую работу. На конференции Общества математической психологии Амос провел опрос присутствующих (включая авторов двух учебников по статистике). Результаты оказались очевидны: я был не одинок. Почти все респонденты повторили мои ошибки. Выяснилось, что даже эксперты недостаточно внимательны к размеру выборки.
Первая статья, написанная мной в соавторстве с Амосом, называлась «Вера в закон малых чисел». В ней шутливо пояснялось, что «…интуитивная оценка размера случайных выборок, похоже, удовлетворяет закону малых чисел, гласящему, что закон больших чисел с тем же успехом применим и к малым». Также мы включили в статью настойчивую рекомендацию для исследователей относиться к своим «статистическим предчувствиям с недоверием и при любой возможности заменять впечатления вычислениями».
Для психолога-исследователя изменчивость выборки – не просто странность, это неудобство и помеха, которая дорого обходится, превращая любое исследование в игру случая. Предположим, вы хотите подтвердить гипотезу, что словарный запас шестилетних девочек в среднем больше, чем словарный запас мальчиков того же возраста. В объеме всего населения гипотеза верна, у девочек в шесть лет словарный запас в среднем больше. Однако девочки и мальчики бывают очень разными, и можно случайно выбрать группу, где заметной разницы нет, а то и такую, где мальчики набирают больше баллов. Если вы – исследователь, такой результат вам дорого обойдется, поскольку, потратив время и усилия, вы не подтвердите правильность гипотезы. Риск снижается только использованием достаточно большой выборки, а те, кто работает с маленькими выборками, отдают себя на волю случая.
Риск ошибки в каждом эксперименте оценивается при помощи довольно простой операции, однако психологи не пользуются вычислениями для определения размера выборки, а принимают решения в соответствии с собственным, зачастую ущербным, пониманием. Незадолго до дискуссии с Амосом я прочитал статью, прекрасно иллюстрирующую типичные ошибки исследователей. Автор отмечал, что психологи сплошь и рядом используют настолько маленькие выборки, что рискуют не подтвердить верные гипотезы с вероятностью 50 %! Ни один разумный исследователь не примет такой риск. Правдоподобным объяснением казалось то, что решения психологов относительно размера выборок отражали господствующие интуитивные заблуждения о диапазоне изменчивости.
Меня поразили содержащиеся в статье объяснения, проливающие свет на проблемы с моими собственными исследованиями. Как и большинство психологов, я постоянно использовал слишком маленькие выборки и часто получал бессмысленные, странные результаты, оказывавшиеся артефактами, которые порождал сам метод моих исследований. Мои ошибки были тем постыднее, что я преподавал статистику и умел вычислять размер выборки, необходимый для снижения риска неудачи до приемлемого уровня. Но я никогда этим не занимался при планировании экспериментов и, подобно другим исследователям, верил традиции и собственной интуиции, не задумываясь о проблеме всерьез. К моменту, когда Амос посетил мой семинар, я уже осознал, что моя интуиция не работает, а во время самого семинара мы быстро пришли к выводу, что ошибаются и оптимисты из Мичиганского университета.
Мы с Амосом решили выяснить, есть ли среди исследователей такие же наивные глупцы, как я, и допускают ли те же ошибки ученые, обладающие математическими знаниями. Мы разработали опросник с описанием реалистичных исследований и успешных экспериментов. Опрашиваемые должны были определить размеры выборок, оценить связанные с этими решениями риски и дать советы гипотетическим аспирантам, планирующим научно-исследовательскую работу. На конференции Общества математической психологии Амос провел опрос присутствующих (включая авторов двух учебников по статистике). Результаты оказались очевидны: я был не одинок. Почти все респонденты повторили мои ошибки. Выяснилось, что даже эксперты недостаточно внимательны к размеру выборки.
Первая статья, написанная мной в соавторстве с Амосом, называлась «Вера в закон малых чисел». В ней шутливо пояснялось, что «…интуитивная оценка размера случайных выборок, похоже, удовлетворяет закону малых чисел, гласящему, что закон больших чисел с тем же успехом применим и к малым». Также мы включили в статью настойчивую рекомендацию для исследователей относиться к своим «статистическим предчувствиям с недоверием и при любой возможности заменять впечатления вычислениями».
Предпочтение уверенности сомнению
По результатам телефонного опроса 300 пенсионеров, 60 % поддерживают президента.Если бы вас попросили изложить смысл этого предложения в трех словах, как бы вы это сделали? Почти наверняка вы бы сказали: «Пенсионеры поддерживают президента». Эти слова передают суть истории. Опущенные детали опроса (то, что его проводили по телефону, и количество респондентов) сами по себе неинтересны, они просто описывают исходные условия. При другом размере выборки вы все равно сказали бы то же самое. Конечно, абсурдное количество – 6 или 60 миллионов – привлекло бы внимание. Но если вы профессионально этим не занимаетесь, вы, возможно, почти одинаково отреагируете на выборку из 150 и 3000 человек. Фраза «Люди не уделяют должного внимания размеру выборки» именно это и означает.
Сообщение об опросе содержит информацию двух типов: историю и ее источник. Естественно, вы больше обращаете внимание на саму историю, чем на достоверность результатов. Однако, если достоверность невысока, сообщение не усвоят. Услышав, что «Группа сторонников провела некорректный и тенденциозный опрос, чтобы показать, что пенсионеры поддерживают президента», вы, конечно же, отвергнете эту информацию, результаты опроса не станут частью того, во что вы верите. Вместо этого некорректный опрос и его фальшивые результаты превратятся в очередную историю о вранье политиков. В таких явных случаях вы можете принять решение не верить. Но достаточно ли хорошо вы ощущаете разницу между «Я прочел в The New York Times…» и «Я слышал возле кулера…»? Умеет ли ваша Система 1 различать степени веры? Принцип WYSIATI предполагает, что нет.
Как уже упоминалось, Система 1 не склонна к сомнениям. Она подавляет неоднозначность и самопроизвольно составляет когерентные истории. Если сообщение не отвергается немедленно, то связанные с ним ассоциации будут распространяться так, как если бы оно было верным. Система 2 способна сомневаться, поскольку может одновременно рассматривать несовместимые варианты. Однако поддерживать сомнения труднее, чем уверяться в чем-либо. Закон малых чисел – проявление общей склонности к уверенности вместо сомнений, которая под разными видами еще не раз появится в следующих частях.
Сильная предрасположенность верить, что маленькие выборки точно представляют все население, означает и нечто большее: мы склонны преувеличивать последовательность и когерентность увиденного. Излишняя вера исследователей в результаты нескольких наблюдений сродни эффекту ореола, часто возникающему у нас чувству, что мы знаем и понимаем человека, о котором нам, по сути, известно мало. Система 1 предвосхищает факты, составляя по обрывочным сведениям полную картину. Механизм для поспешных выводов ведет себя так, будто верит в закон малых чисел. В целом он создает чересчур осмысленную картину реальности.
Причина и случай
Ассоциативные механизмы ищут причины. Статистические закономерности трудно воспринимать, потому что к ним требуется принципиально иной подход. Рассматривая событие со статистической точки зрения, мы интересуемся его связью с тем, что могло произойти, а не как именно оно произошло. Никакой особой причины не было, случай выбрал его среди других.
Наша склонность к каузальному мышлению порождает серьезные ошибки в оценке случайности действительно случайных событий. Для примера возьмем пол шести младенцев, родившихся в больнице один за другим. Последовательность появления мальчиков и девочек совершенно случайна: события независимы, а число мальчиков и девочек, родившихся за последние часы, абсолютно не влияет на пол следующего младенца. Теперь рассмотрим три возможные последовательности:
Широко распространенное непонимание случайности иногда имеет серьезные последствия. В нашей статье о репрезентативности мы с Амосом процитировали статистика Уильяма Феллера, показавшего, как легко найти закономерности там, где их нет. В годы Второй мировой войны считалось, что бомбардировки Лондона совершаются по определенному плану и не могут быть случайными, поскольку на карте распределения очагов поражения выявлялись подозрительные пробелы. Подозревали, что в непострадавших районах живут немецкие шпионы. Тщательный статистический анализ показал, что распределение очагов поражения было типичным для случайного процесса, включая и сам тот факт, что оно вызывало сильное впечатление неслучайности. Феллер говорит: «Для неопытного глаза случайность выглядит как регулярность или тенденция к группированию». Вскоре мне представилась возможность на практике применить наблюдения Феллера. В 1973 году началась четвертая арабо-израильская война, и мой единственный незначительный вклад в нее состоял в том, что я посоветовал высшему командованию израильских ВВС прекратить начатое расследование. Израильские войска понесли значительный урон в результате эффективных воздушных атак противника с применением египетских ракет «земля – воздух». Существенные потери казались неравномерно распределенными: к примеру, из двух эскадрилий, вылетевших с одного аэродрома, одна потеряла четыре самолета, а другая – ни одного. Для выявления ошибок, допущенных пострадавшей эскадрильей, начали расследование. Не было никаких причин считать, что эскадрильи различались по уровню подготовки; никакой разницы в действиях пилотов не обнаружили. Разумеется, жизнь пилотов различалась по множеству случайных показателей, включая, как помнится, частоту поездок домой и методы проведения разборов полетов. Я посоветовал командованию прекратить расследование и смириться с тем, что понесенные потери оказались результатом слепого случая. Я выдвинул следующие аргументы: вероятнее всего, дело в случайности, искать неочевидную причину наугад безнадежно, а пилотов понесшей потери эскадрильи не стоит обременять чувством вины за смерть товарищей.
Через несколько лет Амос и его ученики Том Гилович и Роберт Валлоне опубликовали исследование о неверном восприятии случайности в баскетболе. Среди игроков, тренеров и болельщиков бытует убеждение, что иногда у игроков бывает «легкая рука». Удержаться от такого вывода невозможно: если игрок забрасывает три или четыре мяча подряд, возникает каузальное убеждение, что он будет играть успешнее других. Обе команды подстраиваются под такое решение: «свои» чаще дают удачливому игроку пас, а защита «чужих» старается блокировать его. Анализ тысяч последовательностей бросков привел к неутешительному заключению: в профессиональном баскетболе не бывает бросков «легкой руки» – ни с площадки, ни со штрафной. Конечно, некоторые игроки точнее других, но последовательность успешных бросков и промахов удовлетворяет всем тестам на случайность. Все остальное – выдумки наблюдателей, склонных находить упорядоченность и каузальность в случайных событиях. «Легкая рука» – распространенная когнитивная иллюзия.
Реакция общественности на это исследование весьма показательна: неожиданные выводы привлекли внимание прессы, но восприняли их с огромным недоверием. Знаменитый тренер баскетбольной команды «Бостон Селтикс» Рэд Ауэрбах, услышав об исследовании Гиловича, сказал: «Да кто он такой? Ну, провел исследование, а мне какая разница?» Склонность видеть закономерности в случайном сильнее каких-то там исследований.
Иллюзия закономерности влияет на наши жизни и вне баскетбольных площадок. Сколько выгодных сделок должен заключить ваш финансовый консультант, прежде чем вы решите, что он необычайно эффективен? Какое количество успешных приобретений убедит совет директоров, что у генерального директора талант к подобным сделкам? Простой ответ на эти вопросы гласит, что, следуя интуиции, вы чаще воспримете случайное событие как закономерное. Мы слишком охотно отвергаем мысль о том, что многое в нашей жизни случайно.
Я начал эту часть с примера о частоте заболеваемости раком в США. Он появляется в книге, предназначенной для преподавателей статистики, но я узнал о нем из упомянутой выше статьи Говарда Вейнера и Харриса Цверлинга. Они написали о крупном вкладе в 1,7 миллиарда долларов, сделанном Фондом Гейтса в исследования необычных характеристик самых преуспевающих школ.
Многие пытаются найти секрет успешного образования, определяя высокорезультативные школы в надежде выяснить, чем же они отличаются от остальных. Один из выводов этого исследования состоит в том, что в среднем небольшие школы результативнее. К примеру, в обзоре 1662 школ в Пенсильвании 6 из 50 лучших были небольшими, что в 4 раза превышает реальные показатели. На основании этих данных Фонд Гейтса сделал значительные инвестиции в создание небольших школ, иногда даже путем разделения крупных школ. К нему присоединились и другие известные организации, включая Фонд Анненберга и Благотворительный фонд Пью, а также Программа малых учебных сообществ министерства образования США.
Интуитивно это ощущается как разумное объяснение. Легко составить каузальную историю, объясняющую, почему, в отличие от крупных школ, небольшие учебные заведения дают замечательное образование и, таким образом, выпускают замечательных учеников, уделяя им больше внимания и лучше поощряя их. К несчастью, анализ причин бессмыслен, поскольку неверны факты. Если бы статистики, делавшие доклад в Фонде Гейтса, задались вопросом о характеристиках самых плохих школ, то обнаружилось бы, что плохие школы обычно тоже малочисленные. Дело в том, что в среднем маленькие школы ничуть не лучше, у них просто выше изменчивость. Вейнер и Цверлинг утверждают, что большие школы дают лучшие результаты, особенно в старших классах, когда важно большее разнообразие доступных предметов.
Благодаря последним открытиям когнитивной психологии очевидно то, что мы с Амосом заметили лишь мельком: закон малых чисел – один из многих, объясняющих, как устроен наш разум.
• Преувеличенная вера в маленькие выборки – один из примеров общей иллюзии: мы обращаем больше внимания на содержание сообщений, чем на информацию об их надежности, и в результате получаем более простую и связную картину окружающего мира, чем предполагают данные. Поспешные выводы безопаснее делать в воображении, но не в действительности.
• Статистика порождает много наблюдений, которые, казалось бы, требуют каузальных объяснений, но на самом деле им не подлежат. Вероятность отвечает за множество событий, включая случайность выборки. Каузальное объяснение случайностей неминуемо будет неправильным.
Наша склонность к каузальному мышлению порождает серьезные ошибки в оценке случайности действительно случайных событий. Для примера возьмем пол шести младенцев, родившихся в больнице один за другим. Последовательность появления мальчиков и девочек совершенно случайна: события независимы, а число мальчиков и девочек, родившихся за последние часы, абсолютно не влияет на пол следующего младенца. Теперь рассмотрим три возможные последовательности:
МММДДДОдинаковая ли у них вероятность? Возникающий интуитивный ответ «Конечно, нет!» – неправильный. Поскольку события независимы, а варианты исхода Д и М примерно равновероятны, любая возможная последовательность полов шести новорожденных так же вероятна, как остальные. Даже сейчас, когда вы знаете, что этот вывод правильный, он все равно противоречит интуиции, потому что только третья строка кажется случайной. Как и можно было ожидать, последовательность МДММДМ считают более вероятной, чем две другие. Мы ищем закономерности, верим в когерентность окружающего мира, где появление на свет шести девочек подряд не случайно, а результат механической причины или чьего-то намерения. Мы не ожидаем, что случайный процесс приведет к регулярным результатам, и, обнаружив нечто, похожее на закономерность, быстро отказываемся от мысли о случайности такого процесса. На самом деле случайные процессы порождают множество последовательностей, подталкивая наблюдателей к убеждению в неслучайности таковых. Разумеется, желание придерживаться каузальности дает определенные эволюционные преимущества: это часть бдительности, унаследованной от предков. Мы автоматически следим за изменениями окружающей среды. Львы появляются на равнине в случайное время, но безопаснее замечать и должным образом реагировать на увеличение частоты появлений львиных прайдов, даже если оно вызвано флуктуациями в случайном процессе.
ДДДДДД
МДММДМ
Широко распространенное непонимание случайности иногда имеет серьезные последствия. В нашей статье о репрезентативности мы с Амосом процитировали статистика Уильяма Феллера, показавшего, как легко найти закономерности там, где их нет. В годы Второй мировой войны считалось, что бомбардировки Лондона совершаются по определенному плану и не могут быть случайными, поскольку на карте распределения очагов поражения выявлялись подозрительные пробелы. Подозревали, что в непострадавших районах живут немецкие шпионы. Тщательный статистический анализ показал, что распределение очагов поражения было типичным для случайного процесса, включая и сам тот факт, что оно вызывало сильное впечатление неслучайности. Феллер говорит: «Для неопытного глаза случайность выглядит как регулярность или тенденция к группированию». Вскоре мне представилась возможность на практике применить наблюдения Феллера. В 1973 году началась четвертая арабо-израильская война, и мой единственный незначительный вклад в нее состоял в том, что я посоветовал высшему командованию израильских ВВС прекратить начатое расследование. Израильские войска понесли значительный урон в результате эффективных воздушных атак противника с применением египетских ракет «земля – воздух». Существенные потери казались неравномерно распределенными: к примеру, из двух эскадрилий, вылетевших с одного аэродрома, одна потеряла четыре самолета, а другая – ни одного. Для выявления ошибок, допущенных пострадавшей эскадрильей, начали расследование. Не было никаких причин считать, что эскадрильи различались по уровню подготовки; никакой разницы в действиях пилотов не обнаружили. Разумеется, жизнь пилотов различалась по множеству случайных показателей, включая, как помнится, частоту поездок домой и методы проведения разборов полетов. Я посоветовал командованию прекратить расследование и смириться с тем, что понесенные потери оказались результатом слепого случая. Я выдвинул следующие аргументы: вероятнее всего, дело в случайности, искать неочевидную причину наугад безнадежно, а пилотов понесшей потери эскадрильи не стоит обременять чувством вины за смерть товарищей.
Через несколько лет Амос и его ученики Том Гилович и Роберт Валлоне опубликовали исследование о неверном восприятии случайности в баскетболе. Среди игроков, тренеров и болельщиков бытует убеждение, что иногда у игроков бывает «легкая рука». Удержаться от такого вывода невозможно: если игрок забрасывает три или четыре мяча подряд, возникает каузальное убеждение, что он будет играть успешнее других. Обе команды подстраиваются под такое решение: «свои» чаще дают удачливому игроку пас, а защита «чужих» старается блокировать его. Анализ тысяч последовательностей бросков привел к неутешительному заключению: в профессиональном баскетболе не бывает бросков «легкой руки» – ни с площадки, ни со штрафной. Конечно, некоторые игроки точнее других, но последовательность успешных бросков и промахов удовлетворяет всем тестам на случайность. Все остальное – выдумки наблюдателей, склонных находить упорядоченность и каузальность в случайных событиях. «Легкая рука» – распространенная когнитивная иллюзия.
Реакция общественности на это исследование весьма показательна: неожиданные выводы привлекли внимание прессы, но восприняли их с огромным недоверием. Знаменитый тренер баскетбольной команды «Бостон Селтикс» Рэд Ауэрбах, услышав об исследовании Гиловича, сказал: «Да кто он такой? Ну, провел исследование, а мне какая разница?» Склонность видеть закономерности в случайном сильнее каких-то там исследований.
Иллюзия закономерности влияет на наши жизни и вне баскетбольных площадок. Сколько выгодных сделок должен заключить ваш финансовый консультант, прежде чем вы решите, что он необычайно эффективен? Какое количество успешных приобретений убедит совет директоров, что у генерального директора талант к подобным сделкам? Простой ответ на эти вопросы гласит, что, следуя интуиции, вы чаще воспримете случайное событие как закономерное. Мы слишком охотно отвергаем мысль о том, что многое в нашей жизни случайно.
Я начал эту часть с примера о частоте заболеваемости раком в США. Он появляется в книге, предназначенной для преподавателей статистики, но я узнал о нем из упомянутой выше статьи Говарда Вейнера и Харриса Цверлинга. Они написали о крупном вкладе в 1,7 миллиарда долларов, сделанном Фондом Гейтса в исследования необычных характеристик самых преуспевающих школ.
Многие пытаются найти секрет успешного образования, определяя высокорезультативные школы в надежде выяснить, чем же они отличаются от остальных. Один из выводов этого исследования состоит в том, что в среднем небольшие школы результативнее. К примеру, в обзоре 1662 школ в Пенсильвании 6 из 50 лучших были небольшими, что в 4 раза превышает реальные показатели. На основании этих данных Фонд Гейтса сделал значительные инвестиции в создание небольших школ, иногда даже путем разделения крупных школ. К нему присоединились и другие известные организации, включая Фонд Анненберга и Благотворительный фонд Пью, а также Программа малых учебных сообществ министерства образования США.
Интуитивно это ощущается как разумное объяснение. Легко составить каузальную историю, объясняющую, почему, в отличие от крупных школ, небольшие учебные заведения дают замечательное образование и, таким образом, выпускают замечательных учеников, уделяя им больше внимания и лучше поощряя их. К несчастью, анализ причин бессмыслен, поскольку неверны факты. Если бы статистики, делавшие доклад в Фонде Гейтса, задались вопросом о характеристиках самых плохих школ, то обнаружилось бы, что плохие школы обычно тоже малочисленные. Дело в том, что в среднем маленькие школы ничуть не лучше, у них просто выше изменчивость. Вейнер и Цверлинг утверждают, что большие школы дают лучшие результаты, особенно в старших классах, когда важно большее разнообразие доступных предметов.
Благодаря последним открытиям когнитивной психологии очевидно то, что мы с Амосом заметили лишь мельком: закон малых чисел – один из многих, объясняющих, как устроен наш разум.
• Преувеличенная вера в маленькие выборки – один из примеров общей иллюзии: мы обращаем больше внимания на содержание сообщений, чем на информацию об их надежности, и в результате получаем более простую и связную картину окружающего мира, чем предполагают данные. Поспешные выводы безопаснее делать в воображении, но не в действительности.
• Статистика порождает много наблюдений, которые, казалось бы, требуют каузальных объяснений, но на самом деле им не подлежат. Вероятность отвечает за множество событий, включая случайность выборки. Каузальное объяснение случайностей неминуемо будет неправильным.
Разговоры о законе малых чисел
«Да, с приходом нового директора студия сняла три успешных фильма, но еще слишком рано говорить, что у него легкая рука».
«Я не поверю, что новый трейдер – гений, пока не посоветуюсь со статистиком, способным оценить вероятность того, что эти удачи – не просто воля случая».
«Выборка слишком маленькая, чтобы делать выводы. Давайте не будем следовать закону малых чисел».
«Я планирую держать результаты эксперимента в тайне, пока у нас не будет достаточно большой выборки, иначе нас заставят сделать выводы раньше времени».
11
Эффект привязки
Мы с Амосом как-то раз подкрутили рулетку, размеченную от 0 до 100, таким образом, что она останавливалась только на цифрах «10» или «65». Участниками эксперимента стали студенты Орегонского университета. Мы раскручивали колесо и просили испытуемых записать число, на котором останавливалась рулетка (то есть 10 или 65). Затем мы задавали им два вопроса:
Мы изучали весьма распространенный и очень важный для повседневной жизни феномен. Он называется эффект привязки и проявляется, когда перед оценкой неизвестного значения испытуемые сталкиваются с произвольным числом. Этот эксперимент дает одни из самых надежных и стабильных результатов в экспериментальной психологии: оценки не отдаляются от рассмотренного числа, отсюда и образ привязки к определенной точке. Если вас спросят, был ли Ганди на момент смерти старше 114 лет, ваша оценка будет выше, чем если бы в вопросе фигурировала цифра 35. Думая о том, сколько заплатить за дом, вы попадаете под влияние запрошенной цены. Один и тот же дом при более высокой заявленной стоимости будет казаться лучше, даже если вы твердо настроены не поддаваться, и так далее – перечень примеров бесконечен. Эффект привязки возникнет независимо от того, какое число вам предложат рассмотреть в качестве возможного решения.
Эффект привязки впервые замечен не нами, однако именно наш эксперимент впервые показал абсурдность подобной реакции: на суждения испытуемых влияли неинформативные числа. Эффект привязки, возникающий под воздействием рулетки, никак нельзя было назвать рациональным. Мы с Амосом опубликовали результаты эксперимента в журнале Science, и эта статья стала одной из самых известных наших публикаций.
Проблема заключалась в том, что мы с Амосом не сходились во мнениях о психологической подоплеке эффекта привязки. Он поддерживал одну интерпретацию, мне нравилась другая, и мы так и не нашли способа разрешить противоречие. Спустя десятилетия усилиями множества исследователей ответ найден. Сейчас понятно, что мы оба были правы. Эффект привязки порождают два разных механизма – по одному для каждой из систем. Одна форма привязки проявляется в целенаправленном процессе корректировки, то есть в действии Системы 2. Привязка через прайминг представляет собой автоматическую реакцию Системы 1.
Доля африканских стран среди членов ООН больше или меньше числа, которое вы только что записали?Рулетка – даже неподкрученная – не может сообщить никакой полезной информации, поэтому испытуемым нужно было ее проигнорировать. Но средняя оценка, которую дали испытуемые, увидевшие цифру 10 или 65, была 25 и 45 % соответственно.
По вашему мнению, какую долю составляют африканские страны среди членов ООН?
Мы изучали весьма распространенный и очень важный для повседневной жизни феномен. Он называется эффект привязки и проявляется, когда перед оценкой неизвестного значения испытуемые сталкиваются с произвольным числом. Этот эксперимент дает одни из самых надежных и стабильных результатов в экспериментальной психологии: оценки не отдаляются от рассмотренного числа, отсюда и образ привязки к определенной точке. Если вас спросят, был ли Ганди на момент смерти старше 114 лет, ваша оценка будет выше, чем если бы в вопросе фигурировала цифра 35. Думая о том, сколько заплатить за дом, вы попадаете под влияние запрошенной цены. Один и тот же дом при более высокой заявленной стоимости будет казаться лучше, даже если вы твердо настроены не поддаваться, и так далее – перечень примеров бесконечен. Эффект привязки возникнет независимо от того, какое число вам предложат рассмотреть в качестве возможного решения.
Эффект привязки впервые замечен не нами, однако именно наш эксперимент впервые показал абсурдность подобной реакции: на суждения испытуемых влияли неинформативные числа. Эффект привязки, возникающий под воздействием рулетки, никак нельзя было назвать рациональным. Мы с Амосом опубликовали результаты эксперимента в журнале Science, и эта статья стала одной из самых известных наших публикаций.
Проблема заключалась в том, что мы с Амосом не сходились во мнениях о психологической подоплеке эффекта привязки. Он поддерживал одну интерпретацию, мне нравилась другая, и мы так и не нашли способа разрешить противоречие. Спустя десятилетия усилиями множества исследователей ответ найден. Сейчас понятно, что мы оба были правы. Эффект привязки порождают два разных механизма – по одному для каждой из систем. Одна форма привязки проявляется в целенаправленном процессе корректировки, то есть в действии Системы 2. Привязка через прайминг представляет собой автоматическую реакцию Системы 1.
Эффект привязки как способ корректировки
Амосу нравилась идея эвристического метода привязки и корректировки как стратегии оценки неизвестных величин: начинаем с числа-«привязки», оцениваем, насколько оно мало или велико, и постепенно корректируем собственную оценку, мысленно «отходя от привязки». Корректировка, как правило, заканчивается преждевременно, поскольку люди останавливаются, потеряв уверенность, что нужно двигаться дальше. Спустя десятилетия после нашего спора, через годы после смерти Амоса, психологи Эльдар Шафир и Том Гилович, тесно сотрудничавшие с ним в начале своей карьеры, вместе со своими студентами – интеллектуальными потомками Амоса! – независимо друг от друга представили убедительные доказательства такого процесса.
Возьмите лист бумаги и проведите от нижнего края вверх линию длиной в 6 см – без линейки. Теперь возьмите другой лист и начертите на нем – от верхнего края вниз – линию, на 6 см не доходящую до противоположного края. Сравните нарисованное. Весьма вероятно, что ваша первая оценка шести сантиметров окажется короче второй. Это потому, что вы точно не знаете, как выглядит такая линия, – существует некоторая неопределенность. Начиная снизу, вы останавливаетесь у нижней границы области неопределенности, а начиная сверху – у верхней. Робин Ле Беф и Шафир нашли множество примеров применения этого механизма в повседневной жизни. Недостаточное уточнение хорошо объясняет, почему вы склонны ехать слишком быстро, въезжая в город с трассы, особенно если беседуете за рулем. Именно в нем скрыт источник конфликта между разгневанными родителями и подростками, слушающими громкую музыку. Ле Беф и Шафир говорят, что «подросток, из лучших побуждений приглушающий исключительно громкую музыку по требованию родителей, может не подстроиться до относительно высокого уровня привязки и в итоге ощутить, что на искренние попытки компромисса никто не обращает внимания». И водитель, и подросток подстраиваются целенаправленно, но недостаточно.
Возьмите лист бумаги и проведите от нижнего края вверх линию длиной в 6 см – без линейки. Теперь возьмите другой лист и начертите на нем – от верхнего края вниз – линию, на 6 см не доходящую до противоположного края. Сравните нарисованное. Весьма вероятно, что ваша первая оценка шести сантиметров окажется короче второй. Это потому, что вы точно не знаете, как выглядит такая линия, – существует некоторая неопределенность. Начиная снизу, вы останавливаетесь у нижней границы области неопределенности, а начиная сверху – у верхней. Робин Ле Беф и Шафир нашли множество примеров применения этого механизма в повседневной жизни. Недостаточное уточнение хорошо объясняет, почему вы склонны ехать слишком быстро, въезжая в город с трассы, особенно если беседуете за рулем. Именно в нем скрыт источник конфликта между разгневанными родителями и подростками, слушающими громкую музыку. Ле Беф и Шафир говорят, что «подросток, из лучших побуждений приглушающий исключительно громкую музыку по требованию родителей, может не подстроиться до относительно высокого уровня привязки и в итоге ощутить, что на искренние попытки компромисса никто не обращает внимания». И водитель, и подросток подстраиваются целенаправленно, но недостаточно.