yandex rtb 1
ГоловнаЗворотній зв'язок
yande share

Одураченные случайностью

ТАИНСТВЕННОЕ ПИСЬМО

Вы получаете анонимное письмо, 2-ого января, сообщающее Вам, что рынок будет повышаться в течение месяца. Это оказывается правдой, но вы игнорируете его, вследствие известного эффекта января (исторически, акции повышались в течение января). Тогда вы получаете другое письмо, 1-ого февраля, сообщающее вам, что рынок понизится. Снова, это оказывается правдой. Потом вы получаете другое письмо, 1 -ого марта - та же история. К июлю вы заинтригованы предвидением анонимного человека и вас просят вложить капитал в специальный оффшорный фонд. Вы вкладываете туда все ваши сбережения. Двумя месяцами позже, ваши деньги пропали. Вы проливаете слезы на плече вашего соседа и он сообщает вам, что он помнит, что он получил два таких таинственных письма. Но почтовые послания остановились на втором письме. Он вспоминает, что первое предсказание был правильным, а второе - нет.

Что случилось? А трюк в следующем. Мошенник-оператор тянет 10,000 имен из телефонной книги. Он отправляет бычье письмо одной половине выборки, и медвежье - другой половине. В следующем месяце, он выбирает имена людей, кому он отправил письма с правильным предсказанием, то есть 5,000 имен. В следующем месяце он делает то же самое для оставшихся 2,500 имен, пока список не сузится до 500 человек. Из них 200 будут жертвами. Инвестиция нескольких тысяч долларов в почтовые марки превратится в несколько миллионов.

168

ПРЕРВАННАЯ ИГРА В ТЕННИС

Часто, при просмотре теннисной игры по телевидению, вас засыпают рекламными объявлениями от фондов, которые сделали (до этой минуты) лучший результат, больший на некоторый процент, чем у других, в течение некоторого периода. Но, опять, разве рекламировался бы кто-нибудь, если бы он не переиграл рынок? Существует довольно высокая вероятность инвестиции, ищущей вас, что ее успех полностью вызван случайностью. Такое явление экономисты и страховщики называют неблагоприятной селекцией. Оценка инвестиции, которая ищет вас, требует более строгих стандартов, чем оценка инвестиции, которую ищете вы, вследствие такого пристрастного выбора. Например, идя в когорту, составленную из 10,000 менеджеров, я имею 2/100 шанса для обнаружения поддельного, но оставшегося в живых. Оставаясь дома и отвечая на звонки в мою дверь, шанс ходатайствующей стороны, оказаться поддельной, но оставшейся в живых, ближе к 100%.

ПАРАДОКС ДНЯ РОЖДЕНИЯ

Наиболее интуитивный способ описать проблему выкапывания данных не статистику - через то, что называется парадоксом дня рождения, хотя это и не настоящий парадокс, а просто причуда восприятия. Если вы встречаете кого-то случайно, есть один шанс из 365.25, что ваши с ним дни рождения совпадают, и значительно меньший шанс совпадения с ним года рождения. Итак, тот же самый день рождения был бы совпадением, которое вы бы обсуждали за обеденным столом. Теперь посмотрим на ситуацию, в которой есть 23 человека в комнате. Каковы шансы, что там окажутся два человека с одинаковым днем рождения? Приблизительно 50%. Поскольку мы не определяем, у каких людей должны совпадать дни рождения, подходят любые пары.

МИР ТЕСЕН!

Подобное неправильное представление о вероятности возникает в результате случайных столкновений, которые могут произойти с родственниками или друзьями в самых неожиданных

169

местах. "Мир тесен" произносится часто и с удивлением. Но такие события не невероятны, хотя мир намного больше, чем мы думаем. Только мы не проверяем шансы встретить определенного человека, в определенном месте, в определенное время. Скорее, мы просто прикидываем шансы любой встречи, с любым человеком, которого мы когда-либо встречали в прошлом, в любом месте, которое мы посетим в течение интересующего периода. Вероятность последнего значительно выше, возможно, в несколько тысяч раз больше величины другого.

Когда статистик смотрит на выборку данных, чтобы проверить заданное соотношение, скажем, разведать корреляцию между возникновением данного события, типа политического заявления и волатильностью рынка акций, то шансы таковы, что результаты можно принимать всерьез. Но когда в компьютер забрасывают данные, в поисках любого соотношения, с уверенностью можно сказать, что появится ложная связь, типа зависимость рынка акций от длины женских юбок. И точно так же, как совпадения дней рождений, это поразит людей.

РАСКАПЫВАНИЕ ДАННЫХ, СТАТИСТИКА И ШАРЛАТАНСТВО

Какова вероятность для вас выиграть в Нью-джерсийской лотерее дважды? Один шанс из 17 триллионов. И все же это случилось с Эвелин Адаме, кого читатель мог бы считать избранной судьбой. Используя метод, который мы развивали выше, Перси Диаконис и Фредерик Мостеллер, из Гарварда, оценили шансы в 30 к 1, что кто-либо, где-нибудь, полностью неоднозначным способом, станет настолько удачливым!

Некоторые люди переносят свою деятельность по выкапыванию данных в богословие - в конце концов, древнее Средиземноморье имело обыкновение читать потенциальные сообщения по внутренностям птиц. Интересное расширение выкапывания данных на библейские толкования представлено в Коде Библии неким Майклом Дроснином. Дроснин, бывший журналист (по-видимому, не замешанный в любом обучении статистике), при содействии "математика", помог "предсказать" убийство премьер-министра Израиля Рабина, расшифровывая код

170

Библии. Он информировал Рабина, который, очевидно, не принял это слишком серьезно. Код Библии находит статистические нерегулярности в Библии, что помогает предсказывать некоторые такие события. Само собой разумеется, что книга имела хороший сбыт.

ЛУЧШАЯ КНИГА, КАКУЮ Я КОГДА-ЛИБО ЧИТАЛ!

Мое любимое времяпрепровождение проходит в книжных магазинах, где я бесцельно двигаюсь от книги к книге, в попытке принять решение относительно того, стоит ли тратить время на ее чтение. Мои покупки часто основаны на импульсах, базирующихся на поверхностных, но наводящих на размышления, ключах. Часто, лишь только суперобложка помогает мне принять решение. Они, обычно, содержат похвалу кого-то, известного или не очень, или выдержки из книжного обзора. Хорошая похвала известного и уважаемого человека или известного журнала, могла бы подвигнуть меня на покупку книги.

В чем проблема? Я имею тенденцию путать книжный обзор, который, как предполагается, является оценкой качества книги, с обзорами лучших книг, испорченными теми же самыми пристрастиями выживания. Я путаю распределение максимума переменной с распределением самой переменной. Издатель никогда не будет печатать на суперобложке что-либо, кроме лучших похвал. Некоторые авторы идут даже на шаг дальше, публикуя прохладный или даже неблагоприятный книжный обзор, но выбирая слова в нем, которые кажутся хвалебными для книги. Один такой пример - некий Пауль Вилмотт (английский финансовый математик редкого блеска и непочтительности), который сумел объявить, что я дал ему его "первый плохой обзор", и все же использовал выдержки из этого обзора, в качестве похвалы на суперобложке (позже мы стали друзьями, что позволило мне получить подтверждение от него).

Первый раз меня одурачило такое пристрастие при покупках в 16 лет. Это была книга Джона Дос Пассеса, американского автора, Манхэттэнское перемещение. И я основывался на похвале на суперобложке философа Жан-Поля Сартра, которая гласила в том смысле, что Дос Пассес был самый большой писатель нашего

171

времени. Эта простая ремарка, которую выпаливают возможно в состоянии опьянения или чрезвычайного энтузиазма, вызвала потребность чтения Дос Пассеса в европейских интеллектуальных кругах, поскольку ремарка Сартра была ошибочно принята за согласную оценку качества Дос Пассеса, вместо того, чем она являлась на самом деле - просто лучшей ремаркой. (Несмотря на получение Нобелевской премии по литературе, Дос Пассес вернулся во мрак.)

ТЕСТЕР ИСТОРИЧЕСКИХ ДАННЫХ

Программист помог мне построить тестировщик исторических данных или бэктестер. Это программа, связанная с базой данных исторических цен, которая позволяет мне проверять гипотетическую прошлую результативность любого правила для торговли средней сложности. Я могу просто применять механическое правило торговли, подобное покупке акции, если она закрывается более, чем на 1.83% выше её средней цены предыдущей недели и немедленно получаю идею относительно прошлой результативности такого правила. Экран высветит мой гипотетический отчет о сделках, связанных с этим правилом торговли. Если мне не нравятся результаты, я могу изменять процент, скажем, 1.2%. Я могу также сделать правило более сложным. Я буду продолжать пробовать, пока я не найду хорошо работающий набор правил.

Что я делаю? Точно та же самая задача поиска оставшихся в живых в пределах набора правил, которые, возможно, могут работать. Я приспосабливаю правило к данным. Такая деятельность называется выискиванием данных. Чем больше я пробую, тем больше вероятность простой удачной находки правила, которое работало на прошлых данных. Случайный ряд будет всегда представлять некоторую обнаружимую модель. Я убежден, что существует торгуемая ценная бумага в Западном мире, которая на 100% коррелированна с изменениями температуры в Улан-Баторе, столице Монголии.

Говоря технически, есть даже худшие расширения. Не давняя

I

172

I

выдающаяся статья Салливана, Тиммермана и Уайта30 идет дальше и полагает, что правила, которые могут успешно использоваться сегодня, могут быть результатом пристрастия выживания.

Предположим, что какое-то время, инвесторы экспериментировали с техническими правилами торговли, вытянутыми из очень широкого пространства - в принципе, тысячи параметризаций разнообразных типов правил. С течением времени, правила, которые, оказались исторически хорошо результативными, получают большее внимание и рассматриваются, как "серьезные соперники" инвестиционным сообществом, в то время как неудачные правила торговли, более вероятно, будут забыты .... Если рассматривается достаточное число правил торговли в течение времени, то некоторые правила, благодаря чистой удаче, далее в очень большой выборке, производят превосходный результат, даже если они совсем не обладают прогнозирующей властью над доходностью актива. Безусловно, вывод, основанный исключительно на подмножестве выживших правил торговли может вводить в заблуждение в этом контексте, так как он не учитывает полный набор начальных правил торговли, большинство из которых вряд ли будет иметь меньшую результативность.

Я вынужден порицать некоторую чрезмерность в тестировании исторических данных, которую я наблюдал в течение своей личной карьеры. Есть превосходный продукт, предназначенный только для этого, называемый Оте§а ТгаёеЗшюп, который предлагается в настоящее время на рынке и используется десятками тысяч трейдеров. Он даже предлагает свой собственный компьютерный язык. Борясь с бессоницей, компьютеризированные трейдеры стали тестировщиками, пропахивающими данные в поисках некоторых их свойств. Они бросают своих обезьянок на пишущие машинки, без того, чтобы определить, что за книгу они хотят, чтобы писала их обезьянка, и жаждут натолкнуться где-нибудь на гипотетическое золото. Многие из них слепо верят в это.

Один из моих коллег, человек с престижными степенями,

30 К.ЗиШуап, А/Пттегтпап, Н.\УЬие, 1999, Оа[а-5поорш§, 1есЬшса1 1гас1т§ ги!е регйэгтапсе апс! Ше ЪооЫгар, 1оигпа1 оГРтапсе, ОсюЪег

173

дошел в своей вере в такой виртуальный мир до точки полной потери всякого смысла реальности. Могла ли капелька здравого смысла, остававшаяся в нем быстро исчезнуть под насыпями моделирований или у него не оставалось ничего, я не могу сказать. Близко наблюдая его, я узнал, что естественный скептицизм у него, возможно, исчез под весом данных - поскольку он был чрезвычайно скептичен, но в других областях. Ах, Юм!

БОЛЕЕ ТРЕВОЖНОЕ РАСШИРЕНИЕ

Исторически, медицина работала методом проб и ошибок -другими словами, статистически. Мы знаем к настоящему времени, что могут быть полностью случайные связи между симптомами и лечением и что некоторые лекарства успешно проходят медицинские испытания просто по случайным причинам. Я не могу претендовать на роль эксперта в лекарствах, но много читал медицинскую литературу в течение прошедших пяти лет. Достаточно долго, чтобы беспокоиться о стандартах, как мы увидим в следующей главе. Медицинские исследователи редко бывают статистиками, а статистики - медицинскими исследователями. Многие медики даже отдаленно не знают про это пристрастие. По правде, оно может играть несущественную роль, но оно, безусловно, существует. Одно недавнее медицинское исследование связывает курение сигарет с сокращением рака легких, таким образом, конфликтуя со всеми предыдущими исследованиями. Логика подсказывает, что результат может быть подозрителен и является простым совпадением.

СЕЗОН ОТЧЕТОВ: ОДУРАЧЕННЫЕ РЕЗУЛЬТАТАМИ

Аналитики Уолл-Стрит, в целом, обучены находить уловки бухгалтерского учета компаний, используемые для сокрытия их доходов. Они имеют тенденцию побеждать компании в такой игре. Но все же они не обучены иметь дело с случайностью. Когда компания показывает увеличение в доходах один раз, это не привлекает никакого внимания. Два раза - и название начинает появляться на компьютерных экранах. Три раза - и компания заслужит несколько рекомендаций на покупку.

Так же, как в проблеме отчета о сделках, рассмотрим когорту

174

из 10,000 компаний, о которых полагаем, что они способны лишь обеспечить только свободную от риска ставку (то есть ставку по' казначейским облигациям). Они вовлечены во все формы волатильных бизнесов. В конце первого года, мы будем иметь 5,000 "звездных" компаний, показывающих увеличение прибыли (предполагаем отсутствие инфляции) и 5,000 "собак". После трех лет, мы будем иметь 1,250 "звезд". Комитет наблюдения за акциями в инвестиционном доме даст вашему брокеру, их названия как рекомендацию "активно покупать". Тот оставит голосовое сообщение, что он имеет горячую рекомендацию, которая требует немедленного действия. Вам будет послан по электронной почте длинный список названий. Вы купите одно или два из них. Тем временем, менеджер, отвечающий за ваш пенсионный план, будет приобретать весь список.

Мы можем применить это рассуждение к выбору инвестиционных категорий - как если бы они были менеджеры в примере выше. Предположим, что вы ищете в 1900 году приложение для множества инвестиций. Есть рынки акций Аргентины, Имперской России, Великобритании, Объединенной Германии и множества других для анализа. Рациональный человек купил бы бумаги не только развивающейся страны Соединенные Штаты, но также и бумаги России и Аргентины. Остальная часть истории известна; в то время как многие из рынков акций, например, Великобритании и Соединенных Штатов развивались чрезвычайно хорошо, инвестор в Имперскую Россию имел бы в руках лишь не лучшего качества обои в руках. Страны, которые поживали хорошо - небольшая доля начальной когорты. Случайность позволит лишь нескольким инвестиционным классам поживать чрезвычайно хорошо. Интересно, знают ли об этой проблеме те "эксперты", которые делают дурацкие (и саморекламные) утверждения, типа "рынки всегда поднимаются в любом 20-летнем периоде".

СРЕДСТВА ОТ РАКА

Когда я возвращаюсь домой из азиатской или европейской поездки, временной сдвиг часто заставляет мне подниматься в очень ранний час. Иногда, хотя и очень редко, я включаю телевизор в поисках информации о рынке. Что обрушивается на

175

меня в этих утренних исследованиях, так это изобилие претензий продавцов нетрадиционных лекарств на лечебную силу их изделий. Без сомнения, это вызвано более низкой стоимостью рекламы в утреннее время. Чтобы доказать свои претензии, они представляют убедительное свидетельство кого-то, кто был вылечен благодаря их методам. Например, я однажды видел бывшего больного раком горла объяснявшего, как он был спасен комбинацией витаминов, продающихся за исключительно низкую цену 14.95 $ - по всей вероятности, он был искренен (хотя, наверное, компенсирован, возможно, с пожизненной поставкой ему этого лекарства). Несмотря на наш прогресс, люди все еще верят в существование связей между болезнью и лечением, основываясь на такой информации и нет никакого научного доказательства, которое могло бы убедить их сильнее, чем искреннее и эмоциональное свидетельство. Такое свидетельство не всегда появляется от обычного парня; утверждения Нобелевского лауреата (в другой области) могут легко удовлетворить. Линус Полинг, Нобелевский лауреат по химии, как считают, верил в лекарственные свойства витамина С и глотал его массивные ежедневные дозы. Своими задиристыми проповедями, он вносил вклад в общую веру в лечебные свойства витамин С. Многие медицинские исследования оказались не способны подтвердить претензии Полинга, но не были услышаны, поскольку было трудно развенчать свидетельство "Нобелевского лауреата", даже если у него не было квалификации, чтобы обсуждать вопросы, связанные с лекарствами.

Многие из этих претензий были безопасной внешней стороной финансовой прибыли шарлатанов - но многие раковые больные, возможно, заменили более исследованные, с научной точки зрения, терапии, в пользу таких методов и умерли в результате своего пренебрежения более ортодоксальными средствами (опять, ненаучные методы собраны под заголовком, который звучит, как "нетрадиционная медицина", то есть недоказанные терапии, и медицинское сообщество имеет трудности, убеждая прессу в том, что есть только одна медицина и что нетрадиционная медицина - не медицина). Читатель мог бы задаться вопросом о моих утверждениях, что пользователь таких изделий мог быть искренним, не понимая, что он был вылечен иллюзорным лекарством. Причина - так называемая "спонтанная

176

ремиссия", по которой очень маленькое число раковых больных, по причинам, которые остаются полностью спекулятивными, убивают раковые клетки и "чудесно" выздоравливают. Некоторый выключатель заставляет иммунную систему пациента уничтожить все клетка рака в теле. Эти люди были бы одинаково вылечены, выпив стакан ключевой воды из штата Вермонт или жуя высушенную говядину, как это они делали с красиво обернутыми пилюлями. Наконец, эти спонтанные ремиссии могли бы быть не столь спонтанны; они могли иметь причину, которую мы пока еще не в состоянии обнаружить.

Астроном Карл Саган, преданный поборник научного мышления и одержимый враг не-науки, исследовал излечения от рака, которые произошли после посещения местечка Лурд, во Франции, где люди лечились простым контактом со святыми водами и выяснил интересный факт, что из совокупного числа раковых пациентов, посетивших это место, процент излечившихся был ниже, чем статистическая доля спонтанных ремиссий. Он был ниже, чем среднее число выздоровлений среди тех, кто не ездил в Лурд! Должен ли статистик вывести здесь, что шансы раковых больных на выживание ухудшаются после посещения Лурда?

ПРОФЕССОР ПИРСОН ЕДЕТ В МОНТЕ-КАРЛО (БУКВАЛЬНО): СЛУЧАЙНОСТЬ НЕ ВЫГЛЯДИТ СЛУЧАЙНОЙ!

В начале двадцатого столетия, когда мы начали развивать техники, имеющие дело с понятием случайных результатов, несколько методов были разработаны для обнаружения аномалий. Профессор Карл Пирсон (из дуэта Нейман-Пирсон, знакомого каждому человеку, кто учился статистике) изобрел первый тест на неслучайность (в действительности, это был тест на отклонение от нормальности, что было то же самое для всех намерений и целей). Он исследовал миллионы пробегов Монте-Карло (старое название колеса рулетки) в течении июля 1902. Он обнаружил, что, с высокой степенью статистической значимости (с ошибкой меньше, чем один к миллиарду), пробеги были не вполне случайны. Что?! Колесо рулетки не было случайным! Профессор Пирсон был очень удивлен открытием. Но этот результат, сам по себе, не сообщает нам ничего. Мы знаем, что нет такой вещи как чисто случайное испытание, поскольку результат

177

испытаний зависит от качества оборудования. С достаточным знанием мелочей можно быть способным раскрыть где-нибудь неслучайность (то есть колесо, возможно, не было совершенно сбалансировано или, возможно, шарик не был идеально сферическим). Философы статистики называют это проблемой сопутствующих ссыпок, объясняя, что на практике нет никакой истинной, достижимой случайности, только в теории. Кроме того, менеджер спросил бы, а может ли такая неслучайность вести к каким-либо значимым прибыльным правилам. Если я должен ставить в азартной игре 1 $ на 10,000 попыток и ожидаю сделать 1$ в результате моих усилий, то мне будет лучше найти работу на полставки в дворницком агентстве.

Но результат несет другой подозрительный элемент. В более практической плоскости - вот следующая серьезная проблема неслучайности. Даже отцы статистической науки забыли, что случайный ряд испытаний не обязан показывать модель, выглядящую случайной; фактически, данные, которые являются совершенно бессистемными, были бы чрезвычайно подозрительными и, кажется, сделанными человеком. Отдельный случайный пробег обязан показать некоторую модель - если смотреть достаточно умело. Обратите внимание, что профессор Пирсон был среди первых ученых, которые были заинтересованы в создании искусственных генераторов случайных данных, таблиц, которые можно было использовать в качестве входов для различных научных и технических моделирований (предшественники нашего генератора Монте-Карло). Проблема состоит в том, что они не хотели, чтобы эти таблицы показывали любую форму регулярности. Все же реальная случайность не выглядит случайной!

Я бы иллюстрировал пункт далее изучением явления, известного как раковые кластеры. Рассмотрим квадрат с 16 случайными дротиками, поражающими его с равной вероятностью попадания в любое место в этом квадрате. Если мы делим квадрат на 16 меньших квадратов, то ожидается, что каждый меньший квадратик будет содержать один дротик в среднем - но только в среднем. Существует очень маленькая вероятность наличия 16 дротиков точно в 16 различных квадратиках. Средняя сетка будет иметь больше, чем ,один дротик в нескольких квадратиках, и никакого дротика вообще во многих остальных квадратиках. Это будет исключительно редкий инцидент, который никакой (раковый) кластер не показал бы на сетке. Теперь, накроем нашей сеткой с воткнутыми дротиками, карту любой

178

области. Некоторые газеты объявят, что одна из зон (та, что с большим, чем среднее, числом стрелок) содержит радиацию, которая вызывает рак, побуждая адвокатов начинать ходатайствовать за пациентов.

СОБАКА, КОТОРАЯ НЕ ЛАЕТ: ПРИСТРАСТИЯ В НАУЧНОМ

 

29