Отзывы на книгу «Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет»

Это самая сложная для меня книга, из прочитанных за прошлый год. Её чтение растянулось примерно на два месяца, при том что параллельно я больше ни за что не бралась. И в то же время несомненно полученные знания стоили затраченных усилий.

В центре исследования Нейта Сильвера - прогнозы. Прогнозы как вещь в себе, как один из способов познания окружающего мира. Именно поэтому он стремится раскрыть это понятие применительно к разным областям - начиная от политического прогнозирования и биржевых ставок и заканчивая попытками предугадать приход тайфуна или цунами. И если предсказательное поведение политических экспертов - вопрос мне знакомый и поэтому интересный, то, например, бейсбольные и покерные ставки, в силу того, что я равно далека от того и от другого - оказались сферой непонятной, а потому продвигалась я в ней с трудом. Впрочем, даже если вы не являетесь спецом во всем, подобно самому автору, то разнообразного ассортимента примеров, приведенных в книге, все равно будет достаточно для понимания вопроса.

Сильвер ставит перед собой задачу определить, какие факторы могут повлиять на достоверность наших предсказаний и последовательно переходит от одного пункта к другому - нехватка (или избыток) информации, влияние мнения большинства, ловушки нашей собственной психики и даже! мотивы выгоды или её отсутствия. Основными понятиями при этом являются те самые, что и вынесены в заголовок - сигнал и шум, истинные данные и все, что лишь кажется нам таковыми. По сути, от правильной пропорции и зависит достоверность любого прогноза, но тут как в поисках философского камня - проблема как раз том, чтобы эту пропорцию найти. Ах да, немало внимания Сильвер уделяет и самим определениям прогноза, предсказания и достоверности. Книга изобилует множеством сносок и цитатами из огромного количества источников - библиография в конце занимает несколько десятков страниц. Это превращает публицистическое по своему жанру произведение в своего рода научный труд. Читать его непросто и к этому следует быть готовым. Руководствуясь собственным опытом, я бы посоветовала найти для такого чтения отдельное время и стараться поглощать книгу по главе или пол-главы за "подход", в противном случае нить повестования удержать проблематично, а при таком обилии материала это самое важное.

Что касается практического эффекта, то я, конечно, не могу сказать, что с тех пор выдаю какие-то особенно точные прогнозы. Однако книга действительно заставила меня относиться иначе к собственным умозаключениям, и если не разделять сигнал и шум, то по крайней мере пытаться это сделать. Учитывая то, насколько это трудно и то, что прогнозированием в той или иной степени ежедневно занимается мы все, такие попытки уже приносят свои плоды.

Нейт Сильвер, «Сигнал и шум. Искусство и наука прогноза». Интересно, что перед этим, остановившись у стойки художественной прозы, я взял в руки «Шум и ярость» Фолкнера и думал, не прочесть ли его на английском – вдруг то, что было столь тяжёлым в детстве на русском, как тот же Уайлдер, окажется прекрасным в оригинале. Тема шума, видимо, прочно окопалась в подсознании…

Так вот, Нейт Сильвер – тот самый человек, чьи записи в блоге 538 на сайте NYT я раз за разом рекламировал во время американской избирательной кампании 2012 года. Не только и не столько потому, что нужно, когда комментируешь выборы в реальном времени, ссылаться на последние опросы, а потому, что Сильвер после каждой манипуляции с данными подробно объяснял, что и как следует интерпретировать. Причём – здесь уже была заметна его уникальность – несмотря на то, что он работал на фантастически конкурентном рынке, его комментарии почти целиком состояли из объяснений, как можно ошибочно придать прогнозу слишком чёткую интерпретацию. Не скромность – правильное понимание того, что такое прогноз и как соотносятся технические методы анализа данных и общая точность предсказаний.

Впрочем, и скромность тоже – в отличие от множества знаменитостей последнего времени, Сильвер говорит о решающей роли удачи в его собственной славе. Бейсбольный фанат с шести лет, он впервые прославился моделью, прогнозировавший бейсбольные исходы (не только матчи, но и конкретные успехи отдельных игроков). А это, оказывается, один из самых предсказуемых видов спорта вообще. Кстати, Сильвер не зря скромничает: когда он говорит про данные, с которыми работал, получается отлично, но вот когда он приводит примеры из мировой истории, бывают промахи.

… Книга начинается слегка неожиданно: в эпоху Big Data (как это сказать по-русски, чтобы было и точно, и ёмко, и коротко?) нам становится труднее получать и обрабатывать информацию. Наши мозги заточены на поиск стандартных закономерностей в потоке новых данных и мы чаще промахиваемся, если наша исходная модель оказывается неадекватной. А как можно этого избежать, если без простых стереотипов невозможно осваивать новые массивы сведений? Если мы участвуем в каком-то споре, мы всё сильнее встраиваем то, что узнали нового, в свои исходные предпосылки; новая, более полная информация часто разделяет, а не сближает позиции. Тем более, что в последние десятилетия появились каналы информации, «привязанные» к индивидуальному потребителю – от газет и телепередач, рассчитанных на узкие группы однородных читателей/зрителей, то настраиваемых лент новостей, RSS- и т.п.

Сильвер, приведя совсем немного общих соображений, переходит к примерам – он сам начинал с прогнозов в бейсболе и покере и достиг немалых успехов, а известным стал – в тридцать лет – после удачных политических прогнозов 2008 и 2012 годов (в частности, правильно предсказав чуть ли не все исходы кампаний в палате представителей). C бейсболом он, конечно, полный маньяк – многие математические мальчики увлекаются статистикой (и я с интересом вчитывался в год рождения-рост-вес всех игроков высшей лиги в 1985 году), но до такой степени… Однако ещё до этого есть популярное объяснение провалов прогнозистов в преддверии мирового финансового кризиса – и экономистов, и спецов из S&P и Moody. Те, кто интересовался этими вопросами, ничего нового не узнают, но те, кто только задумывается над тем, откуда берутся прогнозы и какие ошибки являются самыми типичными, узнают много интересного. А если подумают, и полезного.

Будущим экономистам – да всем, кто работает с данными, тоже полезно. Удивительно для «прикладника», Сильвер точно понимает, что не бывает работы с данными, тем более с «большими», без теории. Если исходная теория плохая (как предположения S&P о том, что ипотечные облигации слабо коррелированы), работа с данными не поможет. А ведь раз за разом слышишь на семинарах – «у нас не было никакой теории, мы просто поставили, какие нашлись, переменные в правую часть и посмотрите, что вышло». (Совет: такие доклады можно попросту игнорировать. Если у докладчика нет, хотя бы простой, теории, работа – скорее всего мусор.)

Есть книги, которые я рекомендую всем, кто интересуется тем, что интересно мне. Например, «Фрикономику» Дубнера и Левитта, захватывающий гимн экономическим инструментам анализа данных, всесильным и безошибочным. Но мне уже не раз приходилось писать, что вклад Левитта и его последователей в наше понимание того, как устроен мир, куда меньше, чем может показаться на первый взгляд. Конкистадорский подход к данным часто приводит к слишком сильной уверенности в выводах, основанных всего лишь на статистических коэффициентах. А теперь можно рекомендовать «Фрикономику» без ограничений – если за ней сразу идёт «Сигнал и шум» Нейта Сильвера.

Это книга о прогнозировании. А так как все делают прогнозы, то эта книга для всех.
Основная концепция это то что в любой современной области какую ни возьми присутствует как сигнал так и шум. Причем шум можем создавать мы сами своими предрасположенностями как Ежи и Лисы у Тетлока и усталый Каспаров. Или неправильно создавать оверфиттинг нашей модели ориентируясь на внешний шум. Или построить слишком простую модель, или слишком сложную. Или забыть её корректировать после событий которые влияют на сигнал. А за углом стоят Теория Хаоса с Теорией Сложности, которые перемалывают наши модели при каждом взмахе бабочки в Техасе и забытого десятого знака после запятой.
Всё это похоронит Большие Данные - кусок который мы хотим съесть нам не проживать.
И Нейт открывает нам дверь в чудесную Байесляндию где каждый корректирует свой прогноз, либо ставит на него всё. И тем самым мы можем хоть немного стать правдивее в наших прогнозах, чем есть сейчас.
Всё это суть, но завернуто всё это в интервью: с климатологами, которые оказывается одни из лучших прогнозистов, эпидимиологами, cпециалистами по землетрясением, игроками в покер, экономистами увидевшими пузырь на рынке недвижимости, создателями Deep Blue и помошником президентов по национальной безопасности.

Книга не научит строить точные прогнозы, но даст понимание, почему существующий прогноз столь плох и как можно его немного улучшить.

Первая попытка прочитать книгу была мной предпринята в году так в 2014, но поняв, что хочу читать ее более внимательно и ответственно, решила отложить на пару недель. И вот 2021 г. к книге я вернулась. И если в 2014 поражала актуальность глав про кризис на рынке ипотечного кредитования, что привело к Мировому финансовому кризису 2009 - 2013 гг., то в это прочтение самой актуальной стала глава про распространение заболеваний. Но начнем по порядку.

В книге 13 глав, разделенных неявно на 2 части.

Глава 1 посвящена проблемам Фондового рынка в 2008-2009 гг., причинам произошедшего и почему такого не ждали.

Глава 2 рассказывает о том, почему политологи-эксперты часто сильно ошибаются в прогнозах (на примере США и их политического устройства) и действительно ли их можно назвать "экспертами".

Глава 3 была для меня одной из самых трудных, т.к. рассказывала о бейсболе, учете статистики по игрокам и почему Moneyball действительно все изменим (если и не "все", то очень многое).

Глава 4 посвящена прогнозированию погоды, в том числе ураганов. На удивление синоптики за последние полвека значительно повысили точность прогнозирования. Нейт Сильвер и разбирает, почему им это удалось. И далее по книге моделирование погоды упоминается в качестве положительного примера.

А вот в главе 5 все не столь радужно. Глава посвящена предсказанию землетрясений и их амплитуды. И хотя подвижки к улучшению моделей есть, но землетрясения на Гаити 2010 г. особо не ждали. К сожалению, землетрясение на Гаити 14 августа 2021 г. показывает, что улучшения в этой сфере за последние 10 лет не прослеживается.

Глава 6 посвящена вопросу о том, насколько рациональны экономисты в своих прогнозах и можно ли обыграть рынок.

Глава 7 на момент прочтения вызвала наибольший резонанс. Она посвящена прогнозированию возникновения и распространения заболеваний, в основном гриппа, а в качестве примера берется "свиной" и "птичий" грипп, но... При описании условий распространения свиного гриппа:

Данные страны [страны Юго-Восточной Азии, такие как Китай, Индонезия, Таиланд и Вьетнам] часто становятся местом зарождения различных штаммов гриппа, вызывающих заболевания животных и потенциально способных привести к глобальной пандемии

Эта цитата зацепила при чтении и заставила с еще большим интересом продвигаться по статье дальше в реалиях лета 2021 г.

На этом первая часть книги завершается, а дальше:

Оставшаяся часть книги посвящена тому, как понемногу сделать их [аппроксимации при построении моделей] лучше

Оставшиеся главы 8-13 скорее посвящены тому как Теорема Байеса может помочь при прогнозировании, игре в покер (описано в том числе на основе личного опыта автора и может вызвать желание играть), в шахматы, особенно в шахматы с компьютером, игре на фондовом рынке и даже в борьбе с терроризмом.

Книга довольно насыщенная примерами, ссылками на исследование и описанием проблем прогнозирование. Но как я написала ранее, а вряд ли научит строить модели, но поможет улучшить уже существующие, либо понять почему добиться улучшения столь сложно.

Прогнозирование, вероятности и теорема Байеса - главные герои этой книги. Очень много примеров и достаточное количество теории (а также о разнице между предсказаниями и прогнозированием). На примере разных областей - где у ученых уже есть успехи, где топчемся на месте, и почему. И каковы влияния шума и сигнала в наших прогнозах.
Спасибо автору, что собрал области по главам - ибо, признаюсь честно, несколько пропустила - мне совершенно не интересны бейсбол и покер, да и американские выборы волнуют не слишком сильно (разве что вызывают укол зависти - там есть выборы, результат которых можно прогнозировать и ошибиться!).
А вот части про метеорологию, сейсмологию, эпидемиологию (правда, написано до ковида) - это прямо вот с удовольствием прочитала. Помимо прочего, есть главы о фондовых рынках, терроризме, шахматах - в общем, практически на любой вкус. Ах да, еще глобальное потепление, куда же без него нынче.
Без чрезмерного разжевывания, и без слишком зубодробительного ухода в дебри статистики - баланс, на мой взгляд, соблюден.