Темные данные. Практическое руководство по принятию правильных решений в мире недостающих данных

риск смерти от пневмонии. Система, не зная об особом подходе к таким пациентам, видела только то, что астматики имели пониженный риск смерти от пневмонии. Вполне естественно, что она рекомендовала сразу отправлять их домой. Фундаментальная проблема здесь кроется в том, что алгоритм машинного обучения не видит всех значимых данных. И это весьма распространенная проблема, имеющая пагубные последствия.

Рич Каруана и его коллеги описали созданную ими систему на основе машинного обучения для прогнозирования вероятности смерти пациентов, больных пневмонией. В основном прогнозы оказывались точными, если только у пациентов вдобавок не было астмы13. В таких случаях система предсказывала, что риск смерти от пневмонии намного ниже, чем если бы астмы не было. Казалось, это полностью противоречит здравому смыслу: каким образом осложнения, мешающие дыханию, могут улучшить ситуацию? За этим стояло либо крупное научное открытие некоего биологического механизма, помогающего астме противостоять пневмонии, либо непредвиденные темные данные, которые вводили в заблуждение и делали выводы недостоверными. Тщательный анализ показал, что система машинного обучения действительно имела слабые места, а ее прогнозы были следствием темных данных. На деле пациенты с астмой в анамнезе были подвержены особенно высокому риску, и их сразу направляли в отделение интенсивной терапии, где они получали первоклассное лечение. И лечение это было настолько эффективным, что снижало

Странный феномен, заставляющий нас ожидать того, что хорошие показатели должны ухудшиться, а плохие улучшиться, даже если процесс остался неизменным, называется возвратом к среднему