Новая модная профессия: аналитик данных

Самой привлекательной профессией в ближайшие десять лет будет профессия статистика.

Хэл Вэриен, главный экономист Google и профессор Калифорнийского университета в Беркли, 2009 год

Альтернатива прогнозированию будущего – анализ прошлого… а для этого нужно всего лишь иметь хорошую память.

Шелдон Купер, физик-теоретик, главный персонаж телесериала «Теория Большого взрыва»

Но прибыль – не единственный мотиватор. Источник энергии, главная сила, движущая эту махину вперед, – это «Сила умников»! Я имею в виду специалистов-практиков и их энтузиазм. По правде говоря, моя страсть к прогнозной аналитике проистекает вовсе не из ее ценности для организаций. Я занимаюсь этим ради собственного удовольствия. Идея, что машины действительно могут учиться, завораживает меня, и гораздо больше меня интересует то, что происходит внутри черного ящика, чем полезность происходящего для внешнего мира. Возможно, именно этот движущий мотив и отличает настоящего «умника» от других людей. Мы любим технологии; мы одержимы ими. Показательный пример: ведущее программное обеспечение с открытым исходным кодом, используемое в прогнозной аналитике, название которой состоит из одной буквы R (умники любят такие странные названия), имеет быстро расширяющуюся базу пользователей и добровольцев-разработчиков, которые совершенствуют его функциональные возможности и обеспечивают поддержку. Огромное число профессионалов и любителей стекаются на публичные конкурсы в сфере ПА, для которых характерен дух не столько состязательности, сколько сотрудничества. Мы работаем в организациях или консультируем их. Мы – востребованные специалисты, поэтому много летаем. И летаем высшим классом.

Искусство обучения

Что вы делаете с вашим ЦП [центральным процессором],
Чтобы в полной мере реализовать его потенциал?
Используйте ваш мозг с умом,
Чтобы его производительность росла
в геометрической прогрессии.
Если вы хотите сделать свой компьютер умнее,
Есть один только путь —
Саморазвитие путем проб и ошибок.

Из стихотворения автора этой книги «Научитесь этому!»

Много лет назад человечество создало Совершенную универсальную машину и, следуя необъяснимому порыву преуменьшить гениальность своего творения, дало ему имя «компьютер» (первоначально в английском языке это слово означало человека, производящего вычисления вручную). Эта машина могла выполнять любой бесконечный набор сложнейших инструкций без единой ошибки и жалобы, и за несколько десятилетий ее скорость и возможности возросли настолько, что человечество могло только восклицать: «Черт возьми, неужели мы это сделали?!» Этому фантастическому устройству гораздо больше подошло бы величественное название La Machine, но по иронии судьбы через несколько десятков лет это имя было даровано кухонному комбайну (я не шучу). Какая жалость. «Что мы должны делать с компьютером? Каков его истинный потенциал, и как нам использовать его в полной мере?» – в изумлении спрашивало себя человечество.

Между компьютером и нашим головным мозгом есть нечто общее, что, с одной стороны, наделяет их тайной, а с другой – делает в наших глазах чем-то абсолютно естественным и само собой разумеющимся. Если, размышляя над этим предложением, вы слышали, как мимо вас пролетела муха, вы понимаете, о чем я говорю. И мозг, и компьютер работают в тишине. Их механизмы не издают ни звука. Да, у компьютеров есть дисководы и вентиляторы, которые могут издавать некоторый шум, – так же как ваша голова, в которой заключен ваш мозг, может издавать сопение, чихи и храпы, – но вся основная работа осуществляется ими без участия «движущихся частей», так что эти усилия происходят абсолютно бесшумно и незаметно. В результате вывод информации на монитор или появление гениальных идей в вашем уме могут показаться настоящим чудом^[3].

И наш головной мозг, и компьютер обладают поистине дьявольской мощностью. Так можно ли запрограммировать компьютер таким образом, чтобы научить его думать и чувствовать или сделать по-настоящему разумным? Кто знает? В лучшем случае это можно рассматривать как стимулирующие философские вопросы, на которые трудно дать ответ; в худшем – сделать их мерой успеха, который вследствие своей субъективности всегда будет оставаться недосягаемым. К счастью, в одном из вопросов у нас есть полная ясность: компьютеры обладают одной поистине впечатляющей, ключевой способностью, присущей человеку, – они умеют учиться.

Но как? Оказывается, что обучение – умение делать общие выводы на основе частных наблюдений – непростая задача. Это глубокая философская проблема. Задача машинного обучения состоит в том, чтобы находить закономерности, которые проявляются не только в имеющихся данных, но и в общем, за их пределами, чтобы результат обучения был верен и в новых ситуациях, которые ранее никогда не возникали. По сути, именно способность к выявлению таких закономерностей и обобщению является волшебной пилюлей ПА. Разработка методов машинного обучения – настоящее искусство. Чуть дальше мы более подробно остановимся на этой теме, а сейчас я дам вам одну подсказку. Компьютер узнает о том, как вы вероятнее всего поведете себя в той или иной конкретной ситуации, изучая других людей, а не вас.

Продолжая засыпать вас головоломками, я хочу загадать еще одну загадку: что часто происходит с нами, чего нельзя наблюдать и в отношении чего нельзя быть уверенным в том, что это произойдет с нами снова, – но что может быть спрогнозировано заранее? Ответ на загадку вы найдете в последней главе этой книги.

Извлечение информации из данных с целью прогнозирования – это только первый шаг. Сделать следующий шаг и начать действовать на основе прогнозов – вот где требуется настоящая смелость. Как вы узнаете из захватывающей истории, которую я расскажу вам в главе 1, применение прогнозной аналитики в реальной деятельности по остроте ощущений сопоставимо с запуском ракеты в космос.

Глава 1
Ракета прогнозной аналитики: три, два, один, старт!

Сколько смелости нужно для того, чтобы внедрить прогнозную аналитику в реальную практическую деятельность? И какое вознаграждение это сулит? Что происходит, когда человек ставит все сбережения на разработанную им лично предикативную модель для торговли на фондовом рынке? Внедрить прогнозную аналитику – значит не только составлять прогнозы, но и действовать на их основе, применяя на практике извлеченные из данных знания. Это решительный шаг – но вы не сможете выиграть, если не будете играть.

В середине 1990-х годов один амбициозный молодой исследователь понял, что он не может больше ждать. Посоветовавшись с женой, он поставил все семейные сбережения на торговую систему, основанную на хитроумной модели прогнозирования динамики фондового рынка, которую он разработал в свободное от основной работы время. Подобно доктору Генри Джекилу, смело выпившему намешанное им непроверенное зелье, доктор Джон Элдер решительно сказал: «Поехали!»

Всегда страшно пробовать что-то новое, а тем более испытывать новую технологию. Запуск космического корабля может быть символом технологического величия и предметом национальной гордости, но за кадром остается небольшая группа жен астронавтов, которые в этот момент испытывают сильнейший страх за своих мужей. Астронавты же, по сути, добровольно обрекают себя на роль подопытных кроликов в колоссальном по размаху и важности эксперименте; они готовы пожертвовать собой ради того, чтобы стать частью истории.

Великие задачи рождают великие достижения. Мы уже совершили прогулку по Луне, а недавно первой негосударственной организации была вручена премия в размере $10 млн за разработку пилотируемого космического корабля многоразового использования. Мы вступаем в эпоху беспилотных автомобилей с системами автоматического управления – «Мам, посмотри, я не держусь за руль!» Сжигая в своих двигателях миллионы долларов всевозможных грантов и премий, эти машины самостоятельно рулят по улицам кампусов Google и BMW.

Замените рев ракеты на ряды данных, и перед вами откроется не менее головокружительная перспектива, чем возможность проникнуть за пределы Земли в космическое пространство, – а именно возможность проникнуть за пределы настоящего и заглянуть в будущее. Преодоление границы между настоящим и будущим – занятие ничуть не менее захватывающее, чем выход в космос, но менее опасное (космос – это вакуум, а вакуум убивает). Миллионы призовых долларов выделяются на то, чтобы научиться избегать ненужной госпитализации каждого отдельно взятого пациента или точно прогнозировать уникальные предпочтения конкретного потребителя. Телевикторина Jeopardy! (российский аналог – «Своя игра») вручила приз в $1,5 млн создателям компьютера, победившего в поединке между человеком и машиной, что стало возможным благодаря значительному прогрессу в способности машины прогнозировать правильные ответы на вопросы. (Разумеется, IBM вложила гораздо больше денег для достижения этой победы, но более подробно об этом вы узнаете в главе 6.) Прибегая к помощи прогнозных аналитиков, организации удерживают детей в школах, обеспечивают приток новых клиентов и предотвращают совершение преступлений. Без преувеличения можно сказать, что благодаря прогнозной аналитике одерживаются победы на политических выборах, чемпионатах по бейсболу и… я еще не упоминал об управлении финансовым портфелем?

Биржевая торговля при помощи «черных ящиков», т. е. механических торговых систем, автоматически принимающих решения о проведении операций на рынке, – это cвятой Грааль принятия решений на основе данных. Черный ящик – это компьютерная программа, которая анализирует поступающие в нее потоки текущих финансовых данных и выдает приказы (или рекомендации) по покупке, продаже или удержанию бумаг. Он называется черным, поскольку до тех пор, пока он принимает правильные решения, вас не волнует, что происходит внутри него. Будучи работоспособным, он затмевает собой любой другой бизнес, возможный в этом мире: ваш компьютер становится устройством, превращающим электричество в деньги.

Для Джона Элдера запуск собственной торговой системы требовал немалого мужества. Даже если технология прогнозирования изменений на фондовом рынке будет огромным шагом вперед для человечества, для самого Джона этот шаг был совсем не маленьким. Для этого момента можно было подобрать множество метафор. Идя ва-банк и складывая все яйца в одну аналитическую корзину, Джон принимал большую дозу изобретенного им же лекарства.