Цитаты из книг автора «Маркус дю Сотой»

приз Netflix. Ее члены решили попытаться выделить тень в 20 измерениях, соответствующих 20 независимым характеристикам фильмов, которые должны были помочь предсказывать, какие фильмы нравятся пользователям. Преимущество компьютера в том, что он может перебрать целый спектр разных теней и выбрать ту из них, которая лучше всего отражает структуру, чего наш мозг и наши глаза никак не могут сделать. Интересно отметить, что некоторые из характеристик, которые выбрала эта модель, были вполне явными – например, выделение боевиков или кинодрам. Но другие были гораздо менее заметными и трудноопределимыми. Тем не менее компьютеру удалось найти в данных закономерность

Если посмотреть на названия реальных фильмов, отображенных на графике, легко увидеть, что эта тень действительно отражает характеристики, которые мы посчитали бы ясными отличительными чертами фильма. В правом верхнем квадранте оказываются кинодрамы, а в левом нижнем – боевики. Именно этот подход применила команда, которой в конце концов и достался в 2009 году

Нужно только найти правильную тень, в которой будут видны основополагающие характеристики фильмов и пользователей. Ниже приведен пример такой тени, созданной на основе данных Netflix по 100 пользователям и 500 фильмам. Видно, что тень выбрана правильно, потому что две характеристики, которые она оценивает, по-видимому, выражаются весьма отчетливо. Это видно из того, что точки не разбросаны по всей плоскости. Тень выявляет в данных некую закономерность. Мо

Однако необработанные данные могут рассказать о себе поразительно много. Представим каждого пользователя точкой в 17 770-мерном пространстве, в котором каждое измерение соответствует какому-то одному фильму, а положение точки в каждом из измерений соответствует оценке, которую пользователь поставил этому фильму. Конечно, если вы не математик, представление пользователей точками в пространстве с 17 770 измерениями кажется задачей несколько непомерной. Но на самом деле это просто расширение графического представления пользователей, которое вы использовали бы, если бы речь шла об оценках всего лишь трех фильмов.

атель номер 234 654 оценил фильм номер 2666. Чтобы сделать соревнование более острым, первой команде, алгоритм которой опередит алгоритм Netflix на 10 %, был обещан приз 1 000 000 долларов. Хитрость заключалась в том, что победитель был обязан опубликовать свой алгоритм и предоставить Netflix неисключительное право на его использование для выработки рекомендаций фильмов клиентам компании. По пути к миллионному призу присуждалось несколько призов за продвижение к цели. Каждый год команда, добившаяся на этот момент самых лучших результатов, получала приз 50 000 долларов при условии, что она обошла прошлогоднего лауреата этого приза по меньшей мере на 1 %. Чтобы получить этот приз, участники также должны были обнародовать код, который они использовали в работе своего алгоритма. Можно подумать, что эта задача была почти невыполнимой, раз нельзя было узнать даже, какого жанра фильм скрывается под номером 2666 – фантастика или романтическая комедия.

стимулировать изобретение более совершенных алгоритмов. К этому моменту у Netflix имелось огромное количество данных, полученных от пользователей, которые смотрели фильмы и выставляли им оценки от 1 до 5. Компания решила опубликовать 100 480 507 оценок 17 770 фильмов, поставленных 480 189 анонимными пользователями. Задача усложнялась тем, что названия этих 17 770 фильмов не разглашались. Каждый фильм был обозначен только номером. Узнать, какой фильм скрывается под номером 2666 – «Бегущий по лезвию» Помимо 100 млн опубликованных оценок у Netflix осталась еще 2 817 131 оценка, державшаяся в секрете. Задачей участников состязания было создать алгоритм, который сумел бы предсказать эту 2 817 131 рекомендацию на 10 % точнее, чем собственный алгоритм Netflix. Исходя из показанных ему данных, алгоритм должен был суметь угадать, как пользо

В случае с базой данных кинофильмов можно попросить кого-нибудь просмотреть ее и выбрать ключевые характеристики – например, отобрать романтические комедии или научно-фантастические фильмы или, скажем, фильмы определенных режиссеров или с определенными актерами. Но такого рода организация далеко не идеальна. Она отнимает много времени. Она может отражать личные пристрастия тех, кто занимается классификацией, и в результате может научить компьютер тому, что мы и так уже знаем, а не выявить новые скрытые тенденции. Она может привести к тому, что алгоритм усвоит взгляд на данные, присущий определенным людям. Лучше всего учить алгоритм распознавать и выявлять закономерности на совершенно сырых, необработанных данных. Именно этого пыталась добиться компания Netflix, объявившая в 2006 году соревнование под названием Netflix Prize. Она разработала свой собственный алгоритм для предложения пользователям фильмов, которые должны им понравиться, но считала, что состязание может

Нынешние алгоритмы непрерывно учатся. В особенности это относится к рекомендательным алгоритмам, которым мы доверяем выбирать то, что мы смотрим, читаем и слушаем. Когда новый пользователь взаимодействует с таким алгоритмом, сообщая ему о своих предпочтениях, алгоритм получает новые данные для обучения, которое помогает уточнять рекомендации для следующих пользователей.

Знание основывается не только 6

. Ему уже незачем изменяться, так как он уже хорошо делает то, для чего он создан. Но другим алгоритмам, возможно, придется продолжать приспосабливаться к новым представлениям и изменениям окружающего их мира. Алгоритмы, рекомендующие фильмы, которые нам, возможно, захочется посмотреть, книги, которые нам, возможно, захочется прочитать, музыку, которую нам, возможно, захочется послушать, должны быть достаточно расторопными, чтобы реагировать на изменения наших вкусов и на поток новых творческих произведений, порождаемых человеческим кодом.