Цитаты из книг автора «Кирилл Еременко»

Процесс состоит из пяти этапов: Представьте выводы.

World Bank Data. Данные Всемирного банка — ценный ресурс глобальных данных о развитии. European Union Open Data Portal. Портал открытых данных Европейского союза — правительственные данные государств — членов ЕС. Million Song Dataset. Сборник метаданных и аудиозаписей популярной музыки. The CIA World Factbook. Всемирный справочник ЦРУ — массивы данных из 267 стран по темам от истории до инфраструктуры. National Climatic Data Center. Национальный центр климатических данных — сведения об окружающей среде США.

Что каждый из участников проекта думает о проблеме? Каковы грани этой проблемы?Какие отделы должны быть в фокусе моего внимания?В чем могут быть первопричины проблемы?Считают ли участники, что я должен поговорить с кем-либо еще? Я с ними разговаривал?Где находятся данные и кто за них отвечает? Что будет означать успех этого проекта?

выявление проблемы, как правило, является наиболее часто игнорируемой частью проектов, использующих данные.

Имея дело с данными, мы располагаем преимуществом делать выводы из фактических доказательств, и потраченное на формулировку вопроса время поможет нам получить точный ответ, не зависящий от собственных и чужих предположений.

Процесс анализа и обработки данных

Я настоятельно призываю вас использовать эти общедоступные массивы данных для проверки своих навыков и проведения собственных анализов. В практике нет кратчайшего пути. Многое из того, что вы делаете, особенно на начальном этапе, будет включать в себя пробы и ошибки. Лучший способ приучить себя отстраненно думать о решении проблем с помощью данных — повысить свою открытость различным сценариям, другими словами, различным массивам данных.

В качестве упражнения просто введите в поисковике слова «бесплатные массивы данных» / «free datasets» — и найдете множество сайтов, которые позволяют скачать их CSV-файлы (файлы для хранения табличных данных), готовые для анализа. Учитывая огромное количество и диапазон данных, от космических исследований NASA до комментариев Reddit или даже спортивных данных (баскетбол, футбол, бейсбол), я уверен, что вы найдете что-то ценное и интересное .

Это еще один важный фактор для аналитиков данных: если вы хотите получить возможность запустить проект по обработке и анализу данных, вам придется научиться разговаривать с нужными людьми. Это часто будет означать расспросы вашей команды и потенциальной зоны комфорта. Данные ничего не скажут вам, если вы не зададите правильные вопросы, поэтому ваша работа — выйти «в свет» и получить ответы от людей, которые внесли свой вклад в вашу базу данных.

Чтобы можно было считать массив данных большими данными, должно быть выполнено хотя бы одно из трех условий: Разнообразие. Это подразумевает либо разнородность типов информации, содержащейся в массиве данных, таком как текст, видео, аудио или файлы изображений (известные как неструктурированные данные), либо таблицы, содержащие значительное количество столбцов, которые представляют разные свойства данных.