Цитаты из книги «Работа с данными в любой сфере»

Если мы не преобразуем данные из Excel в CSV-файл, то в дальнейшем будем сталкиваться с проблемами. Если восстановить измененные даты удается, то почти невозможно восстановить номера кредитных карт, если они были заменены на числа в экспоненциальной записи.

Excel пытается упростить задачу, автоматически переформатируя определенные значения. Это может привести к различным сбоям в процессе ETL

Чтобы исправить поврежденные данные и сделать их доступными для прочтения машиной, мы можем сначала попробовать следующее: [36]

Я знал некоторых неопытных аналитиков данных, которые проверяли верхние 100 строк своего массива данных, но это ошибка новичка: если есть ошибки, вы с гораздо большей вероятностью увидите их в конце массива данных, потому что упущения будут сдвигать информацию.

Пропущенные данные возникают, если для данной ячейки нет доступной информации или если лицо, ответственное за вставку данных, не добавило их в ячейку. Пропущенные данные — частое явление в науке о данных, и, вероятнее всего, оно обусловлено человеческим фактором.

Поврежденные — информация, которая изначально в массиве данных была правильной, но оказалась искажена.

Неверные данные — что информация была (частично или полностью) неправильно добавлена в базу данных (например, ввод значения валюты в ячейку даты).

Грязные данные — это неверная, поврежденная или отсутствующая информация.

мы должны выявить и устранить в нашей исходной базе данных любые ошибки и изъяны, которые часто охватывают весь спектр — от несоответствий форматирования и резко отклоняющихся значений до значительных пробелов в информации.

В широком смысле этап преобразования включает такие изменения, как объединение, разделение и агрегирование данных. Эти функции позволяют создавать производные таблицы, лучше согласующиеся с имеющейся задачей. Но самая важная функция преобразования — очистка данных, и именно на ней мы сосредоточимся.