European Union Open Data Portal. Портал открытых данных Европейского союза — правительственные данные государств — членов ЕС.
Million Song Dataset. Сборник метаданных и аудиозаписей популярной музыки.
The CIA World Factbook. Всемирный справочник ЦРУ — массивы данных из 267 стран по темам от истории до инфраструктуры.
Существует ряд организаций, таких как DataKind и DrivenData, которые руководят проектами и проводят соревнования по анализу данных. Поучаствовать в их деятельности — совсем неплохо для начала.