Цитаты из книг автора «Константин Берлинский»

Какие были проблемы в процессе работы над финальным решением: 1) При обучении НС примерно на 9.5 тыс примеров приложение падало с ошибкой (process eхited with code -1073740940, нехватка памяти?). Я хотел обучить НС на всем датасете (14.412 записей), но из-за этого пришлось остановиться на 9 тыс примерах.

На Kaggle нашел датасет с русским текстом (ссылка 6). Датасет содержит ~14 тыс комментариев с пикабу и пометкой, является ли текст токсичным или нет. Модель НС использовал ту же, что и для IMDB

нейронками, а старым добрым ElasticSearch, который умеет искать по большому набору данных учитывая контекст, лингвистику, опечатки и т.п. Короче, на хакатоне надо было делать гугл, а не нейронку

DeepBlue (побила Каспарова в шахматах) или AlphaGo (разгромила чемпиона мира по ГО)

Есть инструменты обучения НС более высокого порядка – Google/TensorFlow, Microsoft/Azure, Amazon/AWS, Яндекс/DSVM

нас тоже dvc для моделей. Это чтобы релизить новые модели дообученные или с новыми сетами без релиза всего приложения как я понял. Перебор количества нейронов и слоев это и есть ml/ds.

DVC добавляет поверх гита с большими файлами семантику типичного воркфлоу для датасайентиста. Конечно, все можно и руками поверх гита делать, LFS, файлики всякие с заметками аккуратно править, но DVC просто удачно автоматизирует эту рутину. На него стоит посмотреть хотя бы для того, чтобы этот воркфлоу понять. DVC: версионирование ML моделей и датасетов: ht

MNIST database в удобном формате *.csv

общем, надо копать тему дальше. Есть инструменты обучения НС более высокого порядка – Google/TensorFlow, Microsoft/Azure, Amazon/AWS, Яндекс/DSVM. Где нужно задать только данные и параметры обучения и можно использовать НС не зная какие алгоритмы в ней работают.

Ниже последние AI-проекты ФРИИ, YC, 500 Startups и TechStars.