Об универсальных и нишевых моделях машинного обучения, своих моделях и продуктах на основе ChatGPT

«Уметь отсеивать, где совсем хайп-хайп, а где есть то, на что надо в том или ином виде перестраиваться — это искусство, к сожалению. То есть говорить, что мы были ecommerce-компанией, а сейчас вышла GPT, и мы в спешке переобуваемся и начинаем делать сервисы на основе GPT — это в лучшем случае тупняк. А сказать, что сейчас мы используем GPT для своих организационных задач, для своих оптимизационных задач и вообще думаем о GPT каждый раз, когда запускаем что-то новое — это нормальный майндсет».

«В Machine Learning есть два типа задач. Первый — это когда ты делаешь какой-то core-продукт, в котором без ML вообще никак-никак. А бывает, когда компания вообще немного про другое, а ML — это просто свистелки. Эти свистелки могут что-то оптимизировать, в каких-то случаях они оптимизируют очень многое и без такой оптимизации вообще никак — ты просто не выдержишь конкуренцию. Однако это все еще оптимизация, а не основной продукт или сервис».

Гость: Арсений Кравченко

ML Engineer, Ntropy, Соавтор книги Machine Learning System Design

Ведущий подкаста: Юра Агеев

Подписывайтесь на канал анонсов подкаста: https://t.me/mspodcast.

Подкаст выходит при поддержке конференции ProductSense https://productsense.io. Конференция пройдет 4–5 сентября 2023 в Москве

О чем говорим:

2:22 Почему прогнозы в науке работают плохо

4:53 Переход из продукта в ML

7:19 История и причины успеха ChatGPT

9:56 Почему попытки сделать продукты на основе ChatGPT часто проваливаются

14:26 Как маленьким компаниям делать нишевые ML-инструменты 

19:03 Почему нельзя без серьезных вложений сделать свою модель даже при наличии Open Source-решений

20:20 Что такое Foundation Model

24:39 Механика работы ChatGPT

26:24 Почему успешные модели могут построить либо очень большие, либо маленькие компании

28:04 Зачем одна большая компания выложила в открытый доступ продвинутую модель

31:55 Что нужно, чтобы сделать свою Foundation Model

36:09 Вопросы безопасности моделей

37:25 Как зарабатывать на моделях

38:46 Какой спектр задач может решать модель машинного обучения

40:54 Гипотетический кейс: зачем супермаркету ChatGPT 

42:53 Два типа задач в ML

46:00 Почему опасно делать продукты на основе ChatGPT

47:34 Модели-полуфабрикаты, внутренние Foundation-модели и модель как инструмент

51:00 Использование ChatGPT при написании книги

52:18 Как проверить свое представление о мире с помощью ChatGPT

54:44 Модель и доступ к ней как продукт

58:47 Зачем скрывать, какая модель под капотом твоего продукта

В подкасте упоминаются

Личный сайт: https://arseny.info

Книга, которую Арсений пишет в соавторстве https://clck.ru/353iET

Timing is Everything https://fabricegrinda.com/timing-is-everything

Stratechery by Ben Thompson https://stratechery.com

GPT-4 Technical Report https://cdn.openai.com/papers/gpt-4.pdf

* В подкасте упоминается Meta — запрещенная в России организация