Машинное обучение — это что вообще такое?

Если совсем по-простому — это когда компьютер учится сам, без детальных инструкций на каждый чих. Вместо того чтобы писать миллион строк кода с правилами, мы просто даём машине примеры и говорим: "Разберись, дружище".

Как метко заметил профессор Рама Рамакришнан из MIT: "Базовая идея машинного обучения состоит в том, что собрать данные — гораздо проще, чем собрать понимание". И правда — проще загрузить в программу тысячи фоток котиков и собачек с подписями, чем пытаться объяснить алгоритму все сложные способы, которыми кот отличается от собаки, верно?

ML прекрасно работает там, где есть ТОННЫ данных — тысячи или миллионы примеров: записи звонков клиентов, показания датчиков на заводе или транзакции в банкоматах.

А генеративный ИИ — это что-то совсем другое?

Генеративный ИИ — это, по сути, тоже машинное обучение, но с суперспособностью создавать новый контент: тексты, картинки, видео. Большие языковые модели (LLM) — тот актуальный тип генеративного ИИ, который мы все знаем по ChatGPT, Claude и прочим Gemini.

"Машинное обучение улавливает сложные корреляции и паттерны в данных. Генеративный ИИ идёт дальше", — объясняет доцент MIT Свати Гупта. Вместо того чтобы просто предсказывать или находить закономерности, генеративный ИИ создаёт что-то новое — отвечает на вопросы, пишет имейлы или генерирует идеи для брейншторма.

Сейчас компании пихают GPT-модели куда только можно — от расшифровки звонков в колл-центрах до помощи новичкам в освоении корпоративного кода. Но, как предупреждает Гупта, нужно помнить о подводных камнях — неточностях и предвзятости.

Когда лучше использовать генеративный ИИ?

1. Когда работаете с обычным языком или типичными картинками

   LLM уже обучены на гигантских объёмах текстов и изображений и готовы к использованию "из коробки". Например, раньше для анализа отзывов о продукте и поиска жалоб на дефекты нужно было строить специальную ML-модель — процесс, требующий времени, денег и седых волос у дата-сайентистов. Сегодня можно просто закинуть отзывы в LLM и спросить: "Эй, что тут люди говорят о проблемах с продуктом?"

   "GPT-4 и подобные модели часто точнее, чем специально построенная ML-модель, и запустить их можно в разы быстрее", — отмечает Рамакришнан.

2. Когда нужно что-то более доступное для команды

   Использование генеративных моделей — это то, что многие обычные разработчики могут освоить без PhD по машинному обучению, тогда как создание ML-моделей требует серьёзной технической экспертизы.

   "Если проблема связана с обработкой повседневной информации, сначала попробуйте генеративный ИИ", — советует Рамакришнан.

Когда выбирать машинное обучение?

1. Когда у вас паранойя по поводу конфиденциальности

   Нужно семь раз подумать, прежде чем загружать секретную корпоративную информацию в публичные LLM — утечки данных никто не отменял. И хотя можно построить собственные приватные модели, это требует навыков, которых в вашей компании может просто не быть.

2. Когда работаете с узкоспециализированными знаниями

   LLM обучены на общедоступных данных и хороши для работы с повседневной информацией. Но они могут плавать в узкотехнических задачах, например, в медицинской диагностике по МРТ-снимкам.

   "Если вы решаете специфическую проблему, требующую глубоких технических знаний и жаргона, характерного только для вашей компании... скорее всего, стоит идти традиционным (ML) путём", — говорит Рамакришнан.

3. Когда у вас уже есть рабочая ML-система

   Компании вложили кучу ресурсов в создание ML-систем для конкретных задач, например, для выявления мошенничества с кредитками. "Вряд ли есть смысл выкорчёвывать их и пытаться заменить генеративным ИИ", — отмечает Рамакришнан.

Когда (и зачем!) использовать ML и генеративный ИИ в синергии?

А вот тут начинается самое интересное! В нескольких ситуациях машинное обучение и генеративный ИИ можно скрестить для получения супер-результатов:

1. Когда хотите прокачать ML-модель

   "Алгоритмы не видят мир на 100%, они ограничены моделями, которые мы им даём. Если мы можем обогатить их контекстом с помощью генеративного ИИ — они становятся только лучше", — объясняет Гупта.

   Представьте датасет с именами людей, их пульсом и скоростью бега. ML-модель сможет предсказать кардио-выносливость каждого человека или сгруппировать людей по показателям. А ML с поддержкой генеративного ИИ может вытащить дополнительную информацию из имени человека — предположить возраст и другие демографические данные, используя внешний контекст.

2. Когда хотите на автомате спроектировать ML-модель

   Хотите построить ML-модель? Загрузите данные и инструкции в генеративный ИИ и попросите его создать модели, протестировать их и отчитаться о точности.

   "Генеративный ИИ полностью меняет жизнь и рабочие процессы ML-специалистов", — говорит Рамакришнан, но предупреждает, что результаты всё равно нужно проверять, чтобы галлюцинации и артефакты не накапливались.

3. Когда нужно наштамповать данных для ML-модели

   Не хватает данных для обучения ML-модели? Генеративный ИИ может создать синтетические данные с теми же статистическими свойствами, что и реальные.

4. Когда нужно причесать данные перед ML-обучением

   Табличные данные из реального мира часто содержат ошибки и пропуски. Вместо ручной чистки можно скормить их LLM с просьбой найти аномалии и косяки.

"Генеративный ИИ делает весь ML-процесс эффективнее — от сбора данных до их очистки и моделирования", — говорит Рамакришнан. "На каждом этапе вы можете использовать его как турбонаддув. Но это не бесплатный обед — нужна постоянная бдительность, чтобы результаты были точными".

Главный вывод (запишите где-нибудь): если нужно что-то генерировать — используйте генеративный ИИ. Если нужно предсказывать что-то обычное — сначала попробуйте генеративный ИИ. Если нужно предсказывать что-то узкоспециализированное — берите традиционное машинное обучение. Так просто!