Когда ИИ придумывает забавный рецепт или генерирует идеи для вечеринки — ну ладно, бог с ним. Но когда тот же самый механизм применяется в медицине или юриспруденции — это уже совсем другая история. Помните недавние скандалы с поддельными ссылками в отчётах и несуществующими книгами в рекомендациях? А это только верхушка айсберга.

В чём же дело? Почему эти многомиллиардные модели продолжают нести чушь?

Всё просто — и одновременно сложно. Модели типа GPT не "знают" информацию в том смысле, в котором знаем её мы с вами. Они просто предсказывают, какое слово должно идти следующим, опираясь на вероятности и шаблоны из обучающих данных. Если модель не знает точного ответа — а она часто не знает — она с огромной вероятностью его просто выдумает. И сделает это с такой убедительностью, что даже опытные пользователи иногда попадаются.

Ещё в 2022 году, когда все восхищались новеньким ChatGPT, учёные Арвинд Нараянан и Саяш Капур уже тогда назвали его "генератором чуши" — потому что модель не заботится о правде, ей важно лишь звучать убедительно. Как студент на экзамене, который пишет много умных слов в надежде, что преподаватель не заметит отсутствие смысла.

Разработчики, конечно, пытаются бороться с этой проблемой:

— Улучшают данные и внедряют RAG (когда модель обращается к достоверным источникам перед ответом)

— Учат модели признавать незнание (то самое "извините, я не знаю")

— Создают инструменты контроля вроде Amazon Bedrock и SAFE

Но есть одна большая проблема — приоритеты отрасли. Быть быстрым, масштабируемым и казаться полезным — выгоднее, чем быть точным. Как метко заметил Тим Сандерс из Harvard Business School, "точность стоит денег, а полезность повышает вовлечённость".

К тому же, бизнес-модель многих ИИ-стартапов строится на громких обещаниях заменить поиск и автоматизировать работу специалистов. Представьте: вы привлекли миллионы инвестиций под обещание "заменить Google", а потом честно признаётесь, что ваш ИИ иногда выдумывает факты. Как думаете, что случится с вашими инвестициями?

Так что же нам делать? Эксперты выделяют три стратегии:

1. Повышать точность — надёжнее, но сложнее и менее "весело" для пользователя

2. Снижать уверенность моделей — полезно, но ИИ должен сам понимать, что он не знает

3. Признать вымысел как особенность — удобно для творчества, но требует переосмысления всего позиционирования технологии

Правда в том, что ИИ не может гарантировать правдивость — и, возможно, никогда не сможет. Это не значит, что его нельзя использовать, но требует осознанного подхода: "доверяй, но проверяй". Пока лучшая стратегия — оставлять человека в контуре принятия решений, особенно в ответственных областях.

А вы сталкивались с "галлюцинациями" ИИ? Какие самые забавные (или страшные) случаи выдумок нейросетей вам попадались? Делитесь в комментариях — уверен, у многих есть что рассказать!