ИИ страдает от «гниения мозга»: мусор из соцсетей затуманивает его суждения

По мере того как искусственный интеллект (ИИ) всё глубже проникает во все сферы жизни — от личной до профессиональной, — новое исследование показало: его основа, большие языковые модели (LLM), способны переживать серьёзный когнитивный спад, если их повторно обучают на низкокачественных текстах из сети. Это ослабляет их способности к рассуждению, памяти и этической надёжности.

Работа, опубликованная 15 октября под заголовком «LLMs Can Get Brain Rot!» («У LLM может начаться гниение мозга!»), предупреждает: постоянное обучение на вирусном, ориентированном на вовлечение контенте может со временем сделать даже продвинутые ИИ-системы менее способными и более нестабильными.

Учёные выдвинули то, что они называют «Гипотезой гниения мозга LLM» — идею о том, что длительное дообучение на тривиальном, рассчитанном на вовлечение или малосодержательном контенте из сети со временем ухудшает способность модели рассуждать, понимать длинные контексты и сохранять этическую последовательность.

Термин происходит от выражения «internet brain rot» — «интернет-гниение мозга», которым описывают истощение людей, постоянно потребляющих поверхностный или вызывающий зависимость онлайн-контент. Учёные провели параллель между тем, как у человека падает концентрация и глубина мышления от избытка пустых медиа, и тем, как языковые модели могут деградировать, если обучаются на аналогично поверхностных текстах.

Чтобы проверить гипотезу, исследователи провели контролируемый эксперимент с использованием реальных данных из социальной сети X. Они определили два критерия для выявления мусорного контента:

M1 (уровень вовлечения): короткие, вирусные посты с большим числом лайков и ретвитов, специально созданные для максимального привлечения внимания.

M2 (семантическое качество): посты с низкой информационной ценностью или кликбейтным стилем — преувеличенные утверждения и фразы, рассчитанные на любопытство.

Оба показателя использовались для формирования наборов данных с разным соотношением мусорных и качественных текстов. Затем четыре популярных языковых модели, включая Llama 3 и Qwen 2.5, подвергли повторному обучению на этих данных.

Каждая модель проходила идентичные условия, что позволило изолировать влияние качества данных. Цель была в том, чтобы смоделировать ситуацию, когда ИИ продолжает обучаться в современном онлайн-пространстве, где всё больше короткого, вирусного или машинно-сгенерированного контента.

Результаты оказались впечатляющими. При обучении исключительно на мусорных данных точность рассуждений моделей упала с 74,9 % до 57,2 %, а способность понимать длинные контексты — с 84,4 % до 52,3 %. Причём спад не был случайным: чем выше доля «мусора» в данных, тем хуже становились показатели — эффект «дозозависимости», как его назвали авторы.

Исследование показало, что оба типа наборов данных — как с высоким уровнем вовлечения (M1), так и с низким семантическим качеством (M2) — ухудшали результаты, но именно M1, то есть популярный и низкоэффортный контент, вызывал самые тяжёлые потери.

Помимо снижения рассудочности и понимания, модели демонстрировали уменьшение этической последовательности и появление «дрейфа личности». Авторы отметили: модели, обученные на «мусоре», становились менее надёжными, чаще уверенно выдавали ошибочные ответы и склонялись к поверхностным рассуждениям.

Дальнейший анализ показал, как именно происходит это внутреннее разложение. При решении сложных задач рассуждения модели, обученные на «мусоре», часто пропускали звенья логической цепи — поведение, которое исследователи назвали «thought-skipping» («пропуск мыслей»).

Вместо подробных, структурированных рассуждений они давали короткие, рыхлые ответы, сразу перескакивая к выводу. Именно этот шаблон объяснил значительную часть падения точности.

Кроме того, были замечены следы «тёмных черт» — повышенная склонность к нарциссизму и психопатии в поведенческих тестах. Эти черты проявлялись как чрезмерная уверенность в ошибках и готовность давать рискованные с точки зрения этики ответы.

Попытки исправить деградацию через повторное обучение на «чистых» данных помогли лишь частично. Хотя точность немного улучшилась, исходного уровня она не достигла: повреждения оказались стойкими. Учёные описали это как «персистентный дрейф представлений».

Выводы имеют серьёзные последствия для разработчиков и регуляторов ИИ. Исследование показывает, что качество данных — не просто техническая деталь, а вопрос безопасности обучения.

Постоянное воздействие низкокачественного текста ослабляет когнитивную и этическую устойчивость моделей — то, что делает их пригодными для безопасного применения в финансах, образовании или публичных коммуникациях.

Авторы утверждают, что мусорные данные уменьшают «глубину рассуждений» и «этическое выравнивание» ИИ, а также подрывают его способность удерживать и использовать информацию в длинных контекстах. Это перекликается с исследованиями на людях: избыточное воздействие тривиального или эмоционально заряженного контента снижает концентрацию и память.

Поскольку значительная часть интернета уже состоит из сгенерированных ИИ или оптимизированных под вовлечение текстов, исследователи предупреждают: без строгого контроля качества будущие модели будут наследовать и усиливать эти искажения.

Авторы призывают к систематическому мониторингу «когнитивного здоровья» языковых моделей — аналогично регулярным проверкам безопасности в других отраслях.

Они предлагают три ключевые меры:

1. Ввести регулярные когнитивные оценки работающих ИИ-систем, чтобы выявлять ранние признаки деградации рассуждений.
2. Ужесточить контроль качества данных при предобучении, исключая тривиальные и чрезмерно вовлекающие тексты.
3. Изучать, как вирусный или «кликабельный» контент меняет шаблоны обучения, чтобы создавать модели, устойчивые к его влиянию.

Учёные подчеркивают: эти меры необходимы, чтобы предотвратить накопительный ущерб, поскольку модели постоянно дообучаются на изменяющихся веб-данных.

«Качество данных является причинным фактором деградации возможностей LLM», — говорится в заключении.

По мере того как крупные модели всё чаще обучаются на текстах, созданных другими ИИ, и синтетический контент заполняет интернет, тревожный сигнал уже прозвучал. Без «гигиены данных» следующее поколение искусственного интеллекта может не просто копировать человеческое «гниение мозга» от низкопробного контента — а заболеть собственной его формой, последствия которой крайне сложно предсказать.

Это перевод статьи, вышедшей 21 октября 2025 года. Ссылка на оригинал - здесь