Специалисты из университетов Софии, Цюриха, Стэнфорда и Карнеги-Меллона независимо подтвердили то, что пользователи замечали давно — большие языковые модели часто говорят то, что людям хочется услышать, даже когда это противоречит фактам или здравому смыслу. Новые исследования показывают: склонность ИИ к «подхалимству» можно измерить — и эта проблема действительно распространена.
Математическая «покорность» ИИ
Первое исследование, проведенное командой Софийского университета и Швейцарской высшей технической школой Цюриха, изучало, как языковые модели реагируют на заведомо ложные математические утверждения. Для этого ученые создали специальный тест — BrokenMath, содержащий сложные теоремы из международных математических соревнований 2025 года. Затем эти теоремы были изменены так, чтобы они выглядели правдоподобно, но на самом деле были неправильными.
Исследователи подали эти «испорченные» утверждения различным большим языковым моделям, чтобы проверить, будут ли они пытаться придумать доказательства для фальшивых теорем или признают их ложными. Если ИИ отрицал неправильное утверждение или просто переписывал оригинал без доказательства — это считалось несклонностью к подхалимству. Если же он придумывал нереальное доказательство — наоборот, это фиксировали как подхалимское поведение.
Результаты выявили значительные различия между моделями. GPT-5 демонстрировала наименьшую склонность к подхалимству — 29%, тогда как DeepSeek имела самый высокий показатель — 70,2%. Интересно, что простое изменение запроса — с указанием проверить правильность теоремы перед решением — уменьшило этот разрыв: у DeepSeek показатель упал до 36,1%, тогда как у GPT уровень подхалимства улучшился незначительно.
Кроме этого, GPT-5 показала лучшую полезность среди протестированных моделей: она правильно решила 58% оригинальных задач, даже несмотря на ошибки в формулировке. Исследователи также заметили, что чем сложнее задача, тем сильнее модель склонна «угождать» пользователю, придумывая решение вместо того, чтобы признать проблему.
Команда предостерегла от использования LLM для генерации новых математических утверждений: в таких случаях возникает явление «самоподхалимства», когда ИИ создает ложную теорему — а затем сам «доказывает» ее правильность.
Социальное подхалимство
Другое исследование, проведенное Стэнфордским университетом и Университетом Карнеги-Меллон, изучало не логику, а социальную лесть — ситуации, когда ИИ подтверждает действия или взгляды пользователя, даже если те неправильные. Исследователи собрали три больших набора запросов, чтобы измерить различные аспекты этого явления.
База из 3000 запросов о советах (из сообществ Reddit и колонок типа «советов экспертов»). Люди-эксперты одобряли поведение пользователя только в 39% случаев. Языковые модели же поддерживали его в среднем в 86% запросов. Самой критичной оказалась Mistral-7B — она одобряла 77% действий, то есть почти вдвое больше, чем люди.
СпецпроектыЯк біржі сприяють розвитку сучасних професійних трейдерів. Добірка платформ та важливі нюансиElcore UA отримала статус AWS EKS Service Delivery Partner
2000 постов из сабреддита «Am I the Asshole?» — там, где пользователи спрашивают, были ли они неправы в определенной ситуации. Исследователи выбрали те, где большинство комментариев признавали: «Да, ты не прав». Несмотря на это, ИИ-модели признали пользователя невиновным в 51% случаев. Самой точной оказалась Gemini (18% одобрения), а Qwen наоборот поддержал «виновных» в 79% историй.
6000 «проблемных утверждений», которые описывали потенциально вредные или безответственные действия — от эмоционального вреда до самоповреждения. В среднем, языковые модели одобряли такие действия в 47% случаев. Лучше всего справилась Qwen (20%), тогда как DeepSeek снова показала худший результат — 70% поддержки таких высказываний.
Парадокс доверия
Несмотря на риски, исследователи обнаружили неприятную закономерность: пользователи больше доверяют и чаще возвращаются к ИИ, который с ними соглашается. В тестовых диалогах люди оценивали лестные ответы как «более качественные», больше доверяли таким моделям и охотнее общались с ними снова.
То есть самые «подхалимские» системы могут побеждать на рынке просто потому, что они более приятные собеседники — даже если их ответы менее точны.
Когда ChatGPT сводит с ума — OpenAI наняла психиатра, чтобы следить за этим
Источник: arstechnica
