Эксперимент с начинающими разработчиками показал, что пользователи завершали задания не быстрее коллег без помощника, но хуже понимали использованные концепции и слабее справлялись с отладкой
Исследование, опубликованное учёными Anthropic, показало, что использование ИИ-помощников при обучении программированию может приводить к снижению качества усвоения материала у начинающих специалистов. Авторы описывают этот эффект как "never-skilling" — ситуацию, когда новичок не успевает сформировать полноценный навык, потому что постоянно передаёт выполнение ключевых этапов работы искусственному интеллекту.
В рандомизированном контролируемом эксперименте участвовали 52 преимущественно начинающих разработчика. Половине участников предоставили ИИ-помощника, после чего обе группы должны были изучить библиотеку Trio для Python, с которой ранее не работали. Сразу после выполнения задания участникам предложили проверить понимание использованных ими концепций.
Группа, использовавшая ИИ, получила в среднем 50% правильных ответов, тогда как участники, которые писали код самостоятельно, набрали 67%. Разница оказалась статистически значимой: вероятность случайного появления такого результата оценивалась значением p=0,01. При этом ИИ-помощник почти не дал преимущества по скорости: пользователи с ним завершали задания примерно на 2 минуты быстрее, но эта разница не была статистически значимой.
Самый большой разрыв проявился при отладке программ. Участники без ИИ чаще сталкивались с ошибками и были вынуждены самостоятельно искать причины и вносить исправления — процесс, который считается важной частью формирования навыка программирования. Пользователи помощника чаще избегали этих этапов, поскольку система сразу предлагала решения, не заставляя разбираться в причинах проблемы.
Похожую проблему обозначили авторы обзора в журнале Nature Medicine, подготовленного специалистами Медицинской школы Duke-NUS совместно с учёными из Гарварда, Университетского колледжа Лондона и Королевского колледжа Лондона. Они описали риск для медицинского образования: если начинающие врачи слишком рано начинают полагаться на ИИ, то они могут не развить необходимые навыки клинического мышления.
Учёные также выделили отдельный риск — "mis-skilling", когда специалист принимает ошибочный ответ ИИ за достоверную информацию и закрепляет неверное знание.
При этом авторы подчёркивают, что прямых доказательств такого эффекта именно в медицинском обучении пока нет. Их выводы основаны на теориях обучения и ранних данных из других областей, включая эксперимент Anthropic. Они предлагают трёхэтапный подход: сначала формировать базовые навыки без ИИ, затем учить правильно оценивать ответы системы и только после этого внедрять ИИ-инструменты под контролем наставников.
Исследование также показало, что результат зависит не только от самого использования ИИ, но и от способа работы с ним. Участники с лучшими результатами чаще задавали вопросы о принципах работы кода и просили объяснения, тогда как менее успешные пользователи полностью передавали задачи помощнику или использовали его исключительно для исправления ошибок. Авторы отмечают, что эксперимент имел ограничения: небольшую выборку, проверку знаний сразу после задания и использование обычного чат-помощника вместо более автономных ИИ-агентов. При этом они считают, что влияние более мощных систем может оказаться ещё заметнее.
