Новое исследование некоммерческой организации Model Evaluation & Threat Research (METR) опровергло распространенное мнение о пользе ИИ-ассистентов для программирования, по крайней мере когда речь идет об опытных разработчиках. Несмотря на ожидания, что ИИ ускорит работу, использование искусственного интеллекта замедлило опытных разработчиков на 19%.
Компании, пытавшиеся сэкономить с помощью ИИ, теперь тратят состояние на исправление его ошибок
METR провела масштабное исследование в начале 2025 года, наблюдая за работой 16 опытных разработчиков открытого кода. Программисты выполнили 246 реальных задач разной сложности – от исправления багов до внедрения новых функций в крупных репозиториях, с которыми они отлично знакомы. Каждая задача случайным образом выполнялась либо с применением ИИ-инструментов, либо без них. Большинство участников при возможности выбирали Cursor Pro в паре с Claude 3.5 или 3.7 Sonnet.
Интересно, что перед началом эксперимента разработчики были уверены, что ИИ сделает их работу быстрее на 24%. Даже после завершения исследования участники верили, что их продуктивность выросла на 20% при использовании ИИ. Реальность оказалась совершенно противоположной – задачи с использованием ИИ выполнялись на 19% дольше.
Исследователи выделили несколько факторов, объясняющих этот неожиданный результат.
-
Во-первых, оптимизм разработчиков относительно возможностей ИИ превышал реальные способности технологии
-
Во-вторых, участники отлично знали свои кодовые базы, что оставляло мало пространства для полезных подсказок со стороны ИИ
-
В-третьих, сложность и размер проектов, часто превышающих миллион строк кода, создавали трудности для ИИ, который лучше справляется с меньшими, более изолированными задачами
Надежность предложений ИИ также оказалась непостоянной – разработчики приняли менее 44% сгенерированного кода, тратя значительное время на проверку и исправление результатов. ИИ-инструменты с трудом улавливали неявный контекст в больших репозиториях, что приводило к недопониманию и нерелевантным предложениям.
Методология исследования была довольно хорошо продумана. Каждый разработчик оценивал время выполнения задачи с ИИ и без него, затем работал над проблемами, записывая экран и самостоятельно фиксируя затраченное время. Участники получали компенсацию в размере $150 в час, что гарантировало профессиональный подход к процессу. Результаты оставались стабильными при различных способах анализа, без признаков влияния экспериментальных артефактов или предвзятости.
Правда, исследователи предупреждают, что эти результаты не стоит обобщать. Исследование фокусировалось на высококвалифицированных разработчиках, работающих со знакомыми сложными кодовыми базами. При этом, ИИ-инструменты могут принести большую пользу менее опытным программистам или тем, кто работает с незнакомыми или меньшими проектами. Могу добавить от себя, что не будучи опытным программистом, могу использовать ИИ для самых разных целей в плане кода – от создания мини-игр, до разработки инструментов на Python.
Глава Nvidia признал, что ИИ причинит вред, но оно того стоит
Несмотря на замедление, многие участники и исследователи продолжают использовать ИИ-ассистенты для кодинга. Они отмечают, что хотя ИИ не всегда ускоряет процесс, он делает некоторые аспекты разработки менее ментально утомительными, превращая программирование в более итеративную и менее пугающую задачу.
