Популярный ИИ-сервис ChatGPT дает 52% неправильных ответов на вопросы, которые касаются программирования.
Об этом говорится в исследовании Университета Пердью, которое недавно презентовали на конференции Computer-Human Interaction.
Для исследования просмотрели более 517 вопросов в Stack Overflow.
«Мы обнаружили, что 52% ответов ChatGPT содержат дезинформацию, 77% ответов более многословны, чем ответы людей, а 78% ответов имеют разную степень несоответствия», — написали они.
Особенно беспокоит то, что достаточно много программистов используют для консультаций именно ChatGPT. Исследователи обнаружили, что 35% предпочитают ChatGPT и не замечают ошибок 39%.
«Дальнейшие полуструктурированные интервью показали, что вежливая речь, сформулированные ответы в стиле учебника и исчерпываемость являются одними из основных причин, которые сделали ответы ChatGPT более убедительными, поэтому участники склонны ему доверять», — пишут исследователи.
Курс Job Interview Crash Course від Enlgish4IT. Отримайте 6 шаблонів відповідей на співбесіді, які ви зможете використовувати для структурування своїх відповідей. Отримайте знижку 10% за промокодом ITCENG. Приєднатися
Отметим, что за полтора года трафик Stack Overflow упал примерно на 35%. И заметное падение началось после релиза ИИ-чатбота ChatGPT. В ответ на это Stack Overflow анонсировал OverflowAI — комплекс функций, которые работают на основе искусственного интеллекта.
Также Stack Overflow даже решил запретить использование ChatGPT на платформе, заявив, что сомневается в точности таких ответов.
Тем не менее, это не помогло и Stack Overflow уволил 28% персонала/
