Профессор Йошуа Бенжио — исследователь в области искусственного интеллекта, выразил обеспокоенность по поводу потенциальных рисков, связанных с новой серией моделей OpenAI с "улучшенным мышлением" под названием o1-preview.
По заявлению OpenAI, эти новые модели разработаны для "более длительного размышления перед ответом", что позволяет им решать сложные задачи в области науки, программирования и математики. Предварительная версия o1, известная под кодовым названием "Project Strawberry", теперь доступна подписчикам ChatGPT Pro и через API OpenAI.
Компания сообщает о впечатляющих результатах новой модели:
-
В отборочных экзаменах Международной математической олимпиады модель правильно решила 83% задач, по сравнению с 13% у предшественника GPT-4o
-
В соревнованиях по программированию модель достигла 89-го процентиля на платформе Codeforces
-
По сложным задачам в физике, химии и биологии модель показывает результаты на уровне аспирантов
Однако этот прогресс вызвал озабоченность экспертов. Бенжио, профессор информатики Монреальского университета, предупредил о потенциальных опасностях новых моделей:
Если OpenAI действительно перешла "средний уровень риска" в отношении оружия массового поражения, как они сообщают, это только подчеркивает важность и срочность принятия законодательства, подобного SB 1047, для защиты общества.
SB 1047 направлен на установление требований безопасности для "пограничных" моделей ИИ — продвинутых систем, способных потенциально нанести катастрофический ущерб человечеству.
Улучшение способности ИИ рассуждать и использовать этот навык для обмана особенно опасно. Мы должны внедрить регуляторные решения, подобные SB 1047, чтобы гарантировать, что разработчики уделяют приоритетное внимание общественной безопасности на передовом рубеже ИИ.
К сожалению, пока не похоже, что законодатели всерьез относятся к тому, какой риск может представлять даже подобный генеративный ИИ для человечества. Более того, даже эксперты не могут в полной мере предсказать, как более продвинутые модели повлияют на человечество.
