В последние годы большие нейронные сети, обученные понимать языки и генерировать текст, добились впечатляющих результатов в широком спектре задач. ИИ-система генерации текстов OpenAI GPT-3 впервые показала, что большие языковые модели (LLM) могут достичь впечатляющих результатов даже без масштабного сбора данных под конкретные задачи или обновления параметров модели. Более поздние LLM, такие как GLaM, LaMDA, Gopher и Megatron-Turing добились еще более впечатляющих результатов.
В 2021 году команда Google Research объявила о разработке Pathways — единой модели, которая может обобщать домены и задачи, и в то же время быть высокоэффективной. И в апреле 2022 года сообщили о прорыве в создании архитектуры искусственного интеллекта (ИИ), способной решать миллионы различных задач, включая сложное обучение, рассуждения и способность пояснять шутки. Новая языковая система имеет 540 миллиардов параметров и называется PaLM (Pathways Language Model).
Разработчики оценили способности PaLM на сотнях задач понимания и генерации языка и обнаружили, что она обеспечивает «современную производительность», во многих случаях со значительным отрывом от других подобных систем.
PaLM умеет математически логически рассуждать, поясняя свои действия, писать код и даже объяснять свое понимание шуток, которые были придуманы на ходу и их нельзя найти в интернете.
«Новая большая языковая модель, выпущенная Google AI. Посмотрите, в это довольно сложно поверить. Она может объяснить шутки», — написал в Twitter Кароль Хаусман, старший научный сотрудник в Google Brain и адъюнкт-профессор в Стэнфорде.
Основатель компаний SpaceX, Neuralink и The Boring Company, управляющий заводом Tesla Илон Маск прокомментировал пример с пояснением шутки PaLM, назвав ее «поразительно несмешной».
