Легендарный разработчик Doom Джон Кармак написал в социальной сети X пост, который описывает совершенно новый способ хранения и использования информации как минимум для обучения ИИ.
Его размышления касаются использования протяженной оптоволоконной линии в качестве своего рода кеша второго уровня для хранения весов моделей ИИ с целью обеспечения практически нулевой задержки и гигантской пропускной способности.
Создано Grok
В этой концепции подразумевается использование волоконно-оптического контура в качестве кеш-памяти для постоянного пополнения ИИ-чипов потоком данных.
Была продемонстрирована скорость передачи данных 256 Тбит/с на расстояние 200 км по одномодовому оптоволокну, что соответствует 32 ГБ данных, «хранящихся» в волокне, при пропускной способности 32 Тбит/с. Вывод и обучение нейронных сетей могут иметь детерминированные шаблоны привязки весов, поэтому забавно представить систему без DRAM, где веса непрерывно передаются в кеш L2 по замкнутому оптоволоконному контуру. Современный эквивалент древних ртутных эхо-трубок памяти. Для реализации современных моделей с триллионом параметров потребовалось бы множество таких устройств, но оптоволоконная передача данных, возможно, имеет лучшую траекторию роста, чем DRAM сегодня, поэтому когда-нибудь она может стать жизнеспособной.
На практике же можно объединить несколько недорогих блоков флеш-памятей, чтобы обеспечить практически любую необходимую пропускную способность чтения, при условии, что чтение будет выполняться постранично и конвейерно. Это должно быть осуществимо для обработки данных в современных системах вывода, если производители флеш-памяти и чипов смогут договориться о высокоскоростном интерфейсе
Концепция Кармака выделяется экономией электроэнергии на фоне использования обычной DRAM, при этом стоимость оптоволокна весьма высока. Впрочем, конкретно сейчас ещё нужно посчитать, что дороже, учитывая цены на память.
