С проблемами столкнулись в Internet Archive и Wikipedia
Быстрый рост рынка искусственного интеллекта спровоцировал новый побочный эффект — кризис хранения данных, который уже бьет по проектам интернет-архивирования. По данным 404 Media, из-за дефицита NAND-памяти и жестких дисков крупные HDD большой емкости подорожали местами втрое.
Сложнее всего приходится Internet Archive, миссия которого — сохранять доступ к знаниям и веб-контенту. Организация уже хранит около 210 петабайт данных и ежедневно пополняет архив примерно на 100 терабайт, но теперь это требует все больше денег и времени. Основатель проекта Брюстер Кейл признал, что поиск подходящих дисков на 28–30 ТБ стал серьезной проблемой: они либо отсутствуют в продаже, либо стоят значительно дороже обычного.
Похожая ситуация и у Wikimedia Foundation, которая поддерживает Википедию. Там отмечают, что рост цен затронул не только сами накопители, но и поставки серверов, а также возможность планировать будущие закупки оборудования.
Дополнительной проблемой стало то, что сайты все чаще блокируют ботов, которые архивируют страницы. Владельцы ресурсов опасаются автоматического сбора данных из интернета для обучения ИИ-моделей, поэтому под ограничения попадают и обычные боты, работа которых нужна для сохранения цифровой истории. В итоге проекты сталкиваются не только с существенным ростом цен на аппаратное обеспечение, но и с усложненным доступом к самим сайтам.
