Источник изображения: cloud.google.com
Google разработала специальные аппаратные адаптеры, позволяющие подключать память предыдущего поколения, в том числе DDR4, к новым серверам для систем искусственного интеллекта. Для этого компания возвращает списанные серверы, разбирает их и извлекает пригодные для повторного использования модули памяти. По словам Чериана, ИИ-отрасль быстро перешла от ограничений, связанных с вычислительными ресурсами, к ограничениям, связанным с памятью. Высокопроизводительная память теперь составляет более 75 % стоимости комплектующих типичного ИИ-сервера.
Дефицит сопровождается стремительным ростом цен. По прогнозу TrendForce, в III квартале серверная DRAM подорожает на 13–18 %, а память для ПК — на 18–23 %. Оценки Goldman Sachs близки к этим значениям: аналитики ожидают роста соответственно примерно на 18 и 17 %. В августе спотовые цены на 8-Гбайт модули DDR4 и DDR5 достигли $142 и $133 соответственно.
Рост цен и дефицит памяти заставляют технологические компании искать способы сократить объём памяти, необходимый на единицу вычислительной мощности. Google решает проблему одновременно на аппаратном и программном уровнях, оптимизируя библиотеки, архитектуру моделей и алгоритмы сжатия KV-кеша.
На снижение зависимости от внешней памяти ориентированы и новые ИИ-ускорители Google. В частности, предназначенный для инференса TPU8i использует многоуровневую иерархию памяти: каждый ускоритель оснащён 288 Гбайт HBM3E, а серверная система использует DDR5 для задач, выполняемых на уровне хоста. Однако дефицит DRAM оказался настолько серьёзным, что в некоторых сценариях Google решила устанавливать вместо DDR5 извлечённые из списанных серверов модули DDR4.
Таким образом, дефицит памяти заставил одного из крупнейших операторов ИИ-инфраструктуры не только оптимизировать новые ускорители и программное обеспечение, но и организовать внутреннюю цепочку повторного использования компонентов старых серверов.
Было интересно?
Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект
Источник: 3DNews
