Meta разрабатывает мощный суперкомпьютер на основе искусственного интеллекта
«RSC призван помочь исследователям искусственного интеллекта Meta создавать новые, более совершенные модели искусственного интеллекта, которые смогут учиться на триллионах примеров, работать на сотнях разных языков, легко анализировать текст, изображения и видео, разрабатывать новые инструменты дополненной реальности», - сообщила пресс-служба компании.
Специалисты смогут обучать крупные модели в области компьютерного зрения, НЛП, распознавания речи.
RSC включает в себя 760 систем NVIDIA DGX A100 в качестве вычислительных узлов, 6080 графических процессоров, причем каждый графический процессор A100 является более мощным, чем V100, используемый в предыдущей системе. Каждый DGX взаимодействует через двухуровневую сеть Clos NVIDIA Quantum 1600 Гбит/с InfiniBand. Уровень хранения RSC имеет 175 петабайт Flash, 46 петабайт кеш-памяти в системах Penguin Computing Altus и 10 петабайт FlashBlade.
RSC выполняет рабочие процессы компьютерного зрения в 20 раз быстрее, запускает библиотеку коллективной связи NVIDIA (NCCL) в 9 раз быстрее и обучает крупномасштабные модели NLP в 3 раза быстрее. Это означает, что модель с десятками миллиардов параметров может завершить обучение за три недели.
Когда RSC будет завершен (предположительно в середине этого года), сетевая структура InfiniBand будет подключать 16 000 графических процессоров в качестве конечных точек, что сделает ее одной из крупнейших подобных сетей, развернутых на сегодняшний день.
