Что изменилось
Qualcomm раскрыла детали следующего поколения Hexagon NPU — процессора Snapdragon для выполнения ИИ-задач непосредственно на устройстве. Главные изменения затронули не только вычислительные блоки: объём общей локальной памяти NPU увеличен на 50%, а в архитектуру добавлен Element Accelerator — специализированный ускоритель для трансформер-моделей, работающий совместно с существующими блоками. Какой именно процессор Snapdragon получит этот NPU, компания пока не сообщила.
Почему это важно
Увеличение локальной памяти ценно тем, что при работе трансформеров NPU постоянно обрабатывает промежуточные данные, активации и состояния модели. Хранение их рядом с вычислительными блоками снижает задержки и энергопотребление — особенно при обработке длинного контекста и одновременной работе нескольких ИИ-агентов. Для моделей INT4 компания заявляет до 50% более высокую производительность на этапе обработки входного контекста.
MoE и запуск крупных моделей
Отдельный акцент Qualcomm делает на архитектуре Mixture-of-Experts, при которой для каждого шага вычислений активируется только часть параметров модели. Вместе с управлением кэшем и флеш-памятью это позволяет запускать более крупные модели на устройствах с ограниченной оперативной памятью. Поддерживаются форматы INT2, INT4, INT8, FP8 и FP16. Абсолютные показатели (объём памяти, производительность NPU, энергопотребление) компания пока не раскрыла.
Источник: iXBT
Об авторе
