ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МЕТОДОВ КВАНТОВАНИЯ НЕЙРОСЕТЕЙ НА ВСТРАИВАЕМОМ НЕЙРОСЕТЕВОМ УСКОРИТЕЛЕ: ПЛАТФОРМА ALLWINNER A733
Authors/Creators
Description
В статье представлены результаты экспериментального исследования методов квантования нейросетей (UINT8, PCQ, INT16) на встраиваемом нейросетевом ускорителе (NPU) Allwinner A733. Предметом исследования является сравнительный анализ производительности и точности трёх стратегий квантования для пяти архитектур компьютерного зрения. Разработан метод пошагового профилирования, изолирующий латентность NPU от системных накладных расходов. Установлено, что формат UINT8 обеспечивает ускорение до 15,8 раза относительно CPU при сохранении косинусного сходства не ниже 0,997. Для задач семантической сегментации предпочтителен формат INT16 (mIoU ≥ 0,984). Выявлены случаи аномального поведения PCQ, обусловленные ограничениями аппаратной поддержки.