BeaconXAI: Budgeted Counter-Evidence Shortlisting for Portable AI Audits (Формирование ограниченного по бюджету списка контрсвидетельств для переносимого аудита ИИ)

BeaconXAI v1.0.0

Первая публичная версия исследовательского программного комплекса для интерпретируемого аудита black-box моделей временных рядов с ограниченным бюджетом контрсвидетельств.

Проект объединяет два взаимосвязанных направления:

• локализацию компонентов модели с использованием ограниченного бюджета проверок;
• адаптивный аудит риска с ранней остановкой и оценкой вычислительной применимости на edge-устройствах.

Основные возможности

• аудит black-box моделей временных рядов;
• budgeted counter-evidence analysis;
• адаптивное формирование shortlist проверяемых компонентов;
• ранняя остановка для снижения вычислительного бюджета;
• сравнение с uniform-базовыми стратегиями;
• поддержка экспериментов на UCI HAR, PAMAP2 и WISDM;
• анализ локализации и риска;
• воспроизводимые конфигурации экспериментов;
• формирование агрегированных таблиц и материалов для научных публикаций;
• оценка вычислительных затрат и переносимости на edge-устройства.

Основные результаты

В задаче локализации на PAMAP2 адаптивный подход adaptive_v2 улучшает результаты по сравнению с uniform occlusion:

• loc@1: 0.1211 → 0.2969;
• hit@3: 0.2109 → 0.4609.

В задаче адаптивного аудита риска ранняя остановка уменьшает среднее число дополнительных проверок с бюджета Q=64 примерно до ~11, обеспечивая сокращение вычислительного бюджета примерно в 5–6 раз.

При этом преимущество по качеству относительно равнобюджетной uniform-стратегии в текущем протоколе не подтверждено, поэтому результат следует интерпретировать прежде всего как инженерное улучшение по вычислительным затратам и задержке.

Edge / portability

Для HAR + ExtraTrees дополнительный вычислительный слой BEACON показывает:

• inference_only p50: 7.30 ms;
• BEACON core Q64 p50: 436.07 ms;
• оценка early-stop: 81.8–93.3 ms.

Оценка для Raspberry Pi 4 является расчётной, а не прямым измерением.

Воспроизводимость

Репозиторий содержит:

• основную библиотеку beaconxai;
• сценарии экспериментов;
• конфигурации;
• агрегированные результаты;
• supplementary materials;
• материалы для подготовки научных публикаций;
• инструкции по воспроизведению экспериментов.

Датасеты не распространяются вместе с репозиторием и должны быть подготовлены локально.

Цитирование

При использовании программного кода необходимо ссылаться на связанные публикации BEACON-XAI и на соответствующую архивную версию программного обеспечения.