Kolibri-1 im Praxistest: NIS2, Kanzlei, IT-Dienstleister

Ich teste das offene MoE-Sprachmodell Aleph Alpha Kolibri-1 (78,1 Mrd. Parameter, 3,46 Mrd. aktiv, FP8) auf einer einzelnen H200 unter vLLM 0.29.0 für NIS2/BSIG, Kanzlei mit Berufsgeheimnis und IT-Dienstleister. Grundlage sind 1.851 gewertete Läufe in drei Runden mit regelbasierter Auswertung. Das Modell ist schnell (rund 145 Token/s im Einzelstrom, erstes Token nach 0,4 s, 3.709 Token/s bei 64 parallelen kurzen Anfragen ohne Fehler) und widersteht Prompt-Injection in 39 von 40 Läufen. Bei deutschem Fachrecht ist es aus dem Kopf unzuverlässig: Die NIS2-Einstufung stimmt in 53 % der Läufe, alle drei Meldefristen in 20 von 50 Antworten, die einschlägige Vorschrift § 32 BSIG wurde nur einmal genannt. Die Fehler sind überwiegend Ausweichen, teils selbstsicheres Erfinden. Ohne Datum und Wissensstichtag im System-Prompt hält das Modell den eigenen Wissensstand für die Gegenwart; mit Datum, aber ohne Stichtag erfindet es Ereignisse. Mit dem Gesetzestext im Prompt liegt die Einstufung bei 96 %, die Triage bei 120 von 120 und die Fristen bei 50 von 50 Läufen. Praxisurteil: lokal betreibbarer, schneller Assistent für Entwürfe und IT-Aufgaben, für Rechtsfragen nur mit Gesetzestext im Prompt und menschlicher Prüfung. Stichprobe, kein Benchmark, ein Modell, keine Vergleichsmodelle.

Schlüsselwörter: Kolibri-1, NIS2, BSIG, Open-Weight-Modell, LLM-Evaluation, Halluzination, Prompt-Injection, vLLM