Warum kleine CNNs gut fuer Edge AI geeignet sind

Der mobile Kontext: NPU, GPU und CPU statt Cloud

Moderne Mobilplattformen besitzen mehrere Recheneinheiten. Die CPU ist flexibel, die GPU ist stark bei parallelen Tensoroperationen, und die NPU ist fuer neuronale Netze optimiert. Qualcomm beschreibt GenieX als On-Device-Inferenzruntime fuer Qualcomm-Geraete, die Modelle lokal auf Hexagon NPU, Adreno GPU oder CPU ausfuehren kann. Das richtet sich zwar an groessere LLMs und VLMs, zeigt aber denselben Trend: Deep Networks wandern naeher an das Geraet.

Fuer eine Skizzenerkennung ist das besonders passend. Eine Zeichnung ist klein, die Eingabe entsteht ohnehin lokal auf dem Touchscreen, und die Antwort soll unmittelbar erscheinen. Ein Server-Roundtrip ist technisch moeglich, aber nicht immer noetig.

Quelle: Qualcomm GenieX README.

Warum CNNs auf mobilen Geraeten einfach zu planen sind

Ein CNN fuer QuickDraw bekommt ein festes Bild, zum Beispiel 1 x 96 x 96. Diese feste Tensorgroesse ist fuer mobile Runtimes wertvoll: Speicherbedarf, Laufzeit und Zwischentensoren sind vorhersagbar. Das ist ein grosser Unterschied zu variabel langen Sequenzen oder sehr grossen Transformer-Kontexten.

Faltungen, Batch Normalization, Aktivierungen und kleine lineare Klassifikationskoepfe sind Operationen, die mobile Beschleuniger gut ausfuehren koennen. Gerade bei Batchgroesse 1, wie sie in einer interaktiven App typisch ist, zaehlen kurze Latenz, niedriger Speicherverkehr und geringe thermische Last mehr als maximale Server-Auslastung.

Quantisierung: Warum klein nicht nur weniger Parameter heisst

Edge AI profitiert nicht allein von kleinen Architekturen. Entscheidend ist auch, wie die Zahlen im Modell gespeichert und berechnet werden. Quantisierung reduziert Gewichte und Aktivierungen beispielsweise von 32-Bit-Floats auf 8-Bit-Integer oder andere kompakte Formate. Dadurch sinken Modellgroesse, Speicherbandbreite und Energiebedarf.

Bei einem Skizzen-CNN ist das naheliegend: Die Eingabe ist ein Graustufenbild, die Klassenanzahl ist fest, und die Modellstruktur ist regelmaessig. Solche Eigenschaften machen eine spaetere Optimierung fuer mobile Inferenz deutlich einfacher als bei frei wachsenden Sequenz- oder Sprachmodellen.

Deep Networks in Mobile Apps: vom CNN bis zum VLM

GenieX ist interessant, weil es eine breitere Entwicklung zeigt: Entwickler wollen Deep Networks lokal nutzen, aber nicht fuer jede Plattform komplett neu schreiben. Die README nennt mehrere Oberflaechen: CLI, Python, Kotlin/Java fuer Android, Docker, C/C++ SDK und sogar einen OpenAI-kompatiblen lokalen Server. Darunter liegt eine Runtime, die je nach Modell und Plattform verschiedene Compute Units nutzt.

Ein kleines CNN fuer Skizzenerkennung ist viel bescheidener als ein frontier LLM oder VLM, aber es folgt denselben Deploy-Fragen: Welches Format hat das Modell? Wird es vorcompiliert? Laeuft es auf NPU, GPU oder CPU? Wie sieht die App-API aus? Und wie vermeidet man, dass die Inferenz den Akku, die Temperatur oder die UI-Reaktionszeit belastet?

Warum das fuer DrawLa relevant ist

DrawLa/DrawClash nutzt konzeptionell einen CNN-Klassifikator auf gerasterten Skizzen. Heute kann ein solches Modell serverseitig laufen. Fuer Mobile Edge AI ist aber die naheliegende Weiterentwicklung: Rasterung direkt im Client, Modell lokal auf dem Geraet, Ausgabe der Top-Klassen ohne Netzwerkabhaengigkeit.

Das verbessert Latenz und Datenschutz und macht die Anwendung robuster, etwa bei schlechter Verbindung. Gleichzeitig bleiben die Grenzen klar: On-Device-Modelle muessen klein, gut optimiert und sorgfaeltig getestet sein. Ein zu grosses Modell kann zwar theoretisch lokal laufen, aber in einer interaktiven Zeichen-App zaehlt jede Millisekunde.

Praktische Architektur fuer eine mobile Skizzenerkennung

Eine plausible mobile Pipeline sieht so aus: Touch-Strokes werden gesammelt, in ein 96 x 96-Graustufenbild gerastert, als normalisierter Tensor an das CNN uebergeben und lokal klassifiziert. Die App zeigt nur die Top-Ergebnisse und sendet optional gar keine Zeichnung an einen Server.

Touch strokes
  -> normalize and rasterize
  -> 1 x 96 x 96 tensor
  -> compact CNN
  -> top-k class probabilities

Genau deshalb sind kleine CNNs fuer Edge AI attraktiv: Sie sind nicht spektakulaer gross, aber technisch gut kontrollierbar. Fuer eine Echtzeit-Skizzen-App ist diese Kontrollierbarkeit wichtiger als die reine Modellgroesse auf dem Papier.

Mehr zum Trainingsweg steht unter QuickDraw mit PyTorch; die Modellfamilien werden unter RNN vs CNN verglichen.