Zwei Modellfamilien, zwei Sichtweisen
Skizzenerkennung kann eine Zeichnung als Bewegung oder als Bild verstehen. RNNs verarbeiten die zeitliche Folge der Stiftpunkte. CNNs betrachten die daraus gerasterte Form. Beide Ansaetze sind sinnvoll, beantworten aber unterschiedliche Fragen.
Ein rekurrentes Netz liest eine Sequenz: Punkt fuer Punkt, Strich fuer Strich. Dadurch bleiben Reihenfolge, Richtung, Stiftheben und Tempo als Information erhalten. Sketch-RNN nutzt diese Repraesentation, um Skizzen zu modellieren und neue Zeichnungen zu generieren.
Ein CNN bekommt ein gerastertes Bild, etwa 96 x 96 Pixel. Es lernt lokale Muster wie Kanten und Boegen und kombiniert sie zu Formen. Das ist robust, schnell und sehr gut geeignet, wenn eine Echtzeit-App nur wissen muss: Welcher Begriff ist am wahrscheinlichsten?
| Kriterium | RNN-basierte Erkennung | CNN-basierte Erkennung |
|---|---|---|
| Eingabeformat | Sequenz von Stiftpunkten, Strichen und Pen-up/Pen-down-Zustaenden. | Gerastertes Graustufenbild der Zeichnung. |
| Gelerntes Signal | Bewegungsrichtung, Reihenfolge, zeitlicher Aufbau und Stroke-Struktur. | Form, Kontur, lokale Bildmuster und raeumliche Anordnung. |
| Typische Modelle | RNN, LSTM, GRU, Sequenz-Encoder, Sketch-RNN. | CNN, ResNet-artige Netze, leichte Echtzeit-Klassifikatoren. |
| Staerken | Gut fuer generative Skizzenmodelle und Analyse des Zeichenprozesses. | Robust gegen unterschiedliche Zeichenreihenfolgen, schnell und einfach zu deployen. |
| Schwaechen | Abhaengiger von sauberer Sequenznormalisierung und variabler Laenge. | Verliert Reihenfolge und Richtung der Striche beim Rastern. |
| Latenz | Kann je nach Sequenzlaenge wachsen. | Konstante Eingabegroesse, daher gut fuer Millisekunden-Inferenz. |
| Interpretierbarkeit | Erklaert eher, wie eine Zeichnung entstanden ist. | Erklaert eher, welche sichtbaren Formmerkmale erkannt wurden. |
| Einsatz in DrawLa/DrawClash | Relevant als Forschungsbezug, besonders Sketch-RNN. | Praktischer Ansatz: Klassifikation gerasterter 96x96-Skizzen. |
In einem Spiel zaehlt schnelle, stabile Klassifikation. Sobald die Striche in ein kleines Bild normalisiert sind, bleibt die Eingabe fuer das Modell immer gleich gross. Ein CNN kann daraus in wenigen Millisekunden Wahrscheinlichkeiten fuer die 345 Quick-Draw-Kategorien berechnen. Es ist dabei egal, ob jemand zuerst die Ohren oder zuerst den Kopf einer Katze zeichnet.
Der Preis dafuer ist Informationsverlust: Die zeitliche Reihenfolge der Striche verschwindet im Bild. Fuer reine Klassifikation ist das oft akzeptabel. Fuer Modelle, die selbst zeichnen oder den Zeichenprozess verstehen sollen, sind RNN- und Sequenzmodelle dagegen naeher am urspruenglichen Signal.
Derselbe Gedanke passt zu Mobile- und Edge-Neural-Models: Ein kleines CNN mit fester Eingabegroesse laesst sich quantisieren und fuer On-Device-Inferenz optimieren. Frameworks wie LiteRT aus Google AI Edge sind genau fuer solche latenzarmen ML-Modelle auf Geraeten und Edge-Plattformen gedacht.
Die praktische Seite QuickDraw mit PyTorch zeigt, wie dieser CNN-Weg als Trainingspipeline aussehen kann: NPZ-Bilder laden, augmentieren, mit Cross-Entropy trainieren und nach ONNX exportieren.
Sketch-RNN ist besonders wichtig, weil es Skizzen als Vektorfolge modelliert. Das Modell lernt nicht nur, zu welcher Klasse eine Skizze gehoeren koennte, sondern auch, wie plausible Strichfolgen aussehen. Es ist deshalb ein zentraler Bezugspunkt fuer stroke-basierte Repraesentation und generative Skizzenmodelle.