iPadOS & Handschrift-Erkennung: Warum heute funktioniert, was einst komplett scheiterte
Alteingesessenen Mac-Nutzern fällt beim Thema Handschrifterkennung sicherlich zuerst der Newton ein, Apples PDA der 90er Jahre, welcher mit genau dieser Funktion glänzen sollte. Bekanntlich war die Qualität der Erfassung allerdings ziemlich durchwachsen – denn die damaligen Ansätze zeigten sich schlicht zu limitiert. Es verging viel Zeit, bis Apple erneut ansetzte und ein Betriebssystem um Eingabe per Handschrift erweiterte. Früchte trugen die Bestrebungen in iPadOS 14, denn zusammen mit dem Apple Pencil kann der Nutzer anstatt zu tippen nun auch in Felder hineinschreiben. Das System führt eine automatische Umwandlung durch – was technisch gesehen aber alles andere als trivial ist.
Maschinelles Lernen, große DatenbankApples Softwarechef Craig Federighi hat sich in einem Interview mit Popular Mechanics dazu geäußert, wie Apple bei der Entwicklung vorgegangen ist und was heutige Schrifterkennung von früheren Versuchen unterscheidet. So versucht das System nun nicht mehr, einfach nur bekannte Formen zu erkennen. Ausgefallenere Handschriften, die von einfachen Standards abweichen, wären so unmöglich. Stattdessen beruht der Erfahrungsschatz des Algorithmus auf unzähligen Schriftproben – also ein klassisches Vorgehen im Maschinellen Lernen. Federighi zufolge habe man weltweit mit Versuchspersonen gearbeitet und diese Texte per Apple Pencil niederschreiben lassen.
Lokale Ausführung inklusive VorhersagenEs reiche aber nicht aus, nur die Schriftproben zu analysieren, stattdessen müsse auch die Entstehung selbst in die Betrachtung mit eingehen. Erst die großen, kombinierten Datenmengen aus Handführung, der daraus resultierenden Handschrift und einem Wörterbuch-System mache es möglich, zuverlässige Vorhersagen zu treffen. Die Evaluierung findet direkt auf dem Gerät statt – was mit der Performance eines aktuellen Tablets funktioniert, in den 90ern aber noch schlicht undenkbar war. Alles funktioniere in Echtzeit, während des Schreibens trifft der Algorithmus dabei schon Vorhersagen, mit welchem Schwung es nun wohl weitergeht.