Die Automatisierung von Benutzeroberflächen (UI) ist immer noch eine schwer zu meisternde Aufgabe, da die verwendeten Tools in der Regel UI-Elemente aufgrund der Struktur hinter der Darstellung statt auf visueller Ebene erkennen.

Menschen haben ein intuitives Verständnis für visuelle Benutzeroberflächen, da unser Gehirn sehr gut darin ist, Muster zu erkennen. Sehen wir uns zum Beispiel Abbildung 1 an. Wir erkennen sofort, dass es sich um eine Art Anmeldeformular handelt und dass es einen Button …