Ερευνητές στο Πανεπιστήμιο Brown και στο Τεχνικό Πανεπιστήμιο του Βερολίνου ανέπτυξαν ένα πρόγραμμα που μπορεί να εντοπίσει απλά σκίτσα αντικειμένων σχεδόν το ίδιο καλά με τους ανθρώπους. Η έρευνα παρουσιάστηκε στο συνέδριο υπολογιστών γραφικών SIGGRAPH και το πρόγραμμα είναι πλέον διαθέσιμο στο διαδίκτυο.
Η εφαρμογή αυτή, δίνει ουσιαστικά στους υπολογιστές τη δυνατότητα της «σημασιολογικής κατανόησης» των αφηρημένων σκίτσων που βρίσκονται σε στάδιο επεξεργασίας σε πραγματικό χρόνο. Ωστόσο όσο πιο «καρτουνίστικα» και λιγότερο αληθοφανή, είναι τα σκίτσα που φτιάχνει ο χρήστης, τόσο μεγαλύτερη είναι η πρόκληση για το πρόγραμμα.
Προκειμένου να «ρυθμίσουν» το σύστημα, οι ερευνητές ξεκίνησαν να «ανεβάζουν» μία λίστα με καθημερινά αντικείμενα από ένα σύνολο φωτογραφικών δεδομένων που ονομάζεται LabelMe. Τελικά κατέληξαν με ένα σύνολο από 250 κατηγορίες αντικειμένων και στη συνέχεια χρησιμοποίησαν το Mechanical Turk της Amazon για να προσλάβουν άτομα να σκιτσάρουν μερικά αντικείμενα από κάθε κατηγορία -20, 000 σχέδια συνολικά. Τα στοιχεία αυτά τροφοδοτήθηκαν σε υπάρχοντες αλγορίθμους μηχανικής μάθησης για να διδάξουν το πρόγραμμα να ξεχωρίζει ποιά σκίτσα ανήκουν σε ποιες κατηγορίες.
Τέλος, η ομάδα δημιούργησε μια διεπαφή μέσω της οποίας μπορεί ο χρήστης να εισάγει νέα σκίτσα και ο υπολογιστής θα μπορούσε να προσπαθήσει να τα εντοπίσει σε πραγματικό χρόνο, καθώς ο χρήστης τα σχεδιάζει.
Με την εφαρμογή αυτή, ο υπολογιστής μπορεί να ταιριάξει τα σχέδια με τα αντικείμενα που του έχουν ήδη αποθηκεύσει στη μνήμη και πέρα από το διασκεδαστικό τη υπόθεσης, θα φανεί πολύ χρήσιμο στην ταυτοποίηση σκίτσων και προσώπων σε αστυνομικές έρευνες.