Recherche contextuelle sur Android

Tu connais sûrement la recherche d’écran (screen search) sur Android. C’est une fonction de l’assistant de recherche qui s’appuie sur les éléments affichés à l’écran pour lancer une recherche. Il y a de l’OCR pour reconnaitre le texte dans les images et je viens de tomber par hasard en le déclenchant qu’on a aussi de la reconnaissance d’image.

wp-1491212860869.png

C’était un portrait de John Lennon et il l’a reconnu directement. Flippant. Mais au final, je me dis que l’image doit être dispo en ligne, donc que c’est pas forcément si difficile que ça de faire la corrélation. Vive le machine learning.

Là où je trouve ça assez fou par contre, c’est avec des photos perso. Il m’a reconnu directement une photo d’un bout d’un poster du groupe Motörhead.

wp-1490956434147

Et là où ça m’a le plus étonné, c’est avec une photo prise à Bruges en Belgique, où il y a reconnu directement un monument qui apparaît à l’arrière plan.

wp-1490956405033.gif

Dans le même genre, Facebook analyse aussi nos images (je t’apprends rien n’est-ce pas ?) et on peut d’ailleurs voir quels tags y sont ajoutés automatiquement : https://github.com/ageitgey/show-facebook-computer-vision-tags.