Si vous avez oublié que vous avez un chien ou que vous appréciez davantage les pizzas aux choux de Bruxelles cuits à la vapeur, bonne nouvelle, l’IA de Google pourra vous le rappeler. C’est l’ambition de Projet Ellmann, une version ++ de Souvenirs.
Tandis que l’IA de Meta ambitionne de transformer chacun de nous en artiste, pour son Gemini, Google a d’autres ambitions : en faire un conteur de notre vie, notamment, et sans trucage cette fois (du moins, espérons-le). C’est en tout cas ce que décrit un mystérieux Projet Ellmann.
Il aurait été présenté par une équipe de Google au cours d’un événement dont a eu vent Jennifer Elias, une journaliste de CNBC. Dans les grandes lignes, la firme souhaiterait faire de son agent conversationnel un observateur attentif de nos moindres faits et gestes. Les tenants et aboutissants de cette démarche restent indéfinis, mais le chabot se baserait sur une multitude de données, dont les photographies et les recherches.
À lire > ChatGPT-4 est devenue fainéante, l’IA refuse les consignes des utilisateurs
Tout le monde aura son biographe
Le nom du projet trahit déjà ses ambitions : Ellmann est une référence à Richard David Ellmann, un biographe américain qui a notamment écrit sur Oscar Wilde. L’idée serait donc d’offrir une biographie à tout un chacun, en confiant à une IA le soin de la rédiger et de devenir « le conteur de votre vie ».
Pour y parvenir, Projet Ellmann s’appuierait sur les capacités multimodales de Gemini, c’est-à-dire sa faculté à comprendre différents supports, qu’ils soient auditifs ou visuels (paroles, texte, photographies, etc. ; gardons aussi à l’esprit qu’une IA ne comprend rien au sens littéral du terme).
L’article source se limite à du texte, mais la présentation consistait en plusieurs diapositives donnant des exemples concrets de cette mise en œuvre. Comme la capacité à identifier des périodes clefs d’une vie, telles que les années d’étude ou en tant que jeunes parents.
L’IA pourrait ainsi retenir que « Jack est le premier et unique enfant de James et Gemma » ; que James apprécie la cuisine italienne, car bon nombre de photos le montrent mangeant des pâtes et des pizzas.
Parmi les autres illustrations données par l’équipe, celle d’un utilisateur s’interrogeant sur la date de la dernière visite de ses frères et sœurs ; d’un autre souhaitant déménager et qui s’enquiert auprès du chabot de villes similaires à celle dans laquelle il vit.
Quel intérêt ?
Notre confrère rapporte également quelques phrases qui définissent plus globalement la visée du projet. Celle-ci notamment : « Nous ne pouvons pas répondre à des questions difficiles ou raconter de bonnes histoires sans avoir une vue d’ensemble de votre vie » en guise de description d’une photo montrant un jeune garçon jouant avec un chien.
« Nous parcourons vos photos, en examinant leurs étiquettes et leurs emplacements afin d’identifier un moment significatif. Lorsque nous prenons du recul et que nous comprenons votre vie dans son ensemble, votre histoire globale devient claire », explicite une autre diapositive.
À ce stade, vous vous interrogez peut-être sur l’intérêt d’un tel assistant IA. Heureusement, l’équipe en charge du projet Ellman fournit quelques réponses.
« Imaginez que vous ouvrez ChatGPT mais qu’il sait déjà tout de votre vie. Que lui demanderiez-vous ? » ; apparemment, « Ai-je un animal de compagnie ? » (au cas où vous auriez oublié de le nourrir ou, plus grave, que vous l’auriez oublié dans le coffre de la voiture).
Face à cette question existentielle, Gemini répond, dans le cas présent, que l’utilisateur a un chien portant un « imperméable rouge » (donc un petit roquet frileux et perméable ou une sorte d’inspecteur Gadget canin augmenté par l’IA et préférant le rouge au gris) ; que l’animal est souvent en présence de deux membres de la famille.
Présenté de la sorte, l’outil ressemble à une version améliorée des « Souvenirs » de Google Photo en somme. Mais vous l’imaginez, l’objectif est certainement de proposer des applications plus poussées et mercantiles ; orienter l’utilisateur vers des produits qu’il pourrait acheter en se basant sur ses centres d’intérêt, entre autres.
D’ailleurs, un porte-parole de Google a déclaré à CNBC :
« Google Photos a toujours utilisé l’IA pour aider les utilisateurs à rechercher leurs photos et vidéos, et nous sommes enthousiastes quant au potentiel des LLM à débloquer des expériences encore plus utiles.
Il s’agissait d’une première exploration interne et, comme toujours, si nous décidions de déployer de nouvelles fonctionnalités, nous prendrions le temps nécessaire pour nous assurer qu’elles sont utiles aux gens et conçues pour protéger la vie privée et la sécurité des utilisateurs, ce qui est notre priorité absolue ».
Source : CNBC
C’est surtout pour créer des avatars personnalisés afin de g̶én̶ér̶e̶r̶ u̶n̶e̶ b̶e̶l̶l̶e̶ g̶e̶n̶’ d̶e̶ s̶k̶i̶z̶o̶ proposer la création d’avatars de personnes disparus par exemple, qui pour le coup auront un ‘naturel’ déconcertant. Ajoutons à cela le clonage parfait de l’image et de la voix, le futurs va être hum… intéressant.