Google vient de dévoiler Gemini 4 Argon, un nouveau modèle d’intelligence artificielle capable de rivaliser avec les meilleurs modèles d’OpenAI et d’Anthropic sur plusieurs benchmarks. Plus fiable et moins cher que certains concurrents, il se montre néanmoins particulièrement gourmand en tokens.
Google a dévoilé mercredi son nouveau modèle d’intelligence artificielle, Gemini 4 Argon. Actuellement, ce dernier est réservé à un petit groupe d’experts en cybersécurité mais pas au grand public. Selon des premiers tests indépendants, il rivalise avec GPT-6 Astra d’OpenAI sur l’Artificial Analysis Intelligence Index (AAII) avec 53 points. C’est un point de plus que GPT-6.1 Sol, mais il reste en-dessous de Claude Opus 5.5, toujours en tête du classement avec ses 58 points.
Les performances de Google se sont toutefois largement améliorées, en effet, la dernière version haut de gamme, Gemini 3.1 Pro Preview ne marquait que 30 points sur ce benchmark.
Moins d’hallucinations, davantage de tokens
L’avantage de cette nouvelle version, c’est sans conteste sa meilleure fiabilité factuelle. Sur le test AA-Omniscience, qui évalue la connaissance factuelle, le modèle affiche un taux d’hallucination de 15 %, le plus bas de tous les modèles ayant obtenu au moins 45 points à l’indice. À titre de comparaison, GPT-6 Astra fait un score de 51 % et GPT-6.1 Sol, 54 %.
À l’inverse de ses concurrents, Argon préfère visiblement connaître ses limites plutôt que d’inventer des réponses inexactes. Toutefois, en contrepartie, il fournit seulement 51 % de bonnes réponses contre 63 % pour GPT-6 Astra.
Mais les performances varient selon les domaines. Argon excelle dans AutomationBench-AA, un test portant sur les flux de travail de logiciels professionnels avec un score de 78 %. C’est 7 points de plus que Claude Sonnet 5.5. Sur Terminal Bench 4, un test de codage, il se hisse à 57 %, bien derrière Claude Sonnet 5.5 avec ses 64 %, Claude Opus 5.5 avec ses 60 % et GPT-6 Astra avec ses 59 %.
Un gentil glouton affamé de tokens
Chaque tâche d’indice coûte 1,99 dollar avec Argon au tarif de lancement, représentant 60 % du prix de GPT-6 Astra (3,26 dollars). Mais attention, cette économie provient des prix des tokens réduits plutôt que d’une consommation moins élevée. En effet, Argon utilise environ 62 000 tokens de sortie par tâche, contre 27 000 pour GPT-6 Astra. Le nouveau modèle de Google reste toutefois 2,7 fois plus onéreux que GPT-6.1 Sol.
Google pratique actuellement une réduction de 50 % : 2 dollars par million de tokens d’entrée et 10 dollars par million de tokens de sortie. Aux tarifs classiques de 4 et 20 dollars, chaque tâche monterait à 3,98 dollars, soit environ 1,2 fois le coût de GPT-6 Astra selon Artificial Analysis. Google n’a toutefois pas annoncé de date de fin pour cette promotion.
Des employés de Google pourtant réservés
En interne, certains employés de Google se montrent plus réservés. Selon Bloomberg, qui cite des personnes familières des évaluations internes, les capacités de codage d’Argon sont inégales, et le modèle n’excelle pas particulièrement en design d’interface utilisateur.
Argon est également un modèle de grande taille aux nombreuses capacités, entraînant de par le fait généralement des coûts d’exploitation élevés. Deux sources estiment que le modèle pourrait souffrir d’un phénomène appelé « benchmaxxing », où les ingénieurs optimisent les scores des tests au détriment d’un produit performant.Google dévoile Gemini 4 Argon : très performant, moins cher, mais extrêmement gourmand
Certains employés pensent que les modèles Fable d’Anthropic et Astra d’OpenAI progressent plus rapidement que Gemini. D’autres considèrent que Gemini 4 a rattrapé la concurrence. Bien évidemment, Google indique qu’il est hors de question de croire que son modèle serait défaillant en termes de codage.
« Pour moi, c’est une certitude que nous resterons toujours à la pointe », a déclaré Kavukcuoglu.
Ce dernier avait indiqué que Google souhaitait déployer Gemini 4 bien avant la fin de l’année. Les clients de l’API payante et les abonnés à Google AI Ultra auront prochainement un accès à Argon, mais là non plus, Google n’a pas communiqué de date précise.
