Claude est devenu si performant en programmation qu’un manager d’Anthropic a décidé de supprimer un test d’embauche pour son équipe. L’intelligence artificielle réussit désormais mieux que la majorité des candidats, remettant en question l’intérêt de ces exercices.
Alors que de nombreux ingénieurs logiciels passent des semaines à s’entraîner sur des problèmes LeetCode pour un simple entretien d’embauche, un manager d’Anthropic a décidé de laisser tomber le test. Selon lui, sur ce type d’exercice, Claude surpasse déjà la majorité des candidats.
Un test devenu obsolète
Felix Rieseberg, qui a dirigé le développement technique de Claude.ai et de l’application de bureau Claude Code, a fait cette annonce cette semaine sur X. Il y explique que l’entretien de code ne lui apporte désormais plus d’information utile, ce qui l’a conduit à le retirer du processus de recrutement de son équipe ce mois-ci.
Dans un billet de blog plus détaillé, Rieseberg revient sur l’intérêt qu’avait autrefois ce type d’exercice. Observer un candidat définir un problème puis arriver à une solution constituait, selon lui, un indicateur peut-être pas parfait, mais réel, de sa future performance au sein de ses équipes. Mais depuis, Claude est devenu très performant sur ces exercices. Ainsi, un petit défi de programmation en React n’apporte pas plus de choses qu’un quiz sur le langage assembleur.
Un problème partagé en interne
L’équipe performance d’Anthropic a rencontré une difficulté similaire avec son propre test à réaliser à domicile. Tristan Hume, responsable de cette équipe, a indiqué en janvier que Claude Opus 4 obtenait de meilleurs résultats que la majorité des candidats dans le temps imparti. Il a donc commencé par renforcer la difficulté du test.
Mais la sortie d’Opus 4.5 a de nouveau changé la donne. Ce nouveau modèle faisait aussi bien que les meilleurs candidats humains. Tristan Hume a depuis mis au point une troisième version du test, qui s’appuie sur des problèmes inhabituels, proches de jeux de réflexion, qu’Opus 4.5 n’est pas parvenu à résoudre.
Un contexte plus nuancé
Le discours ambiant autour de l’IA et des jeunes diplômés est généralement pessimiste, bien que les données sur l’emploi restent, de l’aveu même de l’article, mitigées. Par ailleurs, Nicole Bachaud, économiste du travail chez ZipRecruiter, a indiqué au média The Register que les employeurs du secteur des nouvelles technologies restent ceux qui recourent le plus souvent à des tests de compétences. Selon une enquête menée par l’entreprise en octobre auprès de 1 500 employeurs, 62,5 % des entreprises du secteur de l’information exigent des tests de compétences formels dès la candidature initiale. Environ 70 % d’entre elles ont également modifié les modalités de ces évaluations, en optant pour des sessions surveillées ou en présentiel, afin de limiter le recours à l’IA par les candidats.
De son côté, Anthropic maintient dans ses consignes officielles aux candidats l’interdiction d’utiliser Claude lors des entretiens et des tests à réaliser à domicile, sauf indication contraire. Il convient par ailleurs de préciser que la décision de Rieseberg ne concerne que son équipe : toute personne postulant à un autre poste chez Anthropic devra vraisemblablement toujours passer par un entretien de code classique.
