Fondé en 2019, ChapsVision est un éditeur de logiciels en pleine croissance, membre du NEXT40 de la French Tech parmi les 40 start‐ups françaises les plus prometteuses.

Avec 1200 collaborateurs et plus de 1000 clients grands comptes et régaliens, nous avons pour ambition de devenir un leader européen du traitement souverain de la donnée.

Notre objectif est de poursuivre notre développement en renforçant nos équipes pour concevoir, commercialiser, déployer et supporter des produits innovants de plus en plus ambitieux.

Parallèlement, notre engagement social se manifeste à travers la fondation HappyCap, adossée au groupe, qui vise à soutenir les enfants atteints de troubles de développement mental et cognitif et leurs familles.

Vous rejoignez l'équipe R&D en Intelligence Artificielle de ChapsVision, en charge du développement de technologies de pointe autour des LLMs, des agents autonomes et de l'évaluation de systèmes complexes.

Dans un contexte où l'observabilité et l'évaluation des agents IA deviennent critiques, vous contribuerez à la conception d'outils permettant d'analyser leurs traces, détecter les échecs d'exécution et qualifier la qualité des décisions. Votre travail s'appuiera sur l'état de l'art récent en évaluation des agents et LLM.

• Réaliser un état de l'art complet sur les méthodes d'évaluation d'agents et de systèmes LLM.
• Concevoir un outil générique capable d'ingérer et d'analyser des traces d'exécution d'agents (actions, logs, états internes).
• Produire des métriques actionnables : qualité du raisonnement, bonne utilisation des outils, erreurs d'exécution ou d'intention.
• Définir et expérimenter des critères d'évaluation qualitatifs et quantitatifs.
• (Optionnel) Proposer des méthodes d'automatisation via génération de jeux de tests, self‐play ou simulation.
• (Optionnel) Utiliser les résultats d'évaluation pour améliorer automatiquement les agents (prompt optimization, LoRA...).
• Intérêt fort pour les LLMs, agents autonomes, observabilité ou évaluation IA.
• Solides compétences en Python.
• Connaissances en NLP ou machine learning.
• Curiosité, rigueur, autonomie.
• Connaissances Linux / bash appréciées.
• Carte SWILE : 10€ / jour pris en charge à 60%.
• Transport en commun : pris en charge à 50%.
• Télétravail : 3 jours/semaine maximum avec une indemnité de 26 euros par mois.
• Un entretien téléphonique avec l'un de nos recruteurs techniques pour faire connaissance.
• Un échange avec votre futur tuteur pour évaluer vos compétences et discuter du déroulement de votre futur stage.

Tous nos postes sont ouverts aux personnes en situation de handicap.