Présentation de la société : ORANGE SA
L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité…) , les femmes et les hommes de Innovation sont à l'écoute et au service des pays, des régions et des business units pour faire d'Orange un opérateur multiservices de confiance.
La direction Data & AI a pour principale mission de faire d'Orange une entreprise « data driven », qui définit les standards du Groupe en matière de data et d'intelligence artificielle, et qui facilite le développement des cas d'usage, des produits et services de données. Cette direction est appelée à accompagner l'ensemble du groupe Orange
Missions
Contexte global et problématique du sujetOrange traite de grandes quantités de conversations humain-machine (via diverses solutions de bots) et humain-humain pour la relation client. Souvent ces conversations ne sont pas rigoureusement évaluées. Dans le cas de bots, l'émergence récente des grands modèles de langage ou LLMs (pour Large Language Models) rend possible assez facilement le développement d'agents capables de résoudre des taches complexes (e.g. ReAct, Chain of Thoughts) . Il est ainsi probable que l'usage de bots va se multiplier à l'avenir dans des services en production. Alors que l'évaluation de la qualité de ces bots était une tâche relativement manuelle spécifique aux périmètres et domaines de spécialité des conversations traitées, cette multiplication appelle à adopter une approche automatique pour avoir la capacité de piloter les déploiement et évolutions de tous ces bots. De manière générale, l'évaluation des conversations concernent aussi celles entre humains.
Plus globalement en traitement automatique des langues, les LLMs conduisent à un estompement des frontières entre les diverses tâches de traitement automatique des langues (par exemple le résumé, l'analyse de sentiments, les systèmes question-réponse, de recommandation, la génération de code, etc.) et les domaines d'application (par exemple : tourisme, restaurant, commerce, assistance technique, etc.) . Ainsi, la question de l'évaluation des sorties des LLMs est devenu un sujet transversal.
Divers travaux s'intéressent déjà à chercher une corrélation entre des métriques (indicateurs) objectives et subjectives pour évaluer les conversations et pour la génération de textes. D'autres cherchent à prédire la qualité d'une conversation. Des scores agnostiques au modèle pour comparer le comportement des deux systèmes de dialogue ont été également propose par la littérature. Le challenge DSTC (Dialogue System Technology Challenge) propose régulièrement, y compris cette année, l'évaluation des dialogues.
Nous cherchons de nous inspirer de la théorie de jeux, l'interprétabilité et des voitures autonomes pour trouver la stratégie qui a été suivi par les systèmes de dialogues. Nous cherchons de travailler sur des données publics (WebShop, ALFWorld, …) et privés Orange (Assistance Technique, Bot commerciaux, …) .
Profil recherché
Compétences (scientifiques et techniques) et qualités personnelles exigées par le poste- Vous avez des compétences dans les domaines de l'Intelligence Artificielle, de l'apprentissage automatique et particulièrement dans l'apprentissage profond.
- Vous disposez d'un bon niveau en mathématiques (optimisation numérique, statistiques, probabilités, etc.) .
- Vous maîtrisez le développement logiciel
- Vous maîtrisez l'anglais lu, écrit, parlé
- Vous êtes curieux, attiré par les nouvelles technologies, et prêt à suivre le rythme de leurs évolutions
- Vous aimez le travail en équipe, au sein de projets pluridisciplinaires, et contribuer à un objectif commun, tout en étant autonome sur les activités qui sont les vôtres
- Vous avez de bonnes capacités d'analyse et de synthèse
- Maîtriser un des outils d'apprentissage profond suivants : Torch, pyTorch, TensorFlow, MXNet serait un plus
- Vous aimez communiquer le résultat de vos travaux à travers de rapports écrits et des présentations orales
Cursus d'ingénieur et/ou Master de Recherche, avec des connaissances dans l'apprentissage automatique et dans au moins l'un des domaines cités ci-dessus.
Expériences souhaitées?(stages, …)
Une première expérience de mise en oeuvre d'algorithmes d'apprentissage neuronal (dans le cadre d'un stage par exemple) serait un plus