Date :

Alternance trois jours par semaine de septembre 2013 à février 2014.
Stage de mars à août 2014

Contexte Scolaire

Les six premiers mois d'alternance sont possibles mais facultatifs en cinquième année dans le cadre d'Epitech, le stage quant à lui, correspond au stage obligatoire de fin d'étude clôturant le cursus Epitech.

Entreprise, Encadrement & Mission

Le Greyc est un laboratoire de recherche affilié à l'Université de Caen Normandie et du CNRS dédié aux recherches dans le domaine de l'informatique. Il est composé de diverses équipes, chacune spécialisée dans un domaine différent (images, biométrie, data mining ...). J'ai fait cette année au sein de l'équipe Modèles, Agents, Decision (MAD) spécialisée dans le raisonnement et la représentation des connaissances, la planification sous incertitudes et le multi-agent.

Durant cette année, j'ai été encadré par le Professeur Bruno Zanuttini, responsable de l'équipe MAD. Les locaux de l'équipe se situent sur le Campus 2 de l'Université de Caen Normandie.

Ma mission était de créer une librairie Java générique d'intelligence artificielle centrée, au départ, autour des Processus de Décisions Markoviens (MDP). La librairie se veut facilement utilisable que les personnes aient ou non des connaissances en I.A. .

Déroulement

La famille des Processus de Décisions Markoviens est très utilisée pour la planification dans différents systèmes. L'équipe MAD, en collaboration avec d'autres laboratoires et des entreprises privées, s'en servent notamment pour la planification en robotique. Dans un premier temps, j'ai donc étudié en profondeur cette famille d'algorithme, dont j'avais acquis quelques connaissances à Epitech lors de la réalisation du projet Animate ( Plus de détails sur Animate), par l'étude de livres et articles scientifiques du domaine. J'ai ensuite attaqué l'implémentation de cette librairie par les algorithmes de résolution de MDPs simples (value iteration, policy iteration, par programmation linéaire), puis des techniques d'apprentissage par renforcement associé (MonteCarlo, QLearning, RMax, Sarsa, TD). J'ai également pu, pendant ce stage, ajouté la modélisation des Processus de Décisions Markoviens Partiellement Observables (POMDP) et les MDP Factorisés (selon le formalisme PDDL).

Une autre partie de mon stage a été de créer des outils de simulation pour tester et démontrer les algorithmes. :

  • Le premier fut une simulation de courses dans un labyrinthe entre diverses IA. La simulation existait déjà, il m'a alors fallu simplement y intégrer la librairie Madlib de manière à pouvoir utiliser instantanément tout nouvel algorithme et ainsi faciliter nos tests et démonstrations.
  • Le second, créé de zéro cette fois-ci, fut dédié à l'apprentissage par renforcement. Les différentes I.A. que vous choisissez se retrouvent dans un labyrinthe inconnu avec certaines cases donnant différentes sommes de points lorsqu'il passe dessus. Le but des I.A est donc de découvrir ce labyrinthe de manière à maximiser son score (Plus de détails sur Run For Gold).
  • Enfin, j'ai pu réaliser complètement un jeu de Pac Man jouable, dans lequel le joueur choisit quels I.A. il va affronter, les I.A. jouant alors le rôle des fantômes. Il est également possible de faire jouer le(s) PacMan(s) par des I.A. simplement pour les observer (Plus de détails sur Pac Man).

Retour

Personnel

Ce stage a été très instructif sur des techniques d'I.A. que je n'avais fait que survolées. Il m'a également permis de découvrir l'intérieur d'un laboratoire de recherche public, son organisation et ses recherches. Durant cette année, j'ai ainsi pu confirmer ma volonté de m'orienter vers la recherche, par un nouvel M2 orienté recherche puis une thèse dans le même laboratoire, dirigée par le professeur Zanuttini.

Entreprise

A la fin de ce stage, la librairie était fonctionnelle et déjà utilisée par plusieurs personnes de l'équipe, mon encadrant s'employant à pousser les membres de l'équipe d'y intégrer leurs propres réalisations. L'objectif initialement souhaité étant de rendre public, sous une licence open source, cette librairie lorsqu'elle aura pris assez d'ampleur. Les logiciels de simulations réalisés sont quant à eux utilisés régulièrement lors de différents évènements (telle la fête de la science).