Stabilisation d’un pendule inversé à l’aide d’un apprentissage par renforcement

Cette ressource fait partie du « Dossier Intelligence Artificielle [8] ».

Cette ressource propose d’illustrer à travers une séance de travaux pratiques, les principes de base de l’apprentissage par renforcement.

Les concepts de base de l’apprentissage par renforcement sont rappelés. Cette partie théorique présente les notions d’action, d’observation, d’état, de récompense et de politique. Puis est montré comment formaliser le redressement et la stabilisation d’un pendule simple sous la forme d’un problème d’apprentissage par renforcement. Enfin, une séance de travaux pratiques mêlant simulations et expérimentations sur un système réel permet d’illustrer la pertinence de la méthode proposée, en particulier de l’importance du modèle utilisé pour modéliser l’environnement est discuté. L’activité pratique permet également de mettre en évidence la différence entre phases d’apprentissage et d’inférence.

La phase d’expérimentation se base sur Control’X et Matlab. Cependant, la partie simulation peut également se faire sur python dirigée principalement vers l’utilisation de la librairie Gym.

Cette ressource est à destination d’enseignants ou de chercheurs désirant se familiariser avec les concepts de l’apprentissage par renforcement. Il ne nécessite pas de connaissances préalables. Les activités pratiques peuvent être effectuées par des élèves de lycée ou de classe préparatoire même si l’apprentissage par renforcement n’est pas explicitement au programme. Les points du programme de classe préparatoire abordés sont listés dans le tableau à la fin de cette ressource.

Contenu de la ressource :

1. Déroulement de la séance de travaux pratiques
2. Contextualisation
3. Formalisme général
4. Formalisation du redressement et de la stabilisation du pendule inversé
5. Préparer l'apprentissage
6. Application sur le Control'X
7. Conclusion
8. Annexe