Stochastic Optimal Control and Reinforcement Learning

5.00 crédits

30.0 h + 22.5 h

> Horaire

Enseignants

Berger Guillaume; Bianchin Gianluca; Jungers Raphaël;

Langue
d'enseignement

Anglais

Préalables

Ce cours suppose la familiarité avec des notions de systèmes dynamiques (niveau de LEPL1106 : Signaux et systèmes, et LINMA1510 : Automatique linéaire) et d’analyse et d’algèbre (niveau de LEPL1101 : Algèbre, et LEPL1102 : Analyse I). LINMA2470 : Modélisation stochastique est vivement recommandé.

Thèmes abordés

Fondements des probabilités, contrôle optimal
Systèmes finis et processus de décision de Markov
Modèles d’état : LTI, hybrides, et non-linéaires
Contrôle optimal face à l’incertitude sur le modèle
Apprentissage par renforcement

Acquis
d'apprentissage

A la fin de cette unité d’enseignement, l’étudiant est capable de :

Contribution du cours aux objectifs de programme :

AA1.1, AA1.2, AA1.3, AA2.2
AA5.5
AA6.3

À l’issue du cours, l’étudiant sera capable de :

comprendre le concept d’optimisation d’un processus ou système stochastique;
reformuler des problèmes concrets comme des problèmes mathématiques de décision/conception pour des systèmes stochastiques;
utiliser les outils fondamentaux du contrôle optimal et de l’apprentissage par renforcement pour résoudre des problèmes de décision/conception pour des systèmes stochastiques;
appliquer des outils algorithmiques pour la résolution exacte ou approchée de problèmes de contrôle stochastique optimal, et comprendre leurs points forts et limites et leurs domaines d’applicabilité;
appliquer le concept d’exploitation vs exploration et de minimisation du regret;
procurer une solution exacte ou approchée à des problèmes de contrôle stochastique optimal, avec des applications dans divers domaines, tels que les mathématiques financières, la robotique, …

Acquis d'apprentissage transversaux :

Gérer des problèmes techniques imprévus qui apparaissent lors de l'optimisation d'un système réel.
Formuler des hypothèses raisonnables pour un problème donné, et les évaluer a posteriori.
Participer à un cours technique en anglais.

Contenu

Partie 1 : Fondements des probabilités, des systèmes et du contrôle optimal
Partie 2 : Algorithmes exacts pour la prise de décision optimale et le contrôle optimal
Partie 3 : Algorithmes approximatifs
Partie 4 : Prise de décision optimale et contrôle optimal basés sur les données, et applications

Méthodes d'enseignement

L'enseignement sera basé sur des cours en présentiel, entrecoupés de séances d'exercices pratiques et des devoirs supervisés. En outre, le cours peut inclure un projet, ou une présentation, à réaliser en groupe.

Modes d'évaluation
des acquis des étudiants

Au cours du quadrimestre, trois ou quatre projets sont assignés. Ces projets sont évalués sur la base de rapports écrits et/ou de défenses orales.
L’examen final, qui prend la forme d’un examen oral, porte sur les résultats des projets ainsi que sur la théorie du cours.
La note finale est composée des notes obtenues aux projets (60 %) et de la note de l’examen final (40 %).
En cas de deuxième inscription (en septembre), l'étudiant sera autorisé à redéposer un nouveau rapport de projet. La note finale est alors composée des notes obtenues aux projet redéposé (60 %) et de la note de l’examen de deuxième session (40 %)
En septembre, seule la note obtenue à l’examen de deuxième session est prise en compte pour la note finale.
D’autres activités, telles que des quiz et des devoirs, peuvent également être prises en compte dans la note du cours.

L'utilisation de l'IA, et la diffusion ou l'échange de (parties de) solutions sont évidemment interdites pour toute activité certificative.

Ressources
en ligne

https://moodle.uclouvain.be/enrol/index.php?id=9769

Support de cours

Meyn, Control Systems and Reinforcement Learning (Cambridge University Press, 2022)

Faculté ou entité
en charge

> MAP

Programmes / formations proposant cette unité d'enseignement (UE)

Intitulé du programme

Sigle

Crédits

Prérequis

Acquis
d'apprentissage

Master [120] : ingénieur civil en chimie et science des matériaux

KIMA2M

Master [120] : ingénieur civil des constructions

GCE2M

Master [120] : ingénieur civil biomédical

GBIO2M

Master [120] : ingénieur civil mécanicien

MECA2M

Master [120] en sciences actuarielles

ACTU2M

Master [120] : ingénieur civil électricien

ELEC2M

Master [120] en statistique, orientation générale

STAT2M

Master [120] : ingénieur civil physicien

FYAP2M

Master [120] : ingénieur civil électromécanicien

ELME2M

Master [120] : ingénieur civil en mathématiques appliquées

MAP2M

Master [120] : ingénieur civil en génie de l'énergie

NRGY2M