Enseignants
Blondel Vincent; Calbert Julien (supplée Delvenne Jean-Charles); Delvenne Jean-Charles; Legat Benoît (coordinateur(trice));
Langue
d'enseignement
d'enseignement
Préalables
Une familiarité avec les mathématiques et l'algorithmique de tronc commun du bachelier ingénieur ou sciences informatiques (SINF) est requise. Plus particulièrement en algèbre linéaire et analyse (par exemple LEPL1101 et 1102), probabilités (par exemple LEPL1108), mathématiques discrètes (par exemple LINMA1691), algorithmique et programmation de base (par exemple LEPL1104 et LEPL1401).
Thèmes abordés
L'objet du cours est d'explorer des questions principalement algorithmiques relatives aux défis posés par les données massives (Big Data).
Acquis
d'apprentissage
d'apprentissage
A la fin de cette unité d’enseignement, l’étudiant est capable de : | |
Eu égard au référentiel AA, ce cours contribue au développement, à l'acquisition et à l'évaluation des acquis d'apprentissage suivants :
Plus précisément, au terme du cours, l'étudiant·e sera capable de :
|
|
Contenu
Ce cours explore la différentiation automatique (AD), technologie clé au cœur de l’apprentissage automatique moderne. Les étudiants apprendront les principes de l’AD en partant des approches scalaires et tensorielles, jusqu’aux techniques de différentiation du second ordre et des structures creuses. Le cours abordera également la différentiation de programmes d’optimisation. À travers des projets pratiques, les étudiants implémenteront leur propre moteur de différentiation automatique et l’utiliseront pour entraîner des réseaux de neurones et des transformeurs.
Le cours introduit également les méthodes à noyaux comme approche classique de l’apprentissage dans des espaces de grande dimension. Il se termine par une exploration des modèles génératifs pour des tâches sans supervision explicite, telles que la génération d’images, incluant les réseaux antagonistes génératifs (GAN), les autoencodeurs variationnels (VAE) et les modèles de diffusion.
Le cours introduit également les méthodes à noyaux comme approche classique de l’apprentissage dans des espaces de grande dimension. Il se termine par une exploration des modèles génératifs pour des tâches sans supervision explicite, telles que la génération d’images, incluant les réseaux antagonistes génératifs (GAN), les autoencodeurs variationnels (VAE) et les modèles de diffusion.
Méthodes d'enseignement
Cours ex cathedra en partie qui présentent les concepts et algorithmes avec leur fondements théoriques, et projets avec rapports écrits et/ou présentation orale. Ces projets contiennent une bonne part d'implémentation d'algorithmes (en Python) et d'analyse de données. Il convient donc d'apprendre ce langage (notamment via les tutoriels proposés) si on ne le maîtrise pas déjà.
Modes d'évaluation
des acquis des étudiants
des acquis des étudiants
- Travail réalisé pendant le quadrimestre: devoirs, exercices ou travaux pratiques. Ces activités ne sont donc organisées (et évaluées) qu'une seule fois par année académique.
- Examen écrit, ou oral selon les circonstances.
- Bonus points pour le meilleur projet our pour des contributions au ressources open source du cours.
HW la note des devoirs (sur 20) et EX la note d'examen (également sur 20). Si HW et EX sont tous deux supérieurs à 10, on prend leur moyenne. Si HW est inférieur à 5 ou EX est inférieur à 5, on utilise min(HW, EX). Pour interpoler entre ces cas, on définit une fonction de pondération f(x) = min(max(0, (x - 5)/10), 0.5). Si EX < HW, on calcule G1 = f(EX) * HW + (1 - f(EX)) * EX ; si HW < EX, on calcule G2 = (1 - f(HW)) * HW + f(HW) * EX. Autrement dit, la note combinée devoir + examen est min(G1, G2). Les points bonus sont ajoutés à cette note (sans dépasser 20).
Ressources
en ligne
en ligne
Bibliographie
- Evaluating Derivatives, A. Griewank and A. Walther
- The Elements of Differentiable Programming, M. Blondel, V. Roulet
Faculté ou entité
en charge
en charge
Programmes / formations proposant cette unité d'enseignement (UE)
Intitulé du programme
Sigle
Crédits
Prérequis
Acquis
d'apprentissage
d'apprentissage
Master [120] en science des données, orientation statistique
Master [120] : bioingénieur en sciences et technologies de l'environnement
Master [120] en sciences mathématiques
Master [120] : bioingénieur en chimie et bioindustries
Master [120] : ingénieur civil en informatique
Master [120] en sciences informatiques
Master [120] : ingénieur civil en mathématiques appliquées
Master [120] : ingénieur civil en science des données
Master [120] : bioingénieur en sciences agronomiques
Master [120] en science des données, orientation technologies de l'information