Deep Learning & Neural Networks — fondations, entraînement et fiabilité

Neurone artificiel : poids, biais et combinaison linéaire

Calculer la sortie d’un neurone et interpréter poids, biais et seuil.

Perceptron : séparation linéaire et décision binaire

Implémenter une décision perceptron et expliquer ses limites linéaires.

Tenseurs, batchs, shapes et normalisation

Vérifier les dimensions, les batchs et la normalisation des entrées.

Données, baseline et split train/validation/test sans fuite

Construire un protocole d’évaluation qui protège le test final.

Forward pass MLP : couches denses et dimensions

Composer un réseau dense minimal et vérifier les dimensions de sortie.

Activations : sigmoid, tanh, ReLU et softmax

Choisir et calculer des activations adaptées au contexte.

Fonctions de coût : MSE et cross-entropy

Associer la loss à une tâche de régression ou classification.

Initialisation des poids et stabilité numérique

Comparer des initialisations et vérifier la stabilité des activations.

Représentations apprises et embeddings simples

Utiliser une matrice d’embedding pour représenter des catégories.

Descente de gradient : apprendre un poids

Mettre à jour un paramètre à partir d’un gradient calculé.

Backpropagation : règle de chaîne et gradient local

Relier dérivées locales et gradient global.

Autograd avec PyTorch : gradients automatiques

Calculer un gradient automatiquement et le contrôler.

Optimiseurs : SGD, momentum et Adam

Comparer des mises à jour d’optimiseur et surveiller la convergence.

Mini-batches, epochs et boucle d’entraînement

Structurer une boucle d’entraînement par mini-batches.

Surapprentissage, validation et early stopping

Diagnostiquer l’overfitting et déclencher un arrêt anticipé.

Régularisation L2, dropout et augmentation de données

Appliquer des garde-fous de généralisation adaptés.

Classes déséquilibrées, métriques et seuils

Choisir précision, rappel, F1 ou seuil selon le coût d’erreur.

Tuning hyperparamètres sans fuite de test

Comparer des paramètres sur validation sans toucher au test final.

Reproductibilité : seeds, checkpoints et suivi d’expérience

Tracer les seeds, versions, checkpoints et résultats.

Panorama architectures : MLP, CNN, RNN et Transformers

Choisir une architecture selon données, objectif et contraintes.

Interprétabilité : erreurs, ablation et signaux faibles

Analyser les erreurs et tester l’effet d’une variable.

Inférence légère : fonction predict, latence et robustesse

Préparer une fonction d’inférence simple, stable et traçable.

Gouvernance : model card, risques, supervision humaine et AI Act

Rédiger une model card incluant limites, risques et supervision.

Projet certifiant : prototype Deep Learning responsable

Assembler un prototype complet avec preuves, limites et documentation.