Understand

Avancé · après la descente de gradient et l'évaluation

Apprentissage profond et réseaux de neurones

Bêta Ce cours est en version bêta. Les leçons, les exercices et les traductions sont encore en cours de relecture et peuvent changer. Signalez tout ce qui vous semble faux avec le bouton de retour.

Vous écrivez les mécanismes avant d'utiliser le framework : différentiation en mode inverse, optimiseurs, normalisation par lots (batch normalisation), convolution et attention, vérifiés dans votre navigateur par comparaison avec des gradients numériques. Vient ensuite PyTorch, sur votre machine, avec les habitudes qui rendent un entraînement débogable. PyTorch ne s'exécute pas dans le bac à sable du navigateur de ce site : ces chapitres disent donc clairement ce qui doit tourner en local.

Modules
10
Leçons
22
Durée
~37 heures
Projets
2
Commencer

Ce que tu sauras faire

  • Implémenter la différentiation automatique en mode inverse et la vérifier numériquement
  • Implémenter des optimiseurs, la normalisation et la régularisation, et expliquer leurs effets
  • Diagnostiquer un entraînement raté à partir de preuves
  • Écrire des boucles d'entraînement PyTorch correctes, sur CPU ou GPU
  • Implémenter la convolution et l'attention, et expliquer les transformers à partir de leur mécanisme
  • Livrer un réseau entraîné, évalué et documenté

Pour qui

Les personnes qui connaissent la descente de gradient, le surapprentissage (overfitting) et le découpage entraînement/validation/test, par exemple grâce au cours Applied Machine Learning.

Ce qu'il te faut

Python et NumPy ; dérivées, produits matriciels et probabilités de base. Les chapitres PyTorch nécessitent une installation locale, qui fonctionne sur un CPU. Un GPU aide, mais n'est jamais obligatoire.

Ce que tu vas construire

  • Classifieur de chiffres et rapport d'échecs
  • Projet final de réseau de neurones

Programme

Les mécanismesDifférentiation automatique, réseaux et optimiseurs, à la main. 3 modules · 7 leçons
  1. 1 Tenseurs et différentiation automatiqueConstruire le moteur qui se cache sous chaque framework.
  2. 2 Des réseaux de neurones à partir de zéroUnités logistiques, rétropropagation et vérification des gradients, pour que PyTorch n'ait plus de mystères.
  3. 3 Optimiseurs et initialisationPourquoi la descente de gradient simple suffit rarement.
L'entraînement en pratiqueRégularisation, débogage et PyTorch. 3 modules · 4 leçons
  1. 4 Régularisation et normalisationLe dropout et la normalisation par lots, y compris leur différence entre entraînement et évaluation.
  2. 5 Diagnostiquer un entraînement ratéUne méthode pour quand la perte refuse de baisser.
  3. 6 PyTorch sur votre machineLe framework, maintenant que vous savez ce qu'il fait.
Les architecturesConvolution, séquences, attention, transformers. 2 modules · 7 leçons
  1. 7 Réseaux convolutifsDes motifs locaux, des poids partagés.
  2. 8 Séquences, attention, transformersD'une étape récurrente au bloc qui se trouve au cœur des modèles de langage modernes.
La livraisonTransfert, évaluation, optimisation et projet final. 2 modules · 4 leçons
  1. 9 Des modèles plus petitsL'élagage et la distillation, mesurés plutôt que supposés.
  2. 10 Projet finalVotre propre réseau, sur votre propre machine.