Enseignement

CS 230 ― Deep Learning
Star


Avec mon frère jumeau Afshine, on a créé des pense-bêtes d'apprentissage profond parcourant le contenu de la classe de Deep Learning de Stanford que j'ai enseigné en tant que TA durant l'hiver 2019 à Stanford. Ils peuvent s'avérer utiles pour tous ceux qui sont intéressés par l"apprentissage profond.

Réseaux de neurones convolutionnels
  • • Types de couche, paramètres de filtre, fonctions d'activation
  • • Détection d'objet, vérification et reconnaissance de visage
  • • Transfert de style neuronal, architectures utilisant des astuces de calcul

  PDF Web  

Réseaux de neurones récurrents
  • • Gradient qui disparait/explose, GRU, LSTM, variantes de RNNs
  • • Word2vec, skip-gram, échantillonnage négatif, GloVe, modèle d'attention
  • • Modèle de langage, recherche en faisceau, score Bleu

  PDF Web  

Astuces d'apprentissage profond
  • • Augmentation des données, normalisation de lot, régularisation
  • • Initialisation de Xavier, apprentissage par transfert, taux d'apprentissage adaptatifs
  • • Surapprentissage d'un mini-lot, vérification de gradient

  PDF Web