Différenciation automatique

Personnaliser les couches, les réseaux, les boucles d’apprentissage et les fonctions de perte du Deep Learning

Les couches prédéfinies conviennent à la plupart des tâches. Si aucune couche prédéfinie ne correspond aux besoins de votre tâche, vous pouvez définir votre propre couche personnalisée. Pour ce faire, vous pouvez utiliser des paramètres entraînables et des paramètres d’état. Après avoir défini une couche personnalisée, vous pouvez vérifier que la couche est valide, compatible GPU et sort correctement les gradients définis. Pour une liste des couches supportées, veuillez consulter List of Deep Learning Layers.

Si la fonction trainingOptions ne propose pas les options d’apprentissage dont vous avez besoin pour votre tâche ou si vous avez une fonction de perte non supportée par la fonction trainnet, vous pouvez définir une boucle d’apprentissage personnalisée. Si un modèle ne peut pas être spécifié comme un réseau de couches, vous pouvez le définir comme une fonction. Pour en savoir plus, veuillez consulter Define Custom Training Loops, Loss Functions, and Networks.

Sujets fréquemment rencontrés

Exemples présentés

Train a Twin Network for Dimensionality Reduction

Train a twin neural network with shared weights to compare handwritten digits using dimensionality reduction.

Ouvrir le live script

Train a Twin Neural Network to Compare Images

Train a twin neural network with shared weights to identify similar images of handwritten characters.

Ouvrir le live script

Image Captioning Using Attention

Train a deep learning model for image captioning using attention.

Ouvrir le live script

Multilabel Text Classification Using Deep Learning

Classify text data that has multiple independent labels.

Ouvrir le live script

Sequence-to-Sequence Translation Using Attention

Convert decimal strings to Roman numerals using a recurrent sequence-to-sequence encoder-decoder model with attention.

Ouvrir le live script

Train Network in Parallel with Custom Training Loop

Set up a custom training loop to train a network in parallel.

Ouvrir le live script

Train Variational Autoencoder (VAE) to Generate Images

Train a deep learning variational autoencoder (VAE) to generate images.

Ouvrir le live script

Train Network Using Cyclical Learning Rate for Snapshot Ensembling

Train a network to classify images of objects using a cyclical learning rate schedule and snapshot ensembling for better test accuracy. In the example, you learn how to use a cosine function for the learning rate schedule, take snapshots of the network during training to create a model ensemble, and add L2-norm regularization (weight decay) to the training loss.

Ouvrir le live script