Opérations

Développer des fonctions de Deep Learning personnalisées

Les couches prédéfinies conviennent à la plupart des tâches. Si aucune couche prédéfinie ne correspond aux besoins de votre tâche, vous pouvez définir votre propre couche personnalisée. Pour ce faire, vous pouvez utiliser des paramètres entraînables et des paramètres d’état. Après avoir défini une couche personnalisée, vous pouvez vérifier qu’elle est valide, compatible GPU et renvoie des gradients correctement définis en sortie. Pour en savoir plus, veuillez consulter Define Custom Deep Learning Layers. Pour une liste des couches supportées, veuillez consulter List of Deep Learning Layers.

Si la fonction trainingOptions ne propose pas les options d’apprentissage dont vous avez besoin pour votre tâche ou si vous avez une fonction de perte non supportée par la fonction trainnet, vous pouvez définir une boucle d’apprentissage personnalisée. Si un modèle ne peut pas être spécifié comme un réseau de couches, vous pouvez le définir comme une fonction. Pour en savoir plus, veuillez consulter Define Custom Training Loops, Loss Functions, and Networks.

Utilisez des opérations de Deep Learning pour développer du code MATLAB^® pour des couches personnalisées, des boucles d’apprentissage et des fonctions de modèle.

Fonctions

développer tout

Différenciation automatique

`dlarray`	Deep learning array for customization (depuis R2019b)
`dims`	Étiquettes des dimensions de `dlarray` (depuis R2019b)
`finddim`	Find dimensions with specified label (depuis R2019b)
`stripdims`	Remove `dlarray` data format (depuis R2019b)
`extractdata`	Extract data from `dlarray` (depuis R2019b)
`isdlarray`	Check if object is `dlarray` (depuis R2020b)

Opérations de Deep Learning

`dlconv`	Deep learning convolution (depuis R2019b)
`dltranspconv`	Deep learning transposed convolution (depuis R2019b)
`lstm`	Long short-term memory (depuis R2019b)
`gru`	Gated recurrent unit (depuis R2020a)
`attention`	Dot-product attention (depuis R2022b)
`embed`	Embed discrete data (depuis R2020b)
`fullyconnect`	Sum all weighted input data and apply a bias (depuis R2019b)
`dlode45`	Deep learning solution of nonstiff ordinary differential equation (ODE) (depuis R2021b)
`batchnorm`	Normalize data across all observations for each channel independently (depuis R2019b)
`crosschannelnorm`	Cross channel square-normalize using local responses (depuis R2020a)
`groupnorm`	Normalize data across grouped subsets of channels for each observation independently (depuis R2020b)
`instancenorm`	Normalize across each channel for each observation independently (depuis R2021a)
`layernorm`	Normalize data across all channels for each observation independently (depuis R2021a)
`avgpool`	Pool data to average values over spatial dimensions (depuis R2019b)
`maxpool`	Pool data to maximum value (depuis R2019b)
`maxunpool`	Unpool the output of a maximum pooling operation (depuis R2019b)

Activations

`relu`	Apply rectified linear unit activation (depuis R2019b)
`leakyrelu`	Apply leaky rectified linear unit activation (depuis R2019b)
`gelu`	Apply Gaussian error linear unit (GELU) activation (depuis R2022b)
`softmax`	Apply softmax activation to channel dimension (depuis R2019b)
`sigmoid`	Appliquer l’activation sigmoïde (depuis R2019b)

Opérations de perte

`crossentropy`	Cross-entropy loss for classification tasks (depuis R2019b)
`l1loss`	L₁ loss for regression tasks (depuis R2021b)
`l2loss`	L₂ loss for regression tasks (depuis R2021b)
`huber`	Huber loss for regression tasks (depuis R2021a)
`mse`	Half mean squared error (depuis R2019b)
`ctc`	Connectionist temporal classification (CTC) loss for unaligned sequence classification (depuis R2021a)

Accélération de fonction

`dlaccelerate`	Accelerate deep learning function for custom training loops (depuis R2021a)
`AcceleratedFunction`	Accelerated deep learning function (depuis R2021a)
`clearCache`	Clear accelerated deep learning function trace cache (depuis R2021a)

Rubriques

Différenciation automatique

List of Functions with dlarray Support
View the list of functions that support dlarray objects.
Automatic Differentiation Background
Learn how automatic differentiation works.
Use Automatic Differentiation In Deep Learning Toolbox
How to use automatic differentiation in deep learning.
Define Custom Deep Learning Operations
Learn how to define custom deep learning operation.
Specify Custom Operation Backward Function
This example shows how to define the SReLU operation as a differentiable function and specify a custom backward function.
Train Model Using Custom Backward Function
This example shows how to train a deep learning model that contains an operation with a custom backward function.

Fonctions de modèle

Train Network Using Model Function
This example shows how to create and train a deep learning network by using functions rather than a layer graph or a dlnetwork.
Update Batch Normalization Statistics Using Model Function
This example shows how to update the network state in a network defined as a function.
Make Predictions Using Model Function
This example shows how to make predictions using a model function by splitting data into mini-batches.
Initialize Learnable Parameters for Model Function
Learn how to initialize learnable parameters for custom training loops using a model function.

Accélération des fonctions de Deep Learning

Deep Learning Function Acceleration for Custom Training Loops
Accelerate model functions and model loss functions for custom training loops by caching and reusing traces.
Accelerate Custom Training Loop Functions
This example shows how to accelerate deep learning custom training loop and prediction functions.
Check Accelerated Deep Learning Function Outputs
This example shows how to check that the outputs of accelerated functions match the outputs of the underlying function.
Evaluate Performance of Accelerated Deep Learning Function
This example shows how to evaluate the performance gains of using an accelerated function.