Reinforcement Learning Toolbox
Concevez et entraînez des politiques grâce à l’apprentissage par renforcement
Reinforcement Learning Toolbox™ offre des fonctions et des blocs pour entraîner des politiques en utilisant des algorithmes d’apprentissage par renforcement tels que DQN, A2C et DDPG. Vous pouvez utiliser ces politiques pour implémenter des contrôleurs et des systèmes décisionnels pour des systèmes complexes comme des robots ou des systèmes autonomes. Vous pouvez implémenter les politiques à l’aide de réseaux neuronaux profonds, de polynômes, ou de lookup tables.
Avec la toolbox, vous pouvez entraîner des politiques en leur permettant d’interagir avec des environnements représentés par des modèles MATLAB® ou Simulink®. Vous pouvez évaluer les algorithmes, tester différents réglages des hyperparamètres et surveiller la progression de l’apprentissage. Pour améliorer les performances de l'apprentissage, vous pouvez exécuter plusieurs simulations en parallèle sur le cloud, sur des clusters et sur des GPU (avec Parallel Computing Toolbox™ et MATLAB Parallel Server™).
En passant par le format de modèle ONNX™, vous pouvez importer des politiques existantes à partir d’environnements de Deep Learning tels que TensorFlow™ Keras et PyTorch (avec Deep Learning Toolbox™). Vous pouvez générer du code optimisé C, C++ et CUDA pour déployer des politiques entraînées sur des microcontrôleurs et des GPU.
La toolbox inclut des exemples de référence pour utiliser l’apprentissage par renforcement afin de concevoir des contrôleurs pour les applications de robotique et de conduite autonome.
En savoir plus:
Algorithmes d’apprentissage par renforcement
Implémentez des agents en utilisant des algorithmes prédéfinis comme Deep Q-Network (DQN), Advantage Actor Critic (A2C) ou Deep Deterministic Policy Gradients (DDPG). Utilisez des modèles pour implémenter des agents personnalisés afin d’entraîner des politiques.
Les agents comportent une politique et un algorithme.
Représentation des politiques et de la fonction de valeur à l’aide de réseaux neuronaux profonds
Utilisez des politiques à base de réseaux neuronaux profonds pour les systèmes complexes qui comprennent de vastes espaces état-action. Définissez des politiques à l’aide de réseaux et d’architectures provenant de la Deep Learning Toolbox. Importez des modèles ONNX pour assurer l’interopérabilité avec d’autres environnements de Deep Learning.
Blocs Simulink pour les agents
Implémentez et entraînez des agents d’apprentissage par renforcement dans Simulink.
Bloc d’agent d’apprentissage par renforcement pour Simulink.
Environnements Simulink et Simscape
Utilisez des modèles Simulink et Simscape™ pour représenter un environnement. Spécifiez l’observation, l’action et les signaux de récompense dans le modèle.
Modèle d’environnement Simulink pour un pendule inversé.
Environnements MATLAB
Utilisez les fonctions et les classes MATLAB pour représenter un environnement. Spécifiez l’observation, l’action et les variables de récompense dans le fichier MATLAB.
Environnement MATLAB pour un pendule inversé sur chariot.
Calcul distribué et accélération multicœurs
Accélérez l’apprentissage en exécutant des simulations en parallèle sur des ordinateurs multicœurs, des ressources cloud ou des clusters de calcul à l’aide de Parallel Computing Toolbox et de MATLAB Parallel Server.
Accélérez l’apprentissage à l’aide du calcul parallèle.
Accélération GPU
Accélérez l’apprentissage et l’inférence de réseaux neuronaux profonds à l’aide des GPU NVIDIA® haute performance. Utilisez MATLAB avec Parallel Computing Toolbox et la plupart des GPU NVIDIA compatibles CUDA®dotés d’une capacité de calcul 3.0 ou supérieure.
Accélérez l’apprentissage à l’aide de GPU.
Génération de code
Avec GPU Coder™, générez du code CUDA optimisé à partir de code MATLAB représentant des politiques entraînées. Générez du code C/C++ à l’aide de MATLAB Coder™ pour déployer des politiques.
Générez du code CUDA avec de GPU Coder.
Support de MATLAB Compiler
MATLAB Compiler™ et MATLAB Compiler SDK™ vous permettent de déployer des politiques entraînées sous forme de bibliothèques partagées C/C++, d’assemblages Microsoft®.NET, de classes Java® et de packages Python®.
Packagez et partagez des politiques sous forme de programmes autonomes.
Premiers pas
Implémentez des contrôleurs basés sur l’apprentissage par renforcement pour des problèmes tels que l’équilibrage d’un pendule inversé, la navigation dans un problème Grid World ou le maintien en équilibre d’un pendule inversé sur un chariot.
Résolution d’un problème Grid World.
Applications pour la conduite autonome
Concevez des contrôleurs pour les systèmes de régulation adaptative de la vitesse et d’aide au maintien de la trajectoire.
Apprentissage d’un système d’aide au maintien de la trajectoire.
Robotique
Concevez des contrôleurs pour robots grâce à l’apprentissage par renforcement.
Apprentissage par renforcement de la marche chez un robot.
Agent TD3
créez des agents Deep Deterministic Policy Gradient (TD3) à double retard qui présentent souvent une vitesse d’apprentissage et des performances supérieures à celles des agents DDPG
Nouveaux agents pour les espaces d’action continus
utilisez des agents PPO, TD3, AC et PG avec des espaces d’action continus
Politiques LSTM
créez des politiques de réseaux neuronaux avec des réseaux LSTM (Long Short-Term Memory) pour les agents DQN et PPO
Consultez les notes de version pour en savoir plus sur ces fonctionnalités et les fonctions correspondantes.
