Réseaux de neurones informés par la physique (PINN)

Les réseaux de neurones informés par la physique (PINN) sont des réseaux de neurones qui intègrent des lois physiques décrites par des équations différentielles dans leurs fonctions de perte afin d’orienter le processus d’apprentissage vers des solutions plus cohérentes avec les lois physiques sous-jacentes. Ils peuvent être utilisés pour :

• Approximer des solutions aux équations différentielles partielles (EDP) et aux équations différentielles ordinaires (EDO).
• Résoudre des problèmes inverses, comme l’estimation de paramètres de modèle à partir de données limitées.

Avec Deep Learning Toolbox™, vous pouvez créer et entraîner des PINN qui permettent de réaliser des analyses prédictives rapides. Vous pouvez intégrer des PINN à MATLAB^® et Simulink^® pour la simulation au niveau système, le design de systèmes de contrôle et l’optimisation de design.

Les avantages des PINN

Les PINN constituent une catégorie de méthodes de Machine Learning informées par la physique qui permettent d’intégrer facilement les connaissances en physique aux données. Ils sont souvent comparés à des méthodes purement basées sur des données et à des méthodes numériques traditionnelles pour résoudre des problèmes impliquant des EDP et des EDO. 

Contrairement aux approches purement basées sur les données, qui apprennent les relations mathématiques uniquement à partir des données d’entrée et de sortie, les PINN :

• Utilisent les connaissances préalables en physique.
• Font des prédictions plus précises en dehors du jeu de données d’apprentissage.
• Sont plus efficaces avec les données d’apprentissage limitées ou bruitées.

Contrairement aux méthodes numériques traditionnelles utilisées pour résoudre des équations différentielles, comme l’analyse par éléments finis pour les EDP, les PINN :

• Ne sont pas maillés.
• Peuvent approximer des solutions à des systèmes d’EDP de grande dimension.
• Peuvent résoudre les problèmes de paramètres de modèle manquants tels que des coefficients d’EDP ou d’EDO inconnus.
• Peuvent résoudre des problèmes mal posés lorsqu’il n’existe pas de données sur les limites.
• Peuvent facilement intégrer des mesures rares ou bruitées.

Si les PINN présentent des avantages potentiels par rapport aux méthodes purement basées sur les données et aux méthodes numériques traditionnelles, ils n’en présentent pas moins certaines limites et certains défis :

• Théorie de convergence limitée
• Absence de stratégies d’apprentissage unifiées
• Coût associé au calcul des dérivées d’ordre élevé
• Difficulté d’apprentissage des composantes haute fréquence et multiéchelles des solutions aux EDP

Bien que les PINN constituent un domaine de recherche dynamique, les progrès en cours devraient permettre de relever et de surmonter les défis et les limites actuels.

Le choix entre les PINN, les approches basées sur les données et les méthodes numériques traditionnelles dépend de votre application. Le tableau ci-dessous résume les avantages et les limites de chaque méthode.

Différences entre les PINN et les réseaux de neurones traditionnels

Les PINN se distinguent des réseaux de neurones traditionnels par leur capacité à intégrer une connaissance a priori du domaine du problème sous la forme d’équations différentielles. Ces informations supplémentaires permettent aux PINN de réaliser des prédictions plus précises en dehors des données de mesure fournies. En outre, les connaissances physiques supplémentaires permettent de régulariser la solution prédite en présence de données de mesure bruitées, ce qui permet aux PINN d’apprendre le véritable signal sous-jacent plutôt que de surajuster les données bruitées.

Par exemple, imaginons un scénario dans lequel les mesures bruitées, \( θ_{meas} \), d’un système d’intérêt ont été collectées. L’objectif est de prédire les valeurs futures du système, \( θ_{pred} \), avec un réseau de neurones artificiel de type feedforward. Le réseau est entraîné à l’aide des mesures disponibles et sera utilisé pour prédire les valeurs futures inconnues. L’apprentissage d’un réseau de neurones de régression implique généralement de réduire l’erreur quadratique moyenne entre les prédictions du réseau de neurones et les mesures fournies.

Le réseau de neurones peine à prédire avec précision les valeurs du système en dehors des données d’apprentissage.

L’acquisition d’un plus grand nombre de données peut permettre d’améliorer les prédictions, mais cette approche peut s’avérer excessivement coûteuse ou impossible à mettre en œuvre dans de nombreuses applications. Cependant, l’expert du domaine possède souvent des connaissances plus approfondies sur le processus physique sous-jacent qui régit le système qu’il étudie. Plus précisément, dans ce scénario, les mesures représentent l’angle de déplacement par rapport à la verticale d’une charge utile suspendue à une grue. Ce processus peut être représenté de manière simpliste par un pendule amorti, qui peut être modélisé de manière approximative pour les petits angles par une équation différentielle linéaire de second ordre :

Plutôt que d’ignorer ces connaissances, les PINN intègrent l’équation différentielle en tant que terme supplémentaire, informé par la physique, dans la fonction de perte. Les PINN évaluent le résidu de l’équation différentielle en des points supplémentaires du domaine, ce qui fournit davantage d’informations au PINN sans qu’il soit nécessaire d’effectuer davantage de mesures. Même si cette équation peut être résolue de manière analytique, cet exemple illustre les concepts qui sous-tendent les PINN.

Pendant l’apprentissage, les PINN trouvent un équilibre entre l’adaptation des mesures données et le processus physique sous-jacent.

En intégrant un terme de perte physique supplémentaire, les PINN peuvent être plus performants que les réseaux de neurones traditionnels pour faire des prédictions en présence de mesures bruitées et dans des régimes de données sans mesures.

Fonctionnement des PINN

Les PINN utilisent des algorithmes d’optimisation pour mettre à jour de manière itérative les paramètres d’un réseau de neurones jusqu’à ce que la valeur d’une fonction de perte informée par la physique spécifiée soit ramenée à un niveau acceptable, ce qui oriente le réseau vers la solution de l’équation différentielle.

Les PINN comportent des fonctions de perte, \( L \), qui sont composées de plusieurs termes : le terme de perte informé par la physique, \( L_{Physics} \), et éventuellement des termes qui évaluent l’erreur entre les valeurs prédites par le réseau et les valeurs prescrites par les données initiales et/ou limites, \( L_{Conds} \), ainsi que d’autres mesures supplémentaires, \( L_{Data} \). Le terme de perte informé par la physique évalue le résidu de l’équation différentielle en des points du domaine à l’aide de la différenciation automatique ou d’autres techniques de différenciation numériques. Étant donné que le terme informé par la physique ne calcule pas l’erreur entre une prédiction et une valeur cible, il peut être considéré comme un terme de perte non supervisé, ce qui signifie que le réseau peut être entraîné avec tous les points du domaine, même en l’absence de mesures en ces points.

Introduits pour la première fois en 2017, les PINN présentent désormais de nombreuses variantes, notamment :

• Les PINN bayésiens (BPINN), qui utilisent le cadre bayésien pour permettre la quantification de l’incertitude
• Les PINN variationnels (VPINN), qui intègrent la forme faible d’une EDP dans la fonction de perte
• Les PINN formulés de premier ordre (FO-PINN), qui peuvent être plus rapides et plus précis pour résoudre les EDP d’ordre supérieur que les PINN standard

En outre, les PINN peuvent être utilisés avec différentes architectures de réseaux de neurones, telles que les réseaux neuronaux graphiques (GNN), les opérateurs neuronaux de Fourier (FNO), les réseaux d’opérateurs profonds (DeepONets) et d’autres encore, ce qui permet d’obtenir des versions informées par la physique de ces architectures.

MATLAB et Deep Learning Toolbox supportent de manière exhaustive le développement de PINN, depuis la création ou l’importation de diverses architectures de réseaux de neurones, jusqu’à la définition de fonctions de perte informées par la physique personnalisées avec la différenciation automatique, ou jusqu’à l’apprentissage à l’aide d’algorithmes d’optimisation basés sur le gradient tels qu’ADAM ou L-BFGS et la visualisation des solutions à l’aide d’éléments graphiques MATLAB avancés.

Applications des PINN

Les PINN exploitent la puissance du Deep Learning tout en améliorant le respect des lois physiques, ce qui en fait un outil polyvalent pour les applications où les lois physiques sont entièrement ou partiellement connues, comme dans le cas d’une EDP ou d’une EDO à coefficients inconnus. Voici quelques exemples d’applications des PINN :

• Le transfert de chaleur, en particulier pour la modélisation de processus de distribution et de transfert de la chaleur. Les PINN peuvent intégrer dans la fonction de perte les équations qui modélisent les processus thermiques dans les matériaux et les systèmes, telles que l’équation de la chaleur. Cette approche garantit que les solutions respectent ces lois physiques, ce qui permet d’obtenir des prévisions physiquement plausibles. En outre, les PINN peuvent remplacer les simulations numériques coûteuses pour approximer rapidement des distributions de température approximatives sur des géométries paramétrées dans des applications d’optimisation de design. D’autre part, les PINN peuvent être utilisés dans des problèmes inverses pour identifier des propriétés matérielles inconnues, telles que la conductivité thermique.
• La dynamique des fluides numérique (CFD), en particulier pour approximer les champs de vitesse, de pression et de température des fluides en intégrant les équations de Navier-Stokes dans la fonction de perte. Les PINN peuvent être utilisés dans des simulations avancées sans maillage pour prédire avec précision ces quantités, ou dans des problèmes inverses où l’objectif est de déduire des paramètres ou des entrées inconnus, tels que les conditions aux limites, les termes sources ou les propriétés des fluides, à partir de données observées.
• La mécanique des structures, pour la résolution des problèmes directs et inverses en intégrant les lois physiques en vigueur, telles que les équations d’élasticité et de dynamique structurelle, directement dans la fonction de perte. Cette intégration permet aux PINN de prédire avec précision les réponses structurelles telles que les déformations, les contraintes et les pressions sous diverses charges et conditions, ainsi que d’identifier les propriétés des matériaux inconnus ou les charges externes sur la base des données observées. Particulièrement utiles dans les scénarios où les solutions analytiques traditionnelles sont impossibles à mettre en œuvre ou lorsque les données sont rares, les PINN réduisent la dépendance à l’égard de vastes jeux de données en s’appuyant sur des principes physiques pour guider le processus d’apprentissage. La flexibilité des PINN leur permet de traiter des problèmes complexes, notamment le comportement non linéaire des matériaux et la modélisation multiphysique.

Une fois créés et entraînés avec Deep Learning Toolbox, les PINN peuvent être intégrés de manière transparente à Optimization Toolbox™ pour l’optimisation de design, connectés à Simulink pour la simulation au niveau système et exploités dans un large éventail d’autres applications.