Introduction à la technologie LiDAR
3 choses à savoir
La télédétection par laser ou LiDAR (acronyme de l'expression « light detection and ranging ») est une technologie de mesure de distance similaire aux radars et aux sonars. Les capteurs LiDAR émettent des impulsions laser qui se réfléchissent sur les objets, ce qui leur permet de percevoir la structure de leur environnement. Les capteurs enregistrent l'énergie lumineuse réfléchie pour déterminer les distances aux objets afin de créer une représentation 2D ou 3D de l'environnement. Les capteurs LiDAR sont en train de devenir l'un des types de capteurs les plus utilisés pour le développement de systèmes de perception dans diverses industries. Ils rendent possibles des workflows de perception 3D tels que la détection d'objets, la segmentation sémantique, et des workflows de navigation tels que la cartographie, la localisation et la cartographie simultanées (SLAM) et la planification de trajectoire.
Pourquoi le LiDAR est-il si important ?
Les systèmes autonomes utilisent plusieurs capteurs tels que la caméra, l'IMU et le radar pour la perception de leur environnement. Les capteurs LiDAR peuvent surmonter certains des inconvénients des autres capteurs en fournissant des informations 3D structurelles et extrêmement précises sur leur environnement. Cet avantage a contribué à l'introduction des capteurs LiDAR sur le marché grand public de la perception.
Nuage de points LiDAR d'une scène de route.
L'adoption des capteurs LiDAR sur le marché est motivée par trois facteurs clés :
- Des capteurs LiDAR low-cost. L'introduction de capteurs LiDAR low-cost, présentant des caractéristiques améliorées en matière de portée, de taille et de robustesse, a accru la disponibilité de cette technologie dans des applications industrielles relativement peu coûteuses.
- Des données 3D précises. Les capteurs LiDAR collectent des informations 3D haute densité sur l'environnement sous forme de nuages de points avec une précision supérieure à celle des autres capteurs de distance tels que les radars et les sonars. Cela améliore ainsi la précision de la reconstruction 3D.
- Des algorithmes de traitement LiDAR. Les récents développements en matière de workflows de traitement LiDAR, notamment la segmentation sémantique, la détection et le pistage d'objets, la fusion des données de caméra LiDAR, et la localisation et la cartographie simultanées (SLAM) LiDAR, ont permis aux industries d'ajouter des capteurs LiDAR à leurs workflows de développement. Vous pouvez utiliser des outils comme MATLAB pour développer et appliquer des algorithmes de traitement LiDAR.
Applications du LiDAR
Les capteurs LiDAR sont utilisés dans de nombreuses industries, de la conduite autonome aux géosciences. Nous pouvons classer ces applications en trois groupes, en fonction de la plateforme sur laquelle elles sont montées :
- Capteurs LiDAR aériens
- Capteurs LiDAR terrestres
- Capteurs LiDAR intérieurs
Capteurs LiDAR aériens
Les capteurs LiDAR aériens sont montés sur des drones ou des aéronefs. Les capteurs LiDAR aériens permettent de capturer des données sous forme de nuages de points 3D sur des zones très étendues. Ces données peuvent alors être utilisées pour la cartographie LiDAR, l'extraction de caractéristiques, la classification de terrains ou d'autres cas d'utilisation.
Capteur LiDAR aérien.
Données provenant d'un capteur LiDAR aérien.
Exemples d'applications des capteurs LiDAR aériens :
- Agriculture : l'usage de la technologie LiDAR est très répandu dans l'agriculture pour cartographier la zone de végétation et identifier exactement le terrain de la ferme ainsi que la zone de captage d'eau.
- Urbanisme : les capteurs LiDAR sont utilisés pour créer des modèles numériques de terrain (Digital Surface Model, DSM) et même des modèles numériques de ville (Digital City Model, DCM) d'une zone donnée. Ces modèles peuvent aider à concevoir une ville ou construire de nouvelles infrastructures dans une ville existante.
- Cartographie géologique : les capteurs LiDAR peuvent être utilisés pour créer des cartes 3D de la surface de la Terre, utiles dans des applications comme l'exploitation minière, l'exploitation forestière de précision et l'exploration pétrolière et gazière.
- Navigation aérienne et planification de trajectoires : les capteurs LiDAR sont désormais utilisés dans des drones pour collecter des données 3D temps réel afin de naviguer de manière autonome dans un environnement.
Voir des exemples d'utilisation de MATLAB® pour le traitement des capteurs LiDAR aériens :
- Algorithme SLAM sur des données LiDAR aériennes
- Classification du terrain
- Navigation aérienne et planification de trajectoires
Capteurs LiDAR terrestres
Il existe deux types de capteurs LiDAR terrestres, les capteurs LiDAR terrestres fixes et les capteurs LiDAR terrestres mobiles :
- Les capteurs LiDAR terrestres fixes sont montés sur des plateformes fixes. Ils sont couramment utilisés pour les relevés cadastraux, les relevés routiers, la cartographie topologique, la création de cartes numériques d'élévation (Digital Elevation Map, DEM), l'agriculture et d'autres applications. Ils sont plus adaptés aux applications nécessitant une saisie précise et détaillée des données.
- Les capteurs LiDAR terrestres mobiles sont fixés sur une plateforme mobile telle qu'une voiture ou un camion. L'application LiDAR mobile la plus répandue est la conduite autonome. Les capteurs LiDAR montés sur des véhicules capturent les données de l'environnement sous forme de nuages de points 3D, utilisés ensuite dans des workflows de perception et de navigation. Ces workflows seront décrits en détail dans la section suivante.
Capteur LiDAR mobile.
Données provenant d'un capteur LiDAR mobile.
Voir des exemples d'utilisation de MATLAB pour le traitement des capteurs LiDAR terrestres :
- Pistage de véhicules avec la technologie LiDAR : des nuages de points à une liste de pistes
- Construire une carte avec l'odométrie et la cartographie LiDAR (Lidar Odometry And Mapping, LOAM) en utilisant des simulations Unreal Engine
Capteurs LiDAR intérieurs
Les capteurs LiDAR sont largement utilisés dans les applications de robotique d'intérieur et montés sur des robots mobiles. Outre les capteurs LiDAR 3D, les capteurs LiDAR 2D ou les capteurs laser sont également utilisés dans des applications de robotique d'intérieur, telles que le balayage et la cartographie LiDAR. Ils collectent des informations approfondies sur l'environnement, qui sont ensuite traitées en fonction des cas d'utilisation.
Capteur LiDAR intérieur.
Données provenant d'un capteur LiDAR intérieur
Exemples d'utilisations courantes des capteurs LiDAR intérieurs :
- Cartographie et SLAM LiDAR : vous pouvez utiliser des capteurs LiDAR 2D ou 3D pour créer respectivement des algorithmes de cartographie et SLAM 2D et 3D.
- Détection d'obstacles, avertissement et évitement de collision : les capteurs LiDAR 2D sont fréquemment utilisés pour détecter des obstacles. Ces données peuvent également être utilisées pour créer des avertissements de collision ou éviter des obstacles.
Voir des exemples d'utilisation de MATLAB pour le traitement des capteurs LiDAR terrestres :
Traitement des nuages de points LiDAR dans MATLAB
MATLAB et Point Cloud Toolbox™ simplifient les tâches de traitement des nuages de points LiDAR. Grâce à des fonctions et des outils dédiés, MATLAB vous aide à relever les défis courants dans le traitement des données LiDAR, concernant notamment les types de données 3D, la parcimonie des données, les points non valides dans les données et les niveaux de bruit élevés.
Vous pouvez importer des données LiDAR enregistrées et temps réel dans MATLAB, implémenter des workflows de traitement de nuages de points LiDAR et créer le code C/C++ et CUDA® à déployer en production.
Quelques fonctionnalités importantes offertes par MATLAB pour le traitement des nuages de points LiDAR sont décrites dans les sections suivantes.
Le streaming, la lecture et l'écriture de données LiDAR
La première étape du traitement des données de capteur dans MATLAB consiste à les récupérer dans l'espace de travail MATLAB. Vous pouvez ainsi :
- Streamer des données temps réel à partir des capteurs Velodyne avec le Hardware Support Package Velodyne Lidar et à partir des capteurs Ouster avec le Hardware Support Package Ouster Lidar.
- Lire des nuages de points stockés dans différents formats de fichiers comme PCD, PLY, PCAP (Velodyne, Ouster et Hesai Pandar), Ibeo Data container, LAS et LAZ.
- Écrire des nuages de points dans différents formats de fichiers comme PCD, PLY, LAS et LAZ.
- Simuler des données de nuages de points LiDAR, pour tester vos algorithmes et vos workflows avant de les déployer sur un système réel. MATLAB vous permet de synthétiser des données LiDAR 3D ou 2D dans des environnements de simulation en définissant les paramètres du capteur pour tester vos algorithmes de traitement. Point Cloud Toolbox, UAV Toolbox et Automated Driving Toolbox proposent des modèles de capteur LiDAR permettant de simuler des nuages de points LiDAR.
Streamer un flux de données temps réel à partir des capteurs LiDAR Velodyne®.
Simulation de données LiDAR 3D.
Prétraitement d'un nuage de points LiDAR
Vous pouvez prétraiter les données LiDAR pour améliorer la qualité des données et en extraire des informations de base. Point Cloud Toolbox propose des fonctionnalités pour le sous-échantillonnage, le filtrage médian, l'alignement, la transformation et l'extraction de caractéristiques à partir de nuages de points.
Etalonnage de caméra LiDAR
MATLAB permet d’effectuer l’étalonnage des caméras LiDAR pour estimer les transformées LiDAR-caméra afin de fusionner des données LiDAR et des données de caméra. Vous pouvez également fusionner des informations de couleur dans des nuages de points LiDAR et estimer les boîtes englobantes 3D dans un signal LiDAR en utilisant des boîtes englobantes 2D créées à partir d'une caméra située au même endroit.
Application Lidar Camera Calibrator.
Deep Learning pour le LiDAR
Avec MATLAB, vous pouvez appliquer des algorithmes de Deep Learning pour la détection d'objets et la segmentation sémantique sur des données LiDAR.
- Avec seulement quelques lignes de code dans MATLAB, vous pouvez importer des modèles de segmentation sémantique pré-entraînés, notamment PointSeg et SqueezeSegV2 sur des données LiDAR. Vous pouvez également entraîner, évaluer et déployer vos propres modèles de Deep Learning.
- MATLAB permet de concevoir, d'entraîner et d'évaluer des détecteurs robustes tels que les réseaux PointPillars et ComplexYolo-V4. Vous pouvez détecter et ajuster des boîtes englobantes autour d'objets dans des nuages de points LiDAR.
- L'application Multi-Sensor Labeler de Point Cloud Toolbox simplifie les tâches de labellisation des nuages de points. Vous pouvez labelliser les données de vérité terrain contenues dans des vidéos, des séquences d'images et des nuages de points LiDAR provenant de plusieurs capteurs capturant la même scène, pour détecter des objets et réaliser une segmentation sémantique. Vous pouvez également appliquer des algorithmes prédéfinis ou personnalisés pour automatiser la labellisation, puis évaluer les performances de ces algorithmes d'automatisation.
Segmentation sémantique de nuages de points.
Pistage d'objets dans des nuages de points
MATLAB peut unifier plusieurs domaines qui alimentent un workflow de pistage d'objets de bout en bout. Cela vous permet de lire des nuages de points LiDAR, de les prétraiter, d'appliquer des algorithmes de Deep Learning pour détecter des objets, de pister ces objets avec un tracker prédéfini et de les déployer sur un hardware cible.
Détection et pistage d'objets
Recalage des nuages de points et SLAM
Le recalage des nuages de points consiste à aligner deux nuages de points 3D représentant une même scène dans un système de coordonnées commun. Les fonctions de Point Cloud Toolbox vous permettent de recaler des nuages de points les uns par rapport aux autres en utilisant des méthodes locales et globales, notamment les suivantes : ICP (Iterative Closest Point), LOAM (LiDAR Odometry And Mapping), NDT (Normal-Distributions Transform), FGR (Fast Global Registration) et CPD (Coherent Point Drift). L'application Point Cloud Registration Analyzer vous permet de recaler de manière interactive des nuages de points et de comparer les résultats obtenus avec différentes techniques de recalage.
La localisation et la cartographie simultanées (SLAM) désigne le processus de calcul de la position et de l'orientation d'un véhicule ou d'un robot par rapport à son environnement, tout en construisant simultanément une carte de cet environnement. La toolbox supporte le SLAM 3D basé sur des graphes utilisant des données de nuages de points.
Application Point Cloud Registration Analyzer
Pour plus d'informations sur le traitement des nuages de points LiDAR, consultez les pages Point Cloud Toolbox et Computer Vision Toolbox™.
Le LiDAR (Light Detection and Ranging) est un capteur de mesure de distance émettant des impulsions laser qui se réfléchissent sur les objets, ce qui lui permet de percevoir la structure de son environnement et de créer des représentations 2D ou 3D en enregistrant l'énergie lumineuse réfléchie.
Si le radar et le sonar sont également des capteurs de mesure de distance, le LiDAR utilise quant à lui des impulsions laser et l'énergie lumineuse réfléchie pour déterminer les distances. Il propose ainsi des informations structurelles 3D d'une grande précision, avec une exactitude supérieure à celle des autres capteurs de distance.
Un nuage de points est un ensemble de points de données capturés par des capteurs LiDAR qui représente la structure 3D de l'environnement. Ces données peuvent être traitées pour des applications telles que la détection d'objets, la segmentation sémantique ou la cartographie.
Les systèmes LiDAR sont classés en trois catégories en fonction de leur plateforme : les LiDAR aériens (montés sur des drones ou des aéronefs), les LiDAR au sol (fixes ou mobiles) et les LiDAR d'intérieur (utilisés dans des applications robotiques).
Le LiDAR est utilisé dans la conduite autonome, la cartographie agricole, l'urbanisme, la cartographie géologique, la navigation des drones, les relevés de terrain, la cartographie topologique et la robotique d'intérieur pour le SLAM, la détection d'obstacles et la prévention des collisions.
L'adoption de cette technologie par le marché est favorisée par l'arrivée sur le marché de LiDAR à bas coût dotés de caractéristiques améliorées et par leur capacité à collecter des données 3D précises et à haute densité sous forme de nuages de points, ce qui permet d'appliquer des algorithmes complexes tels que la segmentation sémantique ou le SLAM.
L’étalonnage LiDAR-caméra consiste à déterminer la transformation entre les images capturées par la caméra et le nuage de points enregistré par les capteurs LiDAR. Cela permet d'intégrer des informations de couleur dans les nuages de points LiDAR et d'estimer des boîtes englobantes 3D à partir des boîtes englobantes 2D capturées par des caméras situées au même endroit.
MATLAB permet de diffuser en streaming et de lire des données LiDAR, de réaliser le prétraitement et le filtrage, l’étalonnage LiDAR-caméra, le Deep Learning pour la détection d'objets et la segmentation sémantique, le pistage d'objets, ainsi que le recalage des nuages de points et le SLAM.
Ressources
Développez vos connaissances grâce à la documentation, aux exemples, aux vidéos et plus encore.
Documentation
- Documentation de Point Cloud Toolbox Algorithme SLAM sur des données LiDAR aériennes avec des descripteurs FPFH
Sujets connexes
Explorez des sujets similaires pour lesquels on utilise couramment les produits MATLAB et Simulink.
