Segmentation d’instances

Effectuer une segmentation d’instances avec des réseaux de Deep Learning préentraînés et entraîner des réseaux en utilisant l’apprentissage par transfert avec des données personnalisées

La segmentation d’instances est une technique de Computer Vision qui joue un rôle crucial dans les tâches exigeant une localisation précise des objets ainsi que l’identification des instances d’objet individuelles, comme l’imagerie médicale et la conduite autonome. Grâce à l’association des principes de la détection d’objets et de la segmentation sémantique, la segmentation d’instances permet d’affiner la compréhension des données visuelles en identifiant les instances d’objet individuelles et en les délimitant pixel par pixel. Utilisez la segmentation d’instances pour identifier, classer et séparer avec précision les objets individuels d’une image.

Vous pouvez effectuer des inférences sur une image avec un réseau de Deep Learning préentraîné ou entraîner un réseau avec l’apprentissage par transfert. L’apprentissage par transfert est une approche qui consiste à commencer avec un réseau préentraîné, puis à l’entraîner avec un jeu de données personnalisé en fonction de votre application. Il est possible de générer des données de vérité-terrain de manière interactive pour l’apprentissage en utilisant l’application Image Labeler, Video Labeler ou Ground Truth Labeler (Automated Driving Toolbox) pour labéliser les pixels et exporter les données labélisées. La segmentation d’instances nécessite Deep Learning Toolbox™. L’apprentissage et l’inférence supportent les GPU compatibles CUDA^®. L’utilisation d’un GPU est recommandée et nécessite Parallel Computing Toolbox™. Pour plus d’informations, veuillez consulter Parallel Computing Support in MathWorks Products (Parallel Computing Toolbox).

Instance segmentation using SOLOv2: Left — segmented and labeled road scenario using a sample modified RGB image from the CamVid data set, Right — segmented image of PVC pipe connectors

Fonctions

développer tout

Segmenter des objets dans des images

Configurer le réseau de segmentation d’instances

`solov2`	Segment objects using SOLOv2 instance segmentation network (depuis R2023b)
`maskrcnn`	Detect objects using Mask R-CNN instance segmentation (depuis R2021b)

Effectuer des inférences

`segmentObjects`	Segment objects using Mask R-CNN instance segmentation (depuis R2021b)
`segmentObjects`	Segment objects using SOLOv2 instance segmentation (depuis R2023b)

Entraîner des réseaux de segmentation d’instances personnalisés

Charger les données d’apprentissage

`boxLabelDatastore`	Datastore for bounding box label data (depuis R2019b)
`groundTruth`	Ground truth label data
`imageDatastore`	Datastore for image data
`combine`	Combine data from multiple datastores

Entraîner des réseaux de segmentation d’instances

`trainSOLOV2`	Train SOLOv2 network to perform instance segmentation (depuis R2023b)
`trainMaskRCNN`	Train Mask R-CNN network to perform instance segmentation (depuis R2022a)

Augmenter et prétraiter les données d’apprentissage

`poly2mask`	Convert region of interest (ROI) polygon to region mask
`bwboundaries`	Trace object boundaries in binary image
`balanceBoxLabels`	Balance bounding box labels for object detection (depuis R2020a)
`bboxcrop`	Crop bounding boxes (depuis R2019b)
`bboxerase`	Remove bounding boxes (depuis R2021a)
`bboxresize`	Resize bounding boxes (depuis R2019b)
`bboxwarp`	Apply geometric transformation to bounding boxes (depuis R2019b)
`bbox2points`	Convert rectangle to corner points list
`imwarp`	Apply geometric transformation to image
`imcrop`	Crop image
`imresize`	Resize image
`randomAffine2d`	Create randomized 2-D affine transformation (depuis R2019b)
`centerCropWindow2d`	Create rectangular center cropping window (depuis R2019b)
`randomWindow2d`	Randomly select rectangular region in image (depuis R2021a)

Visualiser les résultats

`insertObjectMask`	Insert masks in image or video stream (depuis R2020b)
`insertObjectAnnotation`	Annotate truecolor or grayscale image or video
`insertShape`	Insert shapes in image or video
`showShape`	Display shapes on image, video, or point cloud (depuis R2020b)

Évaluer les résultats prédits

`evaluateInstanceSegmentation`	Evaluate instance segmentation data set against ground truth (depuis R2022b)
`instanceSegmentationMetrics`	Instance segmentation quality metrics (depuis R2022b)
`metricsByArea`	Evaluate instance segmentation across object mask size ranges (depuis R2023b)

Effectuer une estimation de la pose avec la segmentation d’instances

`posemaskrcnn`	Predict object pose using Pose Mask R-CNN pose estimation (depuis R2024a)
`predictPose`	Estimate object pose using Pose Mask R-CNN deep learning network (depuis R2024a)
`trainPoseMaskRCNN`	Train Pose Mask R-CNN network to perform pose estimation (depuis R2024a)

Rubriques

En savoir plus

Get Started with Instance Segmentation Using Deep Learning
Segment objects using an instance segmentation model such as SOLOv2 or Mask R-CNN.
Get Started with SOLOv2 for Instance Segmentation
Perform multiclass instance segmentation using SOLOv2 and deep learning.
Getting Started with Mask R-CNN for Instance Segmentation
Perform multiclass instance segmentation using Mask R-CNN and deep learning.

Préparer des données d’apprentissage pour la segmentation d’instances

Get Started with Image Preprocessing and Augmentation for Deep Learning
Preprocess data for deep learning applications with deterministic operations such as resizing, or augment training data with randomized operations such as random cropping.
Datastores for Deep Learning (Deep Learning Toolbox)
Learn how to use datastores in deep learning applications.

Exemples présentés

Perform Instance Segmentation Using SOLOv2

Segment object instances of randomly rotated machine parts in a bin using a deep learning SOLOv2 network.

Ouvrir le live script

Perform Instance Segmentation Using Mask R-CNN

Segment individual instances of people and cars using a multiclass mask region-based convolutional neural network (R-CNN).

Ouvrir le live script

Perform 6-DoF Pose Estimation for Bin Picking Using Deep Learning

Perform six degrees-of-freedom (6-DoF) pose estimation by estimating the 3-D position and orientation of machine parts in a bin using RGB-D images and a deep learning network.

Ouvrir le live script