Text Analytics Toolbox

Analyser et modéliser des données texte

Text Analytics Toolbox™ contient des algorithmes et des visualisations pour le prétraitement, l'analyse et la modélisation de données texte. Les modèles créés avec cette toolbox peuvent être utilisés dans des applications telles que l'analyse de sentiments, la maintenance prédictive ou la modélisation thématique.

Text Analytics Toolbox intègre des outils permettant de traiter du texte brut extrait de sources diverses, comme les logs d'un équipement, les fils d'actualités, des sondages, les rapports d'opérateur ou les réseaux sociaux. Vous pouvez extraire du texte depuis tous les formats de fichiers courants, prétraiter le texte brut, extraire des mots, convertir le texte en représentations numériques et construire des modèles statistiques.

Avec des techniques de Machine Learning telles que le LSA, le LDA et le word embedding, vous pouvez identifier des clusters et créer des caractéristiques à partir de jeux de données texte de grande dimension. Les caractéristiques créées avec Text Analytics Toolbox peuvent être combinées avec des caractéristiques provenant d'autres sources de données pour créer des modèles de Machine Learning tirant parti de données texte, numériques et autres.

En savoir plus:

Importer et visualiser des données texte
Prétraiter des données texte
Convertir des données texte en format numérique
Machine Learning et données texte
Deep Learning et données texte

Introduction à Text Analytics Toolbox

Documentation

Introduction à l'analyse de texte dans MATLAB

Téléchargez le livre blanc

Importer et visualiser des données texte

Réalisez l'extraction de données texte à partir de sources diverses comme les réseaux sociaux, les fils d'actualités, les logs d'un équipement, des rapports ou des sondages.

Extraire des données texte

Importez des données texte dans MATLAB^® à partir de fichiers uniques ou de vastes collections de fichiers, notamment aux formats PDF, HTML, Microsoft^® Word^® et Excel^®.

Extraire des données texte à partir de fichiers

Analyser un code HTML et extraire du contenu texte

Analyser des données texte contenant des émoticônes

Extraction de données texte d'un ensemble de documents Microsoft Word

Visualiser du texte

Explorez visuellement des jeux de données texte en utilisant des nuages de mots-clés et des diagrammes de dispersion de texte.

Visualiser des données texte en utilisant des nuages de mots-clés

Visualiser des word embeddings en utilisant des diagrammes de dispersion de texte

Nuage de mots mettant en évidence la fréquence relative des mots en utilisant différentes couleurs et tailles de polices.

Support pour les langues

Text Analytics Toolbox offre des fonctionnalités de prétraitement spécifiques à l’anglais, au japonais, à l'allemand et au coréen. La plupart des fonctions sont également opérationnelles sur du texte rédigé dans d'autres langues.

Support pour les langues

Analyser des données texte en japonais

Détecter la langue du texte

Analyser des données texte en allemand

Importation, préparation et analyse de données texte en japonais

Prétraiter des données texte

Réalisez l'extraction de mots significatifs d'un texte brut.

Nettoyer des données texte

Appliquez des fonctions de filtrage de haut niveau pour supprimer les éléments superflus, comme les URL, les balises HTML et la ponctuation, et corriger les fautes d'orthographe.

Préparer des données texte pour l'analyse

Supprimer la ponctuation dans un texte ou des documents

Supprimer des URL HTTP et HTTPS dans un texte

Corriger l'orthographe dans les documents

Simplifier un texte brut pour utiliser les mots les plus significatifs

Simplifier un texte brut (à gauche) pour utiliser les mots les plus significatifs (à droite)

Filtrer les mots vides et normaliser les mots sous leur forme radicale

Priorisez les données texte significatives dans votre analyse en filtrant les mots courants, les mots qui apparaissent trop souvent ou trop rarement ainsi que les mots très longs et très courts. Réduisez le vocabulaire et focalisez-vous sur le sens ou le sentiment plus général du document en transformant les mots sous leur forme radicale (racinisation ou stemming) ou sous leur forme dictionnaire, sans genre, ni pluriel (lemmatisation)

Supprimer les mots vides dans les documents

racinisation ou lemmatisation des mots

Racinisation

Lemmatisation

Suppression des mots vides, comme « a » et « of », d'un document

Extraire des caractéristiques linguistiques

Découpez automatiquement le texte brut en une collection de mots en utilisant un algorithme de tokenisation. Ajoutez des limites de phrases, des détails sur les classes grammaticales des mots et d'autres informations pertinentes pour le contexte.

Découper du texte en mots avec l'analyse lexicale

Ajouter des balises de classe grammaticale dans les documents

Reconnaissance d'entités nommées

Analyser la structure des phrases grâce à l'analyse des dépendances grammaticales

Ajout de détails sur les classes grammaticales et les phrases aux documents segmentés.

Convertir des données texte en format numérique

Convertissez les données texte en données numériques pour les utiliser en Machine Learning et en Deep Learning.

Comptage des mots et des N-grammes

Calculez les statistiques de fréquence des mots pour représenter numériquement les données texte.

Analyser des données texte avec des expressions idiomatiques

Matrice TF-IDF (Term Frequency–Inverse Document Frequency)

Identifier et visualiser les mots les plus fréquents dans un modèle

Word embedding et encodage

Entraînez des modèles de word embedding, notamment les modèles word2vec CBOW (Continuous Bag-of-words) et Skip-Gram. Importez des modèles pré-entraînés comme fastText et GloVe.

Visualiser des word embeddings en utilisant des diagrammes de dispersion de texte

Word embedding FastText pré-entraîné

Mapper des mots sur des vecteurs d'embedding

Bag-of-Words (BoW)

Visualisation de clusters dans un diagramme de dispersion de texte avec des word embeddings

Machine Learning et données texte

Effectuez la modélisation thématique, l'analyse de sentiments, la classification et la réduction de dimensionnalité, ainsi que l'extraction du résumé d'un document, avec des algorithmes de Machine Learning.

Modélisation thématique

Découvrez et visualisez les patterns sous-jacents, les tendances et les relations complexes qui s'expriment dans de vastes jeux de données texte avec des algorithmes de Machine Learning tels que le LDA (Latent Dirichlet Allocation) ou le LSA (Latent Semantic Analysis).

Analyser des données texte en utilisant des modèles thématiques

Choisir le nombre de thèmes pour un modèle LDA

Comparer des solveurs LDA

Identification de thèmes dans les données d'un rapport météorologique

Résumé de documents et extraction de mots-clés

Réalisez l'extraction automatiquement d'un résumé et de mots-clés pertinents d'un ou plusieurs documents et évaluez la similarité et l'importance des documents.

Extraire un résumé à partir de documents

Extraire des mots-clés à partir de données texte avec TextRank

Évaluation des documents avec l'algorithme TextRank

Extraction d'un résumé à partir d'un texte

Analyse de sentiments

Identifiez le ton et les opinions exprimées dans les données texte pour catégoriser les affirmations comme étant positives, neutres ou négatives. Élaborez des modèles capables de prédire les sentiments en temps réel.

Analyser des sentiments dans un texte

Entraîner un classificateur de sentiments

Générer un lexique des sentiments propre à un domaine

Identifying words that predict positive and negative sentiment.

Identifier les mots qui prédisent un sentiment positif ou négatif.

Deep Learning et données texte

Réalisez l'analyse de sentiments, la classification, le résumé et la génération de texte en utilisant des algorithmes de Deep Learning.

Modèles de type transformeur

Exploitez les transformeurs tels que BERT, FinBERT, et GPT-2 pour effectuer un apprentissage par transfert avec des données texte pour des tâches comme l'analyse de sentiments, la classification et le résumé.

Les modèles de type transformeur pour MATLAB