Audio Toolbox

Concevoir et analyser des systèmes de traitement audio, acoustique et de la parole

 

Audio Toolbox™ propose des outils pour le traitement audio, l'analyse de la parole et les mesures acoustiques. Elle comprend des algorithmes pour le traitement du signal audio (comme l'égalisation et le contrôle de la plage dynamique) ainsi que pour les mesures acoustiques (comme l'estimation de la réponse impulsionnelle, le filtrage par bandes d'octave et la pondération perceptuelle). Des algorithmes sont également proposés pour l'extraction de caractéristiques audio et de parole (telles que les MFCC et le pitch) et pour la transformation du signal audio (banc de filtres gammatone et mel-spectrogramme, par exemple).

Les applications contenues dans la toolbox supportent les tests d'algorithmes temps réel, les mesures de réponse impulsionnelle et la labellisation des signaux audio. La toolbox contient des interfaces streaming pour les cartes son CoreAudio, ALSA, WASAPI et ASIO et pour les dispositifs MIDI, ainsi que des outils pour générer et héberger des plugins audio standards au format VST ou Audio Unit, par exemple.

Avec Audio Toolbox, vous pouvez importer, étiqueter et augmenter les jeux de données audio, ou encore extraire des caractéristiques et transformer des signaux pour le Machine Learning et le Deep Learning. Vous pouvez prototyper des algorithmes de traitement audio en temps réel en utilisant du streaming audio à faible latence, tout en réglant des paramètres et en visualisant des signaux. Vous pouvez également valider vos algorithmes en les transformant en plugin audio afin de les exécuter dans des applications hôtes externes, comme des Digital Audio Workstations. L'hébergement de plugins vous permet d'utiliser des plugins audio externes comme des objets courants pour traiter des tableaux MATLAB®. La connectivité avec des cartes son vous permet de réaliser des mesures personnalisées sur des systèmes acoustiques et des signaux audio temp réel.

En savoir plus:

Streaming audio avec des cartes son

Connectez-vous à des cartes son standards d'ordinateur portable et de bureau pour un streaming audio multicanal à faible latence entre des fichiers ou des entrées et sorties temps réel.

Connectivité à des drivers audio standards

Lisez et écrivez des échantillons audio depuis et vers des cartes son (USB ou Thunderbolt™, par exemple) avec des drivers audio standards (tels que ASIO, WASAPI, CoreAudio ou ALSA) sur Windows®, Mac® et Linux®.

Carte son multicanal.

Streaming audio multicanal à faible latence

Traitez de l'audio en temps réel dans MATLAB avec une latence aller-retour de quelques millisecondes.

Entrée brute en temps réel depuis un réseau de microphones à quatre canaux.

Machine Learning et Deep Learning

Étiquetez, augmentez, créez et intégrez des jeux de données de parole et audio, extrayez des caractéristiques et calculez des transformations temps-fréquence. Développez des analyses de parole et audio avec Statistics and Machine Learning Toolbox™, Deep Learning Toolbox™ ou d'autres outils de Machine Learning.

Pre-Trained Deep Learning Models

Use popular deep learning models pre-trained with large audio datasets to carry out complex audio processing tasks – classify sound events in audio recordings with Yamnet and extract audio embeddings with VGGish.

Word cloud displaying the sound types identified by classifySound in a particular audio segment.

Extraction de caractéristiques audio et de parole

Extrayez des caractéristiques de bas niveau pour les analyses audio et de parole, notamment les coefficients cepstraux MFCC (Mel-Frequency Cepstral Coefficients), les coefficients cepstraux gammatone (GTCC), le pitch, l'harmonicité et des descripteurs spectraux. Alimentez des architectures de Deep Learning travaillant sur des séries temporelles, comme celles basées sur des couches LSTM.

Sélectionner les options de mise en mémoire tampon et les caractéristiques intéressantes de manière interactive en utilisant Audio Feature Extractor dans Live Editor

Transformations temps-fréquence

Transformez des signaux en représentations temps-fréquence avec une transformée en cosinus discrète modifiée (MDCT), une transformée de Fourier à court terme (STFT) ou le mel-spectrogramme (plus compact). Décomposez des signaux avec des bandes de fréquence espacées sur le plan perceptif qui utilisent des bancs de filtres gammatone. Alimentez des modèles de Deep Learning travaillant sur des données à deux dimensions, comme ceux basés sur couches CNN.

Mel-spectrogramme de commandes vocales en temps réel.

Labelliser et annoter des jeux de données audio

Attribuez manuellement et automatiquement des étiquettes et des annotations de vérité de terrain aux enregistrements audio et aux jeux de données. Détectez les régions de parole dans les signaux audio. Automatisez la transcription de parole en texte avec les services cloud de reconnaissance vocale.

Étiquettes de régions d'intérêt dans l'application Audio Labeler.

Travailler avec des jeux de données audio volumineux

Indexez et lisez depuis d'importantes collections d'enregistrements audio avec audioDatastore. Séparez aléatoirement des listes de fichiers audio selon les étiquettes. Parallélisez les tâches de traitement avec des tall arrays pour l'augmentation de données, les transformations temps-fréquence et l'extraction de caractéristiques.

Datastore pointant vers le jeu de données de commandes vocales Google.

Augmenter et synthétiser les jeux de données audio et de parole

Mettez en place des pipelines d'augmentation aléatoire des données en utilisant des combinaisons de décalage de pitch, d'étirement temporel et d'autres effets de traitement audio. Créez des enregistrements de parole synthétiques à partir de textes en utilisant des services cloud de synthèse vocale.

Estimation des formants pour le décalage de pitch sans variation du timbre

Effets et algorithmes de traitement audio

Générez des formes d'onde standards, appliquez des effets audio courants et concevez des systèmes de traitement audio avec un réglage dynamique des paramètres et une visualisation en temps réel.

Égaliseurs et filtres audio

Modélisez et appliquez des filtres EQ paramétriques, EQ graphiques, plateaux et de pente variable. Concevez et simulez des filtres crossover numériques, par bandes d'octave ou d'octaves fractionnées.

Réglage interactif d'un filtre crossover à trois bandes avec visualisation en temps réel.

Contrôle et effets de la plage dynamique

Modélisez et appliquez des algorithmes de traitement de la plage dynamique tels qu'un compresseur, un limiteur, un expanseur et une noise gate. Ajoutez une réverbération artificielle avec des modèles paramétriques récursifs.

Réglage interactif de la réponse dynamique d'un compresseur.

Simulation système avec une modélisation par blocs

Concevez et simulez des modèles de systèmes avec des bibliothèques de blocs de traitement audio pour Simulink®. Réglez les paramètres et visualisez le comportement du système grâce à des contrôles interactifs et des tracés dynamiques.

Aperçu d'un modèle d'amélioration des basses psychoacoustique dans Simulink.

Prototypage audio temps réel

Validez des algorithmes de traitement audio grâce à des tests d'écoute interactifs temps réel dans MATLAB.

Réglage des paramètres en temps réel via des interfaces utilisateur

Créez automatiquement des interfaces utilisateur pour les paramètres réglables d'algorithmes de traitement audio. Testez des algorithmes individuels avec l'application Audio Test Bench et réglez des paramètres dans des programmes en cours d'exécution avec des contrôles interactifs auto-générés.

Réglage interactif d'un égaliseur paramétrique trois bandes personnalisé avec Audio Test Bench.

Connectivité MIDI pour le contrôle de paramètres et l'échange de messages

Modifiez des paramètres d'algorithmes MATLAB de manière interactive en utilisant les surfaces de contrôle MIDI. Contrôlez du hardware externe ou répondez aux événements en envoyant et en recevant tout type de messages MIDI.

Message MIDI et flux de signal audio écrit dans MATLAB pour un synthétiseur instrumental.

Mesures acoustiques et audio spatial

Mesurez les réponses du système, analysez et mesurez des signaux et concevez des systèmes de traitement audio spatial.

Mesures et analyses standardisées

Appliquez des mesures de niveau de pression acoustique (SPL) et de niveau sonore à des signaux temps réel ou enregistrés. Analysez des signaux avec des filtres par bandes d'octave ou d'octaves fractionnées. Appliquez des filtres de pondération A, C ou K conformes aux normes à des enregistrements bruts.

Visualisation de différentes mesures SPL sur des bandes de deux tiers d'octave.

Mesure de la réponse impulsionnelle

Mesurez les réponses impulsionnelles et en fréquence de systèmes audio et acoustiques avec des séquences MLS (maximum-length sequences) et des sinus de fréquence glissants (ESS). Commencez avec l'application Impulse Response Measurer. Automatisez les mesures en générant de manière programmatique des signaux d'excitation et en estimant les réponses du système.

Application Impulse Response Measurer.

Convolution efficace avec des réponses impulsionnelles de salles

Convoluez efficacement des signaux avec des réponses impulsionnelles longues avec des implémentations overlap-and-add et overlap-and-save dans le domaine fréquentiel. Trouvez le bon compromis entre latence et vitesse de calcul avec le partitionnement automatique de la réponse impulsionnelle.

Réponse impulsionnelle de cinq secondes ou de plus de 220 000 échantillons à 44100 Hz.

Audio spatial

Codez et décodez différents formats ambisoniques. Interpolez des fonctions de transfert relatives à la tête (HRTF) échantillonnées spatialement.

Exemple de position de source sonore souhaitée et des angles proches pour lesquels des mesures HRTF sont disponibles.

Générer et héberger des plugins audio

Prototypez des algorithmes de traitement audio dans MATLAB sous forme de plugins audio standards, et utilisez des plugins audio externes comme des objets MATLAB courants.

Génération de plugins audio

Générez des plugins VST, des plugins AU et des plugins exécutables autonomes directement depuis le code MATLAB sans avoir à concevoir manuellement les interfaces utilisateur. Générez des projets JUCE C++ prêts à l'emploi pour un prototypage de plugins plus avancé (nécessite MATLAB Coder™).

Exemple d'EQ paramétrique multibandes : plugin VST généré depuis le code MATLAB et exécuté dans REAPER.

Hébergement de plugins audio externes

Utilisez des plugins AU et VST externes comme des objets MATLAB courants. Modifiez les paramètres des plugins et traitez des tableaux MATLAB de manière programmatique. Automatisez également les associations des paramètres de plugins avec les interfaces utilisateur et les commandes MIDI. Hébergez des plugins générés depuis votre code MATLAB pour une exécution plus efficace.

Exemple de plugin VST externe pour le débruitage audio (Accusonus ERA-N) et d'interface de programmation dans MATLAB.

Cibler des systèmes audio embarqués temps réel

Utilisez des produits de génération de code C complémentaires afin d'implémenter des designs de traitement audio sur des cartes logicielles et automatisez la connectivité à des interfaces audio multicanal.

Cartes mobiles et low-cost

Prototypez des designs de traitement audio sur Raspberry Pi™ avec des interfaces audio multicanal, intégrées ou externes. Créez des panneaux de contrôle interactifs sous forme d'applications mobiles pour les appareils iOS ou Android®.

Carte Raspberry Pi 3.

Systèmes à latence zéro

Prototypez des designs de traitement audio avec des entrées et des sorties à échantillon unique pour le contrôle du bruit adaptatif, la validation d'appareils auditifs ou d'autres applications nécessitant une latence DSP aller-retour minimale. Ciblez automatiquement des systèmes audio Speedgoat et des cartes ST Discovery directement à partir de modèles Simulink.

Nouveautés

Mesures standard de l’intensité et de l’acuité sonores perçues

Mesurez l’intensité sonore perçue conformément à la norme ISO 532-1 ou ISO 532-2 et l’acuité sonore perçue conformément à la norme DIN 45692

Segmentation de la parole

Détectez les limites des régions de parole dans des enregistrements audio

MFCC sur GPU

Calculez et déployez des coefficients cepstraux MFCC (Mel-Frequency Cepstral Coefficients) sur des cartes GPU (nécessite Parallel Computing Toolbox pour l’accélération MATLAB et GPU Coder pour la génération de code CUDA)

Synthèse vocale via des services cloud

Créez des échantillons vocaux synthétiques à partir de chaînes de texte (compte de service tiers nécessaire)

Nouveaux blocs Audio Source

Générez des formes d'onde périodiques dans Simulink en utilisant des oscillateurs et la synthèse à tables d'onde

Applications autonomes depuis les plugins audio MATLAB

Générez des versions exécutables autonomes de plugins audio qui comprennent une connectivité audio en entrée et sortie

Tâche du Live Editor pour l'extraction de caractéristiques audio

Configurez des pipelines d'extraction de caractéristiques de manière interactive avec MATLAB Live Editor

Consultez les notes de version pour en savoir plus sur ces fonctionnalités et les fonctions correspondantes.