Traitement de Big Data avec MATLAB
Afficher le calendrier et s'inscrireDétails de la formation
Cette formation d'une journée a pour sujet principal l'adaptation d'algorithmes existants à une collection de fichiers de données ou à un seul fichier de données trop volumineux pour entrer en mémoire. Apprenez à représenter du big data dans MATLAB®, ajustez du code existant pour qu'il y soit adapté, et passez à l'échelle pour tirer parti de vos resources de calculs ou du cloud.
Les sujets abordés sont les suivants:
- Création de datastores pour importer les données
- Représentation et manipulation de big data avec les tall arrays
- Importation de données de formats spécifiques et application de fonctions personnalisées sur des tall arrays
- Travail avec des clusters et des environnements cloud
Jour 1 sur 1
Prototypage d'algorithmes pour du big data
Objectif: Appliquer des algorithmes existants à des jeux de données ne rentrant pas en mémoire.
- Importation de données via les datastores
- Création de tall arrays
- Exécution d'algorithmes sur des tall arrays
- Optimisation du code pour les tall arrays
- Lecture de données du cloud
Gestion de données et d'algorithmes spécifiques
Objectif: Importer des données de formats non standards et appliquer des algorithmes non compatibles directement avec des tall arrays.
- Importation de données de formats non standards avec les fileDatastores et les customDatastores
- Importation partielle d'un fichier unique
- Application de transformations, réductions et d'opérations sur fenêtres glissantes pour les tall arrays
Travailler avec des clusters et le cloud
Objectif: Exécuter des algorithmes avec du big data sur un cluster de serveurs ou sur le cloud.
- Clusters locaux et distants
- Découverte et connexion aux clusters
- Configuration d'un cluster dans un environnement cloud
- Considérations sur les accès aux fichiers