MATLAB MapReduce et Hadoop

MATLAB® dispose de nombreuses fonctionnalités d'exploration et d'analyse de gros jeux de données. L'une d'elles, MapReduce, est une technique de programmation puissante et reconnue qui permet d'appliquer des filtres, des statistiques et d'autres méthodes d'analyse aux Big Data.

Intégrée à MATLAB, cette fonctionnalité vous permet d'analyser des données qui ne tiennent pas dans l’espace mémoire. En exécutant en parallèle vos algorithmes MapReduce (à l'aide de l’outil Parallel Computing Toolbox™), vous pouvez exploiter plus efficacement les ressources de traitement de votre bureau sans modifier vos algorithmes.

Pour analyser des données dans MATLAB avec MapReduce :

  1. Définissez les données à analyser à l'aide de la fonction datastore
  2. Créez votre mappage et réduisez les fonctions dans MATLAB
  3. Exécutez votre mappage et réduisez les fonctions à l'aide de la fonction mapreduce

Bien que MATLAB MapReduce soit optimisé pour effectuer des analyses à partir de tableaux, cette fonctionnalité est entièrement compatible avec Hadoop MapReduce. Vous pouvez donc exécuter vos algorithmes MapReduce dans une infrastructure Hadoop :

  • À l'aide de MATLAB Distributed Computing Server™, exécutez les algorithmes MapReduce dans Hadoop directement depuis le bureau MATLAB.
  • À l'aide de MATLAB Compiler™, regroupez les algorithmes MapReduce dans un seul fichier pour un déploiement dans les infrastructures Hadoop.

MapReduce dans Hadoop

À l'aide de MATLAB Distributed Computing Server, exécutez les algorithmes MATLAB MapReduce dans Hadoop pour explorer et analyser les données stockées et gérées dans Hadoop.

À l'aide de MATLAB Compiler, créez des applications et des bibliothèques basées sur MATLAB MapReduce en vue d'un déploiement dans les instances de production d'Hadoop.


Voir aussi : Big Data avec MATLAB

Webinars

Sur le Web


 

  • Témoignages d'utilisateurs :
  • Mise à l’échelle pour l’analyse de données (30:38)
    Présentation de Clément Val, CEESAR, décrivant une infrastructure de traitement de données basée sur MATLAB
  • Analyse des données de test à partir d'une flotte
    Comment Daimler AG exploite MATLAB pour effectuer des analyses et des rapports sur les données de test de véhicules à pile à combustible
  •