Main Content

La traduction de cette page n'est pas à jour. Cliquez ici pour voir la dernière version en anglais.

MapReduce

Technique de programmation pour l’analyse de jeux de données qui ne tiennent pas en mémoire

mapreduce est une technique de programmation qui convient à l’analyse de jeux de données trop volumineux pour être stockés dans la mémoire de votre ordinateur. Cette technique utilise un datastore pour traiter les données par petits blocs. Elle se compose d’une phase « Map » qui formate les données ou effectue un calcul préliminaire, et d’une phase « Reduce » qui agrège tous les résultats de la phase « Map ». Pour plus d’informations, consultez Getting Started with MapReduce.

Pour plus d’informations sur l’utilisation d’autres produits avec mapreduce, consultez Speed Up and Deploy MapReduce Using Other Products.

Fonctions

développer tout

mapreduceProgramming technique for analyzing data sets that do not fit in memory
datastoreCreate datastore for large collections of data
addAdd single key-value pair to KeyValueStore
addmultiAdd multiple key-value pairs to KeyValueStore
hasnextDetermine if ValueIterator has one or more values available
getnextGet next value from ValueIterator
mapreducerDefine execution environment for mapreduce or tall arrays
gcmrGet current mapreducer configuration

Objets

KeyValueStoreStore key-value pairs for use with mapreduce
ValueIteratorAn iterator over intermediate values for use with mapreduce

Rubriques

Résolution des problèmes

Debug MapReduce Algorithms

This example shows how to debug mapreduce algorithms in MATLAB®. Debugging enables you to follow the movement of data between the different phases of mapreduce execution and inspect the state of all intermediate variables.

Exemples présentés