Main Content

La traduction de cette page n'est pas à jour. Cliquez ici pour voir la dernière version en anglais.

Datastore

Lire de grandes collections de données

La fonction datastore crée un datastore, qui est un dépôt pour des collections de données trop volumineuses pour être stockées en mémoire. Un datastore permet de lire et traiter des données stockées dans plusieurs fichiers sur un disque, à un emplacement distant ou dans une base de données, comme s’il s’agissait d’une seule entité. Si les données sont trop volumineuses pour être stockées en mémoire, vous pouvez gérer l’importation incrémentale de celles-ci, créer un tall array pour travailler avec elles ou utiliser le datastore comme entrée de mapreduce pour un traitement approfondi. Pour plus d’informations, consultez Getting Started with Datastore.

Fonctions

développer tout

datastoreCreate datastore for large collections of data
tabularTextDatastoreDatastore for tabular text files
spreadsheetDatastoreDatastore for spreadsheet files
imageDatastoreDatastore for image data
parquetDatastoreDatastore for collection of Parquet files
fileDatastoreDatastore with custom file reader
arrayDatastoreDatastore for in-memory data (depuis R2020b)
readRead data in datastore
readallRead all data in datastore
previewPreview subset of data in datastore
hasdataDetermine if data is available to read
resetReset datastore to initial state
writeallWrite datastore to files (depuis R2020a)
subsetCreate subset of datastore or FileSet
isSubsettableDetermine whether datastore is subsettable (depuis R2022b)
shuffleShuffle all data in datastore
isShuffleableDetermine whether datastore is shuffleable (depuis R2020a)
numpartitionsNumber of datastore partitions
partitionPartition a datastore
isPartitionableDetermine whether datastore is partitionable (depuis R2020a)

Fonctions

combineCombine data from multiple datastores
transformTransform datastore

Objets

CombinedDatastoreDatastore to combine data read from multiple underlying datastores
SequentialDatastoreSequentially read data from multiple underlying datastores (depuis R2022b)
TransformedDatastoreDatastore to transform underlying datastore
KeyValueDatastoreDatastore for key-value pair data for use with mapreduce
TallDatastoreDatastore for checkpointing tall arrays

Classes

développer tout

matlab.io.Datastore Base datastore class
matlab.io.datastore.PartitionableAdd parallelization support to datastore
matlab.io.datastore.SubsettableAdd subset and fine-grained parallelization support to datastore (depuis R2022b)
matlab.io.datastore.HadoopLocationBased Add Hadoop support to datastore
matlab.io.datastore.ShuffleableAdd shuffling support to datastore
matlab.io.datastore.DsFileSet File-set object for collection of files in datastore
matlab.io.datastore.DsFileReader File-reader object for files in a datastore
matlab.io.datastore.FileWritableAdd file writing support to datastore (depuis R2020a)
matlab.io.datastore.FoldersPropertyProviderAdd Folder property support to datastore (depuis R2020a)
matlab.io.datastore.FileSet File-set for collection of files in datastore (depuis R2020a)
matlab.io.datastore.BlockedFileSet Blocked file-set for collection of blocks within file (depuis R2020a)

Rubriques