fastBERTtokens: Tokenizing for BERT in parallel

This function simply divides your text into batches, and tokenizes in parallel. Provides significant speed-up.

Version (1,43 ko)
26 téléchargements
(0)
24 fév. 2023
Télécharger

  • Install in MATLAB

    Requires R2026b and later. Learn more
Télécharger

  • Install in MATLAB

    Requires R2026b and later. Learn more

Vous suivez désormais cette soumission

Citation pour cette source

Ralf Elsas (2026). fastBERTtokens: Tokenizing for BERT in parallel (https://fr.mathworks.com/matlabcentral/fileexchange/125295-fastberttokens-tokenizing-for-bert-in-parallel), MATLAB Central File Exchange. Extrait(e) le .

Remerciements

Inspiré par : Transformer Models

Informations générales

Compatibilité avec les versions de MATLAB

  • Compatible avec les versions R2021a et ultérieures

Plateformes compatibles

  • Windows
  • macOS
  • Linux
Ouvrir dans un nouvel onglet
Version Publié le Notes de version
1.0.0

Télécharger

  • Install in MATLAB

    Requires R2026b and later. Learn more