Fiche non validée
Les informations de cette fiche proviennent de sources publiques et n'ont pas encore été validées par l'éditeur. Si vous constatez une erreur, veuillez nous la signaler.
Tokenizers
Par
Tokenizers est une bibliothèque open-source de Hugging Face offrant une implémentation rapide et polyvalente des tokenizers les plus utilisés, conçue pour la recherche et la production. Elle permet d'entraîner de nouveaux vocabulaires et de tokeniser du texte avec des performances optimisées, notamment grâce à une implémentation en Rust. Elle assure un suivi complet de l'alignement des tokens avec le texte original et gère le prétraitement comme le padding et le truncation.
Éditeur / Prestataire
- Entreprise
Solutions similaires
KARTES
Par ODOWA
KARTES est une plateforme française de gestion des interventions terrain et d'inventaire cartographique du patrimoine, c...
Scal-e Marketing Platform
Scal-e est une plateforme de marketing cloud souveraine et composable. Elle réunit dans un seul outil no-code nativement...