Fiche non validée
Les informations de cette fiche proviennent de sources publiques et n'ont pas encore été validées par l'éditeur. Si vous constatez une erreur, veuillez nous la signaler.
Tokenizers
Par
Tokenizers est une bibliothèque open-source de Hugging Face offrant une implémentation rapide et polyvalente des tokenizers les plus utilisés, conçue pour la recherche et la production. Elle permet d'entraîner de nouveaux vocabulaires et de tokeniser du texte avec des performances optimisées, notamment grâce à une implémentation en Rust. Elle assure un suivi complet de l'alignement des tokens avec le texte original et gère le prétraitement comme le padding et le truncation.
Éditeur / Prestataire
- Entreprise
Souveraineté
Solutions similaires
LE PARAPHEUR
Par LE PARAPHEUR
Solution logicielle unique de gestion et signature électronique des courriers pour les collectivités.
WANPULSE
Par WANPULSE
Éditeur d'un logiciel souverain de gestion, supervision et sécurisation des parcs informatiques pour collectivités.
KESTRA TECHNOLOGIES
Kestra est une plateforme innovante d'automatisation des donn‚es et des workflows, con‡ue pour r‚pondre aux besoins des ...
GLOWBL
Par GLOWBL
**Glowbl est une solution française, respectueuse de l’environnement, qui rend l’animation de collectifs à distance simp...
ANT INNO
Par ANT INNO
Éditeur d'une solution de GED axée sur la contextualisation et la recherche sémantique, avec accompagnement pour l'auton...
DOXENSE
Par DOXENSE
Doxense est un ‚diteur fran‡ais et ind‚pendant de logiciels de gestion des impressions. Compatibles toutes marques, ils...