Fiche non validée
Les informations de cette fiche proviennent de sources publiques et n'ont pas encore été validées par l'éditeur. Si vous constatez une erreur, veuillez nous la signaler.
Tokenizers
Par
Tokenizers est une bibliothèque open-source de Hugging Face offrant une implémentation rapide et polyvalente des tokenizers les plus utilisés, conçue pour la recherche et la production. Elle permet d'entraîner de nouveaux vocabulaires et de tokeniser du texte avec des performances optimisées, notamment grâce à une implémentation en Rust. Elle assure un suivi complet de l'alignement des tokens avec le texte original et gère le prétraitement comme le padding et le truncation.
Solutions similaires
LE PARAPHEUR
Par LE PARAPHEUR
Solution logicielle unique de gestion et signature électronique des courriers pour les collectivités.
WANPULSE
Par WANPULSE
Éditeur d'un logiciel souverain de gestion, supervision et sécurisation des parcs informatiques pour collectivités.
GLOWBL
Par GLOWBL
**Glowbl est une solution française, respectueuse de l’environnement, qui rend l’animation de collectifs à distance simp...
ANT INNO
Par ANT INNO
Éditeur d'une solution de GED axée sur la contextualisation et la recherche sémantique, avec accompagnement pour l'auton...
SPARK Pro
Par ADACORE
SPARK Pro est un outil de preuve formelle qui permet de vérifier mathématiquement la sûreté, la sécurité et l'exactitude...
ProSimPlus
Par FIVES PROSIM
ProSimPlus est un logiciel de simulation et d'optimisation de procédés industriels continus. Il permet de réaliser des b...