22/09/2026 · VietTechies · Biên tập
Hugging Face đã phát hành bản ứng viên của tokenizers v1 trên crates.io vào ngày 21/9/2026, trước khi ra mắt phiên bản 1.0.0 chính thức. Theo công ty, bản dựng Rust mã hóa văn bản nhanh gấp 3 đến 30 lần v0.23 trong các thử nghiệm đơn luồng trên Apple M4 Max, đồng thời tạo ra cùng các ID token.
Tương thích mà không cần API mới
Bản ứng viên được thiết kế để giữ nguyên API, bộ từ vựng, thứ hạng ghép và đầu ra hiện có. Phiên bản này tiếp tục tương thích với các họ tokenizer BPE, WordPiece và Unigram mà v0.23 hỗ trợ. Tuy nhiên, Hugging Face cho biết vẫn cần chuyển thêm nhiều họ mô hình sang cách triển khai mới trước khi phát hành 1.0.0.
Nguồn gốc của mức tăng tốc
Các thay đổi chính tập trung vào nhiều công đoạn trong quy trình mã hóa. Những mẫu BPE cấp byte được nhận diện có thể dùng bộ tách hướng đến SIMD, kỹ thuật cho phép CPU xử lý nhiều dữ liệu bằng một lệnh, thay cho công cụ biểu thức chính quy đa dụng. Các mẫu không được nhận diện vẫn đi theo luồng biểu thức chính quy nên không hưởng lợi từ tối ưu này. Bộ nhớ đệm riêng cho từng luồng cũng tái sử dụng ID token của các pre-token, tức những mảnh văn bản đã được tách sơ bộ, xuất hiện lặp lại. Với dữ liệu ít lặp, hệ thống có thể phải thực hiện tra cứu nhưng hiếm khi tìm thấy kết quả trong bộ nhớ đệm.
Hugging Face cũng thiết kế lại vòng lặp ghép BPE để tái sử dụng vùng nhớ tạm, tránh cấp phát bộ nhớ cho mỗi lần gọi và xử lý đồng thời nhiều pre-token theo lô. Các cặp ứng viên được đóng gói thành giá trị 64 bit nhằm đơn giản hóa việc so sánh. Những thay đổi ở khâu giải mã gồm tái sử dụng bộ đệm, giảm số lần sao chép trung gian và giải mã lô theo cơ chế song song.
Phạm vi và giới hạn của phép đo
Khoảng hiệu năng được công bố bao phủ 10 họ mô hình và sử dụng các tài liệu khác nhau, thay vì liên tục mã hóa lại một tài liệu đã nằm hoàn toàn trong bộ nhớ đệm. Hugging Face cho biết hiệu năng đạt 76% mức mở rộng tuyến tính khi chạy trên tám worker. Kết quả được lấy từ kho mã tokbench của công ty và không được giới thiệu là phép đo độc lập.
Các số liệu chỉ áp dụng cho crate Rust. Bộ liên kết Python sử dụng cùng mã nền, nhưng độ trễ phát sinh ở mỗi lần gọi không được tính vào phép đo. Hiệu năng còn phụ thuộc vào mẫu tokenizer và loại tác vụ, đặc biệt là mức độ lặp lại của các pre-token để tận dụng bộ nhớ đệm.
Đã có thể cài đặt, nhưng vẫn còn hạng mục cần hoàn thiện
Nhà phát triển có thể cài đặt bản tiền phát hành bằng lệnh cargo add tokenizers –pre. Cách gọi hàm mã hóa không thay đổi, còn encode_batch là luồng được dùng để đo khả năng mở rộng trên nhiều lõi CPU. Tính năng huấn luyện được bật mặc định và kéo theo một phần phụ thuộc C++; bản dựng chỉ phục vụ mã hóa có thể tắt các tính năng mặc định rồi bật tính năng http.
Các hạng mục dự kiến hoàn thành cho phiên bản 1.0.0 gồm hợp nhất cách triển khai mã hóa dùng cho kiểm tra trong huấn luyện và suy luận, cho phép tùy chọn tính offset và mask, sửa đổi các bộ chuẩn hóa, đơn giản hóa bộ liên kết Python, đồng thời bổ sung bộ liên kết C và C++ chỉ dành cho suy luận. Mã hóa bằng GPU và giải mã lô vẫn là hướng nghiên cứu sau phiên bản 1.0.0, chưa phải tính năng hiện có.
Ảnh minh họa do AI tạo.