Tokenizer pipeline: từ câu người gõ đến token IDs Diagram

Tokenizer không phải một hàm duy nhất

• Bốn bước trên đều cấu hình được độc lập với nhau
• Đổi normalizer hay regex pre-tokenizer là đổi kết quả tokenize
• Cùng thuật toán BPE, hai pipeline vẫn cho ra token khác nhau

Hàng dưới quyết định hàng trên

• Pre-tokenizer đặt ranh giới mà merge không được vượt qua
• Vocabulary học một lần lúc train, sau đó chỉ được tra
• Special token chiếm chỗ thật trong context window

Chỗ hay bị hiểu nhầm

• Token ID chỉ là địa chỉ hàng, tự nó không mang ngữ nghĩa
• Chuẩn hoá chạy trước segmentation nên có thể làm mất thông tin gốc
• Ranh giới token không bắt buộc trùng ranh giới ký tự UTF-8