Vì sao có những token mà vector của chúng gần như chưa được học

Vì sao có những token mà vector của chúng gần như chưa được học A lifecycle diagram generated by Archify. 01 / Vòng đời một hàng trong bảng E 02 / Chỗ hàng đó không bao giờ được nắn 03 / Outcomes Khởi tạo · số ngẫu nhiên · Vòng đời một hàng trong bảng E 01 Khởi tạo số ngẫu nhiên Vào batch · token xuất hiện · Vòng đời một hàng trong bảng E 02 Vào batch token xuất hiện Nhận gradient · hàng được chạm · Vòng đời một hàng trong bảng E 03 Nhận gradient hàng được chạm Dịch vào cụm · sau nhiều lần · Vòng đời một hàng trong bảng E 04 Dịch vào cụm sau nhiều lần Vector dùng được · có cấu trúc · Vòng đời một hàng trong bảng E 05 Vector dùng được có cấu trúc Gần như không xuất hiện · gradient bằng 0 · Chỗ hàng đó không bao giờ được nắn Gần như không xuất hiện gradient bằng 0 Token lỗi · hành vi kỳ quặc · Chỗ hàng đó không bao giờ được nắn Token lỗi hành vi kỳ quặc khi token quá hiếm phải train thêm phần đuôi vocabulary Legend start active state decision terminal success failure / exit

Chất lượng một vector tỷ lệ với số lần nó được chạm

  • • Gradient chỉ chảy về những hàng có mặt trong batch
  • • Token phổ biến được cập nhật hàng triệu lần
  • • Token ở đuôi phân bố có thể chỉ được chạm vài lần

Gốc rễ thường nằm ở tokenizer, không ở model

  • • Tokenizer được train trên một corpus khác corpus pretraining
  • • Nó sinh ra token cho những chuỗi về sau gần như không gặp lại
  • • Những hàng đó giữ nguyên giá trị khởi tạo suốt cả run

Hệ quả quan sát được khi inference

  • • Vector nhiễu nằm lệch khỏi mọi cụm có nghĩa
  • • Model gặp nó thì cho ra hành vi khó đoán, đây là glitch token
  • • Cách xử lý là cắt bớt vocabulary hoặc train thêm cho phần đuôi