GB, document hay token: ba cách đếm không thay thế được nhau

GB, document hay token: ba cách đếm không thay thế được nhau An architecture diagram generated by Archify. 500 GB · đổi theo encoding và markup · Architecture component 500 GB đổi theo encoding và markup 2 nghìn tỷ token · đơn vị so sánh được · Architecture component · sát compute nhất 2 nghìn tỷ token đơn vị so sánh được sát compute nhất Số training step · token ÷ (batch × T) · Architecture component Số training step token ÷ (batch × T) 100 triệu document · 20 hay 100.000 token đều là 1 · Architecture component 100 triệu document 20 hay 100.000 token đều là 1 Compute budget · GPU-hours có thật · Architecture component Compute budget GPU-hours có thật Chất lượng model · thứ ta thực sự quan tâm · Architecture component Chất lượng model thứ ta thực sự quan tâm Số tham số · capacity của model · Architecture component Số tham số capacity của model Undertrained · nhiều tham số, ít token · Architecture component Undertrained nhiều tham số, ít token qua tokenizer mới biết độ dài rất khác nhau chia cho batch × T số lần cập nhật ngân sách cho dữ liệu ngân sách cho model capacity dùng được không tăng token Legend Frontend Backend Database Cloud Message bus External