Một request qua inference server: prefill, decode và những chỗ dễ hiểu sai

Một request qua inference server: prefill, decode và những chỗ dễ hiểu sai A workflow diagram generated by Archify. EX / Hiểu lầm về prefill và decode 02 / Đường đi của một request (chính) 03 / Cơ chế phía server EX / Hiểu lầm về KV cache và tốc độ 128k = dùng tốt 128k · context hiệu quả ngắn hơn · Hiểu lầm về prefill và decode 128k = dùng tốt 128k context hiệu quả ngắn hơn Batch càng lớn càng tốt · TPOT và KV có giới hạn · Hiểu lầm về prefill và decode Batch càng lớn càng tốt TPOT và KV có giới hạn Đắt chủ yếu vì O(n²) · KV và băng thông · Hiểu lầm về prefill và decode Đắt chủ yếu vì O(n²) KV và băng thông Decode thiếu compute · thiếu băng thông · Hiểu lầm về prefill và decode Decode thiếu compute thiếu băng thông Prompt → token · tokenize, có thể rất dài · Đường đi của một request (chính) Prompt → token tokenize, có thể rất dài Xếp hàng · chờ chỗ trong batch · Đường đi của một request (chính) Xếp hàng chờ chỗ trong batch Prefill · compute-bound · TTFT · Đường đi của một request (chính) Prefill compute-bound · TTFT Vòng decode · memory-bound · TPOT · Đường đi của một request (chính) Vòng decode memory-bound · TPOT Stream token · tới khi gặp EOS · Đường đi của một request (chính) Stream token tới khi gặp EOS Giải phóng block · hoặc giữ prefix · Đường đi của một request (chính) Giải phóng block hoặc giữ prefix Continuous batching · chèn request mỗi bước · Cơ chế phía server Continuous batching chèn request mỗi bước KV cache theo block · block table, prefix chung · Cơ chế phía server KV cache theo block block table, prefix chung Attention kernel · FlashAttention, tiling · Cơ chế phía server Attention kernel FlashAttention, tiling Speculative (tuỳ) · đoán k token, kiểm 1 lần · Cơ chế phía server Speculative (tuỳ) đoán k token, kiểm 1 lần GQA giảm FLOPs · chỉ giảm KV cache · Hiểu lầm về KV cache và tốc độ GQA giảm FLOPs chỉ giảm KV cache Cache lưu Q và score · chỉ lưu K và V · Hiểu lầm về KV cache và tốc độ Cache lưu Q và score chỉ lưu K và V FlashAttention xấp xỉ · chính xác, giảm byte · Hiểu lầm về KV cache và tốc độ FlashAttention xấp xỉ chính xác, giảm byte Speculative đổi output · giữ đúng phân phối · Hiểu lầm về KV cache và tốc độ Speculative đổi output giữ đúng phân phối Cache câu trả lời · cache K/V của prefix · Hiểu lầm về KV cache và tốc độ Cache câu trả lời cache K/V của prefix ghi K, V đọc K, V nhiều token/lượt Legend bước tính toán trên GPU request vào và token ra scheduler KV cache trong bộ nhớ GPU chỗ dễ hiểu sai