PagedAttention: hai request dùng chung block prefix qua block table

PagedAttention: hai request dùng chung block prefix qua block table A workflow diagram generated by Archify. 01 / Request A: block logic (theo thứ tự token) 02 / Block vật lý trong bộ nhớ GPU, mỗi block 16 token 03 / Request B và nhánh sample B′: block logic A · block 0 · system prompt · Request A: block logic (theo thứ tự token) A · block 0 system prompt A · block 1 · system prompt · Request A: block logic (theo thứ tự token) A · block 1 system prompt A · block 2 · câu hỏi của A · Request A: block logic (theo thứ tự token) A · block 2 câu hỏi của A Block vật lý 7 · ref = 2, prefix chung · Block vật lý trong bộ nhớ GPU, mỗi block 16 token Block vật lý 7 ref = 2, prefix chung Block vật lý 1 · ref = 2, prefix chung · Block vật lý trong bộ nhớ GPU, mỗi block 16 token Block vật lý 1 ref = 2, prefix chung Block vật lý 3 · chỉ A, đầy 10/16 · Block vật lý trong bộ nhớ GPU, mỗi block 16 token Block vật lý 3 chỉ A, đầy 10/16 Block vật lý 5 · của B, B′ đọc chung · Block vật lý trong bộ nhớ GPU, mỗi block 16 token Block vật lý 5 của B, B′ đọc chung Block vật lý 8 · bản sao cho B′ · Block vật lý trong bộ nhớ GPU, mỗi block 16 token Block vật lý 8 bản sao cho B′ B · block 0 · system prompt · Request B và nhánh sample B′: block logic B · block 0 system prompt B · block 1 · system prompt · Request B và nhánh sample B′: block logic B · block 1 system prompt B · block 2 · câu hỏi của B · Request B và nhánh sample B′: block logic B · block 2 câu hỏi của B B′ · block 2 · sample thứ hai · Request B và nhánh sample B′: block logic B′ · block 2 sample thứ hai chép khi ghi Legend block logic của request block vật lý riêng block vật lý dùng chung (prefix) block mới do copy-on-write