Constrained decoding: biên dịch schema một lần, mask logits ở mỗi bước

Constrained decoding: biên dịch schema một lần, mask logits ở mỗi bước A workflow diagram generated by Archify. 01 / Một lần, trước khi sinh 02 / Mỗi bước sinh token JSON Schema · hoặc regex, CFG · Một lần, trước khi sinh JSON Schema hoặc regex, CFG Biên dịch · thành FSM hoặc PDA · Một lần, trước khi sinh Biên dịch thành FSM hoặc PDA Bảng tra token · trạng thái → token hợp lệ · Một lần, trước khi sinh Bảng tra token trạng thái → token hợp lệ Trạng thái hiện tại · vd: đang chờ key · Mỗi bước sinh token Trạng thái hiện tại vd: đang chờ key Bitmask · 1 bit cho mỗi token · Mỗi bước sinh token Bitmask 1 bit cho mỗi token Mask logits · rồi sampling như thường · Mỗi bước sinh token Mask logits rồi sampling như thường Token mới · luôn hợp lệ cú pháp · Mỗi bước sinh token Token mới luôn hợp lệ cú pháp đi tiếp một bước trên FSM trạng thái đầu tra bảng Legend đầu vào do người dùng cung cấp bước tính toán mask cứng trên vocabulary trạng thái thay đổi theo từng token bảng tra dựng sẵn