Đường của user và đường của evaluation phải tách nhau Diagram

Judge không được nằm trên critical path

• Generation 1,8 giây cộng hai judge có thể thành hơn 4 giây
• Judge còn trở thành một dependency mới của request path
• Judge lỗi hoặc rate limit sẽ kéo theo cả sản phẩm

Development thì ngược lại

• Lúc phát triển, chấm điểm ngay tại chỗ là hợp lý
• DeepEval để metrics chạy chặn đúng cho mục đích đó
• Production thì chuyển sang metric collection bất đồng bộ

Hệ quả kiến trúc

• Trace store thành nguồn dữ liệu, không phải log để ngắm
• Sampler đứng giữa trace store và judge để giữ chi phí
• Alert đọc từ metrics store, không đọc từ request