Từ một fact trong dữ liệu đến một con số trên leaderboard

Từ một fact trong dữ liệu đến một con số trên leaderboard A workflow diagram generated by Archify. EX / Hiểu lầm về nguyên nhân và kết quả 02 / Từ một fact đến một con số (chính) 03 / Chỗ làm lệch phép đo EX / Hiểu lầm về độ tự tin và đo lường Model to hơn sẽ hết · long-tail vẫn sai · Hiểu lầm về nguyên nhân và kết quả Model to hơn sẽ hết long-tail vẫn sai Thêm dữ liệu đúng · fact mới dạy model bịa · Hiểu lầm về nguyên nhân và kết quả Thêm dữ liệu đúng fact mới dạy model bịa Nói 90% là đúng 90% · verbalized quá tự tin · Hiểu lầm về nguyên nhân và kết quả Nói 90% là đúng 90% verbalized quá tự tin Đo năng lực chung · đo một lát cắt hẹp · Hiểu lầm về nguyên nhân và kết quả Đo năng lực chung đo một lát cắt hẹp Hơn 1–2 điểm là hơn · thường nằm trong nhiễu · Hiểu lầm về nguyên nhân và kết quả Hơn 1–2 điểm là hơn thường nằm trong nhiễu Fact trong dữ liệu · phổ biến hay long-tail · Từ một fact đến một con số (chính) Fact trong dữ liệu phổ biến hay long-tail Pretraining · học phân phối dữ liệu · Từ một fact đến một con số (chính) Pretraining học phân phối dữ liệu Post-training · SFT, RLHF · Từ một fact đến một con số (chính) Post-training SFT, RLHF Decode câu trả lời · đúng, sai hay từ chối · Từ một fact đến một con số (chính) Decode câu trả lời đúng, sai hay từ chối Chấm điểm · đáp án hoặc LLM judge · Từ một fact đến một con số (chính) Chấm điểm đáp án hoặc LLM judge Con số leaderboard · một điểm, hiếm khi có CI · Từ một fact đến một con số (chính) Con số leaderboard một điểm, hiếm khi có CI Test set lọt vào · contamination · Chỗ làm lệch phép đo Test set lọt vào contamination Độ tự tin · logprob, lời nói, nhất quán · Chỗ làm lệch phép đo Độ tự tin logprob, lời nói, nhất quán Thiên kiến judge · vị trí, độ dài, tự ưu tiên · Chỗ làm lệch phép đo Thiên kiến judge vị trí, độ dài, tự ưu tiên Không thấy là không có · test chỉ có một chiều · Hiểu lầm về độ tự tin và đo lường Không thấy là không có test chỉ có một chiều Tự tin cao là đúng · calibration là theo nhóm · Hiểu lầm về độ tự tin và đo lường Tự tin cao là đúng calibration là theo nhóm Judge khách quan hơn · mang thiên kiến riêng · Hiểu lầm về độ tự tin và đo lường Judge khách quan hơn mang thiên kiến riêng Elo là hạng tuyệt đối · phụ thuộc prompt, quy trình · Hiểu lầm về độ tự tin và đo lường Elo là hạng tuyệt đối phụ thuộc prompt, quy trình lọt vào xác suất chấm thay người Legend bước của model nguồn làm lệch con số đo và chấm điểm dữ liệu chỗ dễ hiểu sai