Đọc learning curve và chọn đúng hành động

Đọc learning curve và chọn đúng hành động A workflow diagram generated by Archify. 01 / Quan sát mỗi lần đánh giá EX / Train tốt, validation kém EX / Cả hai đều kém EX / Curve dao động mạnh Nhìn hai đường Gọi tên triệu chứng Sửa rồi đo lại Hai đường loss · train và validation theo step · Quan sát mỗi lần đánh giá › Nhìn hai đường Hai đường loss train và validation theo step So sánh hai đường · xu hướng và khoảng cách · Quan sát mỗi lần đánh giá › Nhìn hai đường · hỏi trước khi chỉnh So sánh hai đường xu hướng và khoảng cách hỏi trước khi chỉnh Curve lành mạnh · cùng giảm rồi phẳng dần · Quan sát mỗi lần đánh giá › Sửa rồi đo lại Curve lành mạnh cùng giảm rồi phẳng dần Chạy lại · một thay đổi mỗi lần · Quan sát mỗi lần đánh giá › Sửa rồi đo lại · ghi lại cấu hình Chạy lại một thay đổi mỗi lần ghi lại cấu hình Overfitting · train giảm, validation tăng · Train tốt, validation kém › Gọi tên triệu chứng Overfitting train giảm, validation tăng Giảm ghi nhớ · early stopping, weight decay · Train tốt, validation kém › Gọi tên triệu chứng Giảm ghi nhớ early stopping, weight decay Underfitting · cả hai loss đều còn cao · Cả hai đều kém › Gọi tên triệu chứng Underfitting cả hai loss đều còn cao Tăng khả năng học · tăng LR, thêm epoch, unfreeze · Cả hai đều kém › Gọi tên triệu chứng Tăng khả năng học tăng LR, thêm epoch, unfreeze Erratic · loss nhảy loạn giữa các step · Curve dao động mạnh › Gọi tên triệu chứng Erratic loss nhảy loạn giữa các step Ổn định update · hạ LR, tăng batch, clip grad · Curve dao động mạnh › Gọi tên triệu chứng Ổn định update hạ LR, tăng batch, clip grad khoảng cách nới rộng chưa học được gì không có xu hướng rõ dừng sớm hơn học mạnh hơn bước nhỏ và đều hơn hai đường cùng giảm chốt best checkpoint Legend Agent logic Policy Cloud service External system

Chẩn đoán đơn giản nhất

  • • Train tốt, validation kém → overfitting
  • • Train kém, validation kém → underfitting
  • • Hai đường cùng giảm rồi phẳng → đang đi đúng

Loss và accuracy không nói cùng một chuyện

  • • Loss liên tục, accuracy rời rạc
  • • Loss có thể giảm trong khi accuracy chưa đổi
  • • Loss là objective để tối ưu, accuracy là metric để báo cáo

Hội tụ không đồng nghĩa tốt

  • • Một model underfit vẫn hội tụ, chỉ là hội tụ ở loss cao
  • • Optimization convergence khác generalization
  • • Luôn cần validation metric để kết luận