Bốn cách đưa vị trí vào model và cái giá của từng cách

Bốn cách đưa vị trí vào model và cái giá của từng cách A workflow diagram generated by Archify. 01 / Cộng vào vector đầu vào 02 / Bên trong attention 03 / Đánh đổi về độ dài Sinusoidal · hàm sin cố định · Cộng vào vector đầu vào Sinusoidal hàm sin cố định Learned · một vector mỗi vị trí · Cộng vào vector đầu vào Learned một vector mỗi vị trí RoPE · xoay query và key · Bên trong attention · phổ biến nhất nay RoPE xoay query và key phổ biến nhất nay ALiBi · phạt theo khoảng cách · Bên trong attention ALiBi phạt theo khoảng cách Chặn cứng độ dài · hết vector là hết chỗ · Đánh đổi về độ dài Chặn cứng độ dài hết vector là hết chỗ Ngoại suy dễ hơn · vẫn cần hiệu chỉnh · Đánh đổi về độ dài Ngoại suy dễ hơn vẫn cần hiệu chỉnh giá phải trả cái thu lại gốc sang GPT-2 sang tương đối cùng ý tưởng Legend Agent logic Policy Tool action Context / trace External system

Hai họ khác nhau ở chỗ can thiệp

  • • Sinusoidal và learned cộng thẳng vào vector đầu vào
  • • RoPE và ALiBi tác động bên trong phép tính attention
  • • Chỉ họ thứ hai nói trực tiếp về khoảng cách hai token

Learned đơn giản nhưng bó cứng độ dài

  • • Mỗi vị trí có một vector riêng, học như một hàng bảng
  • • Vị trí chưa từng gặp thì không có vector nào cả
  • • Đó là lý do context window của GPT-2 là số cứng

RoPE mã hoá quan hệ, không mã hoá chỉ số

  • • Phép xoay làm tích query-key chỉ phụ thuộc khoảng cách
  • • Nhờ vậy model chịu câu dài hơn lúc train tốt hơn hẳn
  • • Vượt xa độ dài train vẫn cần kỹ thuật nới như scaling