Một vector cho mỗi token, hay một vector cho mỗi lần xuất hiện

Một vector cho mỗi token, hay một vector cho mỗi lần xuất hiện A workflow diagram generated by Archify. 01 / Embedding tĩnh — word2vec, GloVe 02 / Embedding ngữ cảnh — bên trong LLM 03 / Vì sao khác biệt này quan trọng Token đá · ở ba câu khác nhau · Embedding tĩnh — word2vec, GloVe Token đá ở ba câu khác nhau Tra bảng E · cùng ID, cùng hàng · Embedding tĩnh — word2vec, GloVe Tra bảng E cùng ID, cùng hàng Một vector · trộn mọi cách dùng · Embedding tĩnh — word2vec, GloVe · nghĩa bị lẫn Một vector trộn mọi cách dùng nghĩa bị lẫn Qua các block · đọc các vị trí trước · Embedding ngữ cảnh — bên trong LLM Qua các block đọc các vị trí trước Ba vector khác · một cho mỗi lần dùng · Embedding ngữ cảnh — bên trong LLM · nghĩa tách ra Ba vector khác một cho mỗi lần dùng nghĩa tách ra Từ đa nghĩa · đá bóng, hòn đá · Vì sao khác biệt này quan trọng Từ đa nghĩa đá bóng, hòn đá E là điểm xuất phát · lớp 0 của mọi vector · Vì sao khác biệt này quan trọng E là điểm xuất phát lớp 0 của mọi vector chỗ embedding tĩnh bó tay vẫn bắt đầu từ E một ID duy nhất không xét câu vào residual stream trộn ngữ cảnh Legend Tool action Context / trace Cloud service External system

Cùng gọi là embedding, nhưng không cùng loại

  • • word2vec cho mỗi từ đúng một vector, cố định sau khi train
  • • LLM cho mỗi vị trí trong câu một vector riêng
  • • Vector ở lớp cuối phụ thuộc toàn bộ ngữ cảnh đứng trước nó

Đa nghĩa là chỗ khác biệt lộ ra rõ nhất

  • • Embedding tĩnh phải nhét mọi nghĩa của một từ vào một điểm
  • • Kết quả là một vector trung bình không đúng với nghĩa nào cả
  • • Trong LLM, ba câu khác nhau cho ra ba vector khác nhau

Nhưng bảng E không hề biến mất

  • • Vector ngữ cảnh vẫn khởi đầu từ đúng một hàng của E
  • • Các block chỉ cộng thêm thông tin vào vector đó
  • • Nói LLM không có embedding tĩnh là sai — nó có, ở lớp 0