Hai thứ khác nhau cùng được gọi là embedding

Hai thứ khác nhau cùng được gọi là embedding A workflow diagram generated by Archify. 01 / Bên trong một LLM 02 / Embedding model cho retrieval 03 / Vì sao không thay nhau được Một token · nhỏ hơn một từ · Bên trong một LLM Một token nhỏ hơn một từ Một hàng E · vector của token đó · Bên trong một LLM Một hàng E vector của token đó Vector theo lớp · để đoán token kế · Bên trong một LLM Vector theo lớp để đoán token kế Cả đoạn văn bản · câu, đoạn, tài liệu · Embedding model cho retrieval Cả đoạn văn bản câu, đoạn, tài liệu Một vector cho cả đoạn · để đo tương đồng · Embedding model cho retrieval · vào vector DB Một vector cho cả đoạn để đo tương đồng vào vector DB Mục tiêu train khác · next-token, không contrastive · Vì sao không thay nhau được Mục tiêu train khác next-token, không contrastive Đích đến khác · tìm kiếm, không sinh · Vì sao không thay nhau được Đích đến khác tìm kiếm, không sinh khác từ gốc dùng ở chỗ khác tra bảng qua các block cùng tên, khác bài toán gộp lại một vector Legend Context / trace Cloud service External system

Một bên là chi tiết bên trong, một bên là sản phẩm

  • • Embedding của LLM là trạng thái trung gian của một phép tính
  • • Embedding model trả về vector như kết quả cuối cùng
  • • Cùng một từ nhưng chỉ hai vai trò hoàn toàn khác nhau

Mục tiêu huấn luyện quyết định hình dạng không gian

  • • LLM tối ưu cho việc đoán token kế tiếp
  • • Embedding model tối ưu cho việc câu gần nghĩa thì vector gần nhau
  • • Vì vậy lấy hidden state của LLM đi làm retrieval thường yếu hơn

Đơn vị cũng không giống nhau

  • • LLM cho một vector trên mỗi vị trí token
  • • Embedding model cho một vector trên cả đoạn văn bản
  • • Muốn đi từ token sang đoạn thì phải gộp, và cách gộp là một lựa chọn