Khoảng cách giữa hai vector thật sự mã hoá điều gì

Khoảng cách giữa hai vector thật sự mã hoá điều gì A workflow diagram generated by Archify. 01 / Cấu trúc đến từ đâu 02 / Cách đọc không gian 03 / Chỗ trực giác đi sai Đồng hiện · hay đứng cạnh cùng thứ · Cấu trúc đến từ đâu Đồng hiện hay đứng cạnh cùng thứ Gradient kéo · cùng ngữ cảnh, kéo gần · Cấu trúc đến từ đâu Gradient kéo cùng ngữ cảnh, kéo gần Vector gần nhau · hệ quả của phân bố · Cấu trúc đến từ đâu Vector gần nhau hệ quả của phân bố Cosine · xét hướng, bỏ độ dài · Cách đọc không gian Cosine xét hướng, bỏ độ dài Láng giềng gần · cách đọc dễ nhất · Cách đọc không gian · thứ quan sát được Láng giềng gần cách đọc dễ nhất thứ quan sát được Trái nghĩa vẫn gần · nóng, lạnh cùng chỗ · Chỗ trực giác đi sai Trái nghĩa vẫn gần nóng, lạnh cùng chỗ Phép loại suy · kém ổn định · Chỗ trực giác đi sai Phép loại suy kém ổn định hệ quả khó chịu thử nghiệm kinh điển tín hiệu duy nhất sau nhiều bước đo bằng góc xếp hạng Legend Agent logic Context / trace Cloud service External system

Không gian học từ phân bố, không từ định nghĩa

  • • Không ai nói cho model biết mèo là động vật
  • • Model chỉ thấy mèo xuất hiện cạnh những token nào
  • • Gần nhau nghĩa là dùng được cùng chỗ, không phải nghĩa giống

Vì sao dùng cosine chứ không dùng khoảng cách thường

  • • Độ dài vector tương quan mạnh với tần suất token trong corpus
  • • Cosine bỏ độ dài đi và chỉ giữ lại hướng
  • • Nhờ vậy token hiếm và token phổ biến còn so sánh được với nhau

Hai chỗ trực giác hay sai

  • • Từ trái nghĩa thường rất gần nhau vì chúng thay thế được cho nhau
  • • Phép loại suy vua trừ đàn ông phụ thuộc nhiều vào cách đo
  • • Không gian không có trục nào mang tên một khái niệm cụ thể