Vì sao một vector tĩnh không đủ để hiểu câu

Vì sao một vector tĩnh không đủ để hiểu câu A workflow diagram generated by Archify. 01 / Đường đi tới ngữ cảnh EX / Hai cách ngây thơ Token it · vector chưa có ngữ cảnh · Đường đi tới ngữ cảnh Token it vector chưa có ngữ cảnh Token nào liên quan? · animal · street · tired · Đường đi tới ngữ cảnh Token nào liên quan? animal · street · tired Tính mức liên quan · so từng cặp trong câu · Đường đi tới ngữ cảnh Tính mức liên quan so từng cặp trong câu Gán trọng số động · trọng số là thứ học được · Đường đi tới ngữ cảnh Gán trọng số động trọng số là thứ học được Vector theo ngữ cảnh · it đã mang nghĩa animal · Đường đi tới ngữ cảnh Vector theo ngữ cảnh it đã mang nghĩa animal Lấy trung bình · mọi token đều quan trọng · Hai cách ngây thơ Lấy trung bình mọi token đều quan trọng Chỉ nhìn token gần · chủ ngữ có thể ở rất xa · Hai cách ngây thơ Chỉ nhìn token gần chủ ngữ có thể ở rất xa cách 1 hỏng cách 2 hỏng cần gì thêm so cả câu thành trọng số tổng hợp lại Legend Agent logic Policy Tool action Cloud service External system

Embedding trả lời một câu hỏi, attention trả lời câu còn lại

  • • Embedding nói token này là gì khi đứng một mình
  • • Attention nói nên lấy thông tin từ token nào để hiểu nó
  • • Nhờ vậy cùng một token cho ra vector khác nhau ở hai câu

Trung bình cộng làm mất đúng thứ cần giữ

  • • Nó coi mọi token trong câu là quan trọng như nhau
  • • Trong ngôn ngữ điều đó gần như không bao giờ đúng
  • • Attention thay số hạng cố định bằng trọng số học được

Khoảng cách không quyết định quan hệ

  • • Chủ ngữ có thể cách động từ rất nhiều token
  • • Một đại từ có thể trỏ về danh từ ở đầu đoạn
  • • Dấu ngoặc mở trong code có thể đóng ở rất xa