Một cặp câu trở thành input của encoder

Một cặp câu trở thành input của encoder A data-flow diagram generated by Archify. 01 / Cặp câu 02 / Token 03 / Ba chuỗi số 04 / Embedding 05 / Encoder Sentence A + B · hai câu cần so sánh · 01 / Cặp câu · paraphrase detection Sentence A + B hai câu cần so sánh paraphrase detection Chuỗi token · [CLS] A [SEP] B [SEP] · 02 / Token · subword + special token Chuỗi token [CLS] A [SEP] B [SEP] subword + special token input_ids · [101, 7592, 2088, 102] · 03 / Ba chuỗi số · chỉ là chỉ mục input_ids [101, 7592, 2088, 102] chỉ là chỉ mục attention_mask · 1 token thật / 0 padding · 03 / Ba chuỗi số · dùng trong attention attention_mask 1 token thật / 0 padding dùng trong attention token_type_ids · 0 câu A / 1 câu B · 03 / Ba chuỗi số · chỉ một số kiến trúc token_type_ids 0 câu A / 1 câu B chỉ một số kiến trúc Embedding · cộng ba embedding · 04 / Embedding · một vector mỗi token Embedding cộng ba embedding một vector mỗi token Encoder · hidden states [n × d] · 05 / Encoder · ngữ cảnh hai chiều Encoder hidden states [n × d] ngữ cảnh hai chiều h_cls · vector đại diện cả chuỗi · 05 / Encoder · vào classification head h_cls vector đại diện cả chuỗi vào classification head tách subword tokenization tra vocabulary lookup đánh dấu token thật masking ghi câu A hay câu B segment tra embedding lookup cộng segment embedding segment x_i vào layer đầu tiên compute cộng -∞ trước softmax attention lấy hidden state vị trí đầu pooling Legend primary data policy / PII async batch data store

Ba thành phần cộng lại thành một vector

  • • Token embedding mã hoá token đó là gì
  • • Position embedding mã hoá nó đứng ở đâu
  • • Segment embedding mã hoá nó thuộc câu nào

Attention mask không đi qua embedding

  • • Mask không cộng vào biểu diễn của token
  • • Nó cộng -∞ vào attention score trước softmax
  • • softmax(-∞) ≈ 0 nên [PAD] gần như không đóng góp