Transformer: một bản đồ tổng quát

Transformer: một bản đồ tổng quát An architecture diagram generated by Archify. Attention · quan hệ giữa các token · Architecture component · trái tim Attention quan hệ giữa các token trái tim Pretraining · học trên dữ liệu lớn · Architecture component Pretraining học trên dữ liệu lớn Encoder-only · hiểu input - BERT, RoBERTa · Architecture component Encoder-only hiểu input - BERT, RoBERTa Decoder-only · sinh token - GPT, Llama · Architecture component Decoder-only sinh token - GPT, Llama Encoder-Decoder · chuỗi sang chuỗi - T5, BART · Architecture component Encoder-Decoder chuỗi sang chuỗi - T5, BART Classification, NER · extractive QA · Architecture component Classification, NER extractive QA Chat, viết, code · text generation · Architecture component Chat, viết, code text generation Dịch, tóm tắt · generative QA · Architecture component Dịch, tóm tắt generative QA biểu diễn có ngữ cảnh masked language modeling causal language modeling denoising / span corruption head trên [CLS] / token LM head + sampling decoder + cross-attention Legend Họ kiến trúc Giai đoạn huấn luyện Cơ chế cốt lõi Nhóm task