BERT – Hiểu ngôn ngữ theo cả hai chiều trong năm 2018

Cuối năm 2018, mô hình BERT (Bidirectional Encoder Representations from Transformers) do Google AI công bố đã tạo cú hích lớn: sử dụng kiến trúc Transformer và huấn luyện song hướng (bidirectional) để nắm bắt ngữ cảnh trước và sau từ khóa. :contentReference[oaicite:6]6
Điểm nổi bật: mô hình tiền huấn luyện trên Wikipedia và BookCorpus, sau đó tinh chỉnh cho các nhiệm vụ như trả lời câu hỏi, phân loại văn bản; hiệu suất vượt trội các phương pháp trước đó.
Tuy vậy, trong năm 2018 vẫn còn tranh luận về khả năng giải thích nội bộ của BERT và chi phí huấn luyện lớn; các ứng dụng công nghiệp vẫn trong giai đoạn thử nghiệm.
Kết luận: BERT đặt tiêu chuẩn mới cho NLP, chuyển đổi cách hiểu về biểu diễn ngôn ngữ, nhưng không phải là lời giải toàn diện ngay lập tức.