Tương lai mô hình ngôn ngữ lớn và triển vọng năm 2018

Năm 2018, ngay khi các mô hình tiền huấn luyện như ULMFiT, BERT xuất hiện thì giới nghiên cứu đã nhìn thấy hình hài của mô hình ngôn ngữ lớn (Large Language Models – LLM). Mặc dù chưa phổ biến như sau này, nhưng xu hướng “mô hình dùng chung + tinh chỉnh + mở rộng lớn” đã được hình dung rõ ràng.
Các tín hiệu: mức độ tham số tăng, nhu cầu dữ liệu lớn hơn, cơ sở hạ tầng huấn luyện tiên tiến và mối quan hệ giữa mô hình và tương tác người – máy.
Nhưng rào cản lớn vẫn là: chi phí cao, yêu cầu dữ liệu lớn, khó khăn triển khai trong môi trường công nghiệp.
Kết luận: nếu 2018 là năm “khởi động” của LLM thì nhiệm vụ trong 2019-2020 là “mở rộng và thương mại hóa”.