Transfer learning trong NLP: bước chuyển lớn vào 2018

Từ lâu, trong thị giác máy tính, học chuyển giao (transfer learning) là tiêu chuẩn. Nhưng trong NLP đến năm 2018 mới thực sự bùng nổ với công trình của ULMFiT. Bài viết “ULMFiT và tiềm năng chuyển giao mô hình ngôn ngữ” đã tổng hợp lại thực nghiệm: huấn luyện mô hình ngôn ngữ chung, rồi tinh chỉnh theo lĩnh vực và cuối cùng tinh chỉnh tác vụ.
Chiến lược này giúp giảm đáng kể nhu cầu dữ liệu gắn nhãn cho từng tác vụ nhỏ và mở ra hướng mới cho NLP chuyên ngành. Tuy nhiên, kiến trúc vẫn là LSTM tuần tự, chưa tận dụng cơ chế attention mạnh mẽ của Transformer.
Tại thời điểm đó, mô hình ULMFiT vẫn cần kỹ thuật xử lý đặc thù, và hiệu suất với dữ liệu thực tế công nghiệp chưa đầy đủ để áp dụng quy mô lớn.
Kết luận: ULMFiT đánh dấu bước ngoặt chuyển từ “mỗi nhiệm vụ một mô hình” sang “một mô hình dùng chung + tùy chỉnh”, và là bước đệm quan trọng cho các mô hình tiền huấn luyện sau này.