Biểu diễn câu đa nhiệm trong NLP năm 2018

Nếu biểu diễn từ là nền móng của NLP đầu thập kỷ, thì năm 2018 đặt trọng tâm mới: biểu diễn câu dùng chung cho nhiều nhiệm vụ. Một từ có thể mang nhiều nghĩa, nhưng một câu mới thực sự chứa ý định và thông tin trọn vẹn.

Cách tiếp cận đa nhiệm (Multi-Task Learning) đã được thử nghiệm: mô hình encoder chia sẻ, phía trên là nhiều đầu ra cho các nhiệm vụ khác nhau như dự đoán tương đồng, phân loại quan điểm, hay phân tích cú pháp. Việc học cùng lúc nhiều nhiệm vụ giúp mô hình nắm bắt cấu trúc ngữ nghĩa rộng và giảm lệ thuộc vào một nguồn dữ liệu duy nhất.

Thử nghiệm cho thấy hiệu quả cải thiện rõ rệt ở những tác vụ có dữ liệu hạn chế. Nhờ học nhiều dạng tín hiệu, mô hình “khái quát hóa” tốt hơn. Đặc biệt, biểu diễn của câu trở nên mạnh mẽ hơn biểu diễn từ đơn lẻ, mở ra con đường xây chatbot, trợ lý ảo, tìm kiếm ngữ nghĩa.

Nhược điểm 2018: kiến trúc RNN khó mở rộng và huấn luyện đa nhiệm vẫn còn phức tạp. Ngoài ra, việc chuẩn hóa cách đo lường chất lượng biểu diễn câu vẫn là vấn đề gây tranh cãi.

Dù còn thô sơ, nghiên cứu Multi-Task Sentence Embeddings đã đặt viên gạch đầu cho những mô hình hiểu câu tốt hơn trong tương lai.