December 2017 – Nhận thức ban đầu về Attention trong học đa ngôn ngữ

1. Gợi ý từ dịch máy thống kê

Dịch máy đa ngôn ngữ luôn đối diện bài toán dữ liệu thiếu hụt.
Attention đặt ra triển vọng mới:

Cho phép mô hình chia sẻ mối quan hệ khái niệm giữa các ngôn ngữ

Ví dụ:

• Từ “water”, “agua”, “eau” có thể được ánh xạ gần nhau trong không gian ngữ nghĩa.

2. Quan sát từ các nghiên cứu hiện tại

Khi huấn luyện trên hai ngôn ngữ, mô hình có khả năng:

• học biểu diễn chung của khái niệm vật lý cơ bản
• tìm liên kết giữa các cấu trúc ngữ pháp tương đương

Tuy nhiên, chưa có bằng chứng rõ rệt rằng: điều này sẽ mở rộng cho ngữ nghĩa trừu tượng.

3. Các thách thức chưa được giải

• Overfitting nặng với ngôn ngữ tài nguyên lớn
• Nhiễu văn hóa trong diễn giải từ vựng
• Chưa có chuẩn đánh giá đồng nhất cho đa ngôn ngữ attention

4. Kết luận

Attention dường như mang lại lợi ích cho học đa ngôn ngữ,
nhưng vẫn còn quá sớm để khẳng định mô hình này
có thể giải quyết hoàn toàn rào cản dữ liệu ít.