December 2017 – Những mặt mạnh của Attention và các phân vân khoa học

1. Thành tựu cụ thể

Trên các benchmark dịch máy:

• Cải thiện BLEU score đáng kể
• Thời gian huấn luyện ngắn hơn nhiều so với RNN

Dữ liệu này đang khiến nhiều nhóm nghiên cứu đổi hướng sang attention.

2. Các lo ngại được nhắc đến trong hội thảo

• Chưa rõ attention có đảm bảo giữ cấu trúc cú pháp không
• Càng tăng số “đầu attention” thì chi phí tính toán tăng mạnh
• Dữ liệu dịch máy có thể chưa phản ánh đầy đủ ngữ cảnh phức tạp đời thực

Một số nhà khoa học xem đây chỉ là bản mở rộng của nỗ lực tối ưu dịch máy,
không hẳn là cuộc cách mạng.

3. Tư duy khoa học cần thiết

Hiện tượng kết quả tốt có thể:

• là bước ngoặt,
• hoặc chỉ là hiệu ứng nhất thời từ chú ý vào metric cụ thể.

Chưa thể có kết luận mạnh mẽ.

4. Kết luận

2017 ghi nhận sự xuất hiện đầy triển vọng của attention,
nhưng mọi khẳng định vẫn cần kiểm định nghiêm ngặt
bằng thí nghiệm đa dạng và thời gian đủ dài.