ELECTRA – Khi mô hình học từ mọi điều nó thấy

Đầu năm 2020, các nhà nghiên cứu đã quen với việc che bớt từ trong câu rồi yêu cầu mô hình đoán lại phần bị che. Nhưng một nhóm kỹ sư đứng trước bảng trắng và hỏi: “Tại sao chúng ta bỏ phí quá nhiều dữ liệu?” Thế là ELECTRA ra đời – một ý tưởng nghe đơn giản nhưng đủ táo bạo để thay đổi cách thế giới huấn luyện mô hình ngôn ngữ.

Thay vì che từ, ELECTRA xem mọi token trong câu là một câu hỏi mở: “Token này có đúng với nguyên bản hay đã bị đánh tráo?” Cách học này giống như đào tạo một chuyên gia giám định ngôn ngữ – phải cảnh giác với từng lựa chọn từ ngữ nhỏ nhất. Nhờ vậy, mỗi lần đọc một câu, mô hình không chỉ học từ một phần nhỏ mà học từ toàn bộ bối cảnh.

Điều thú vị là ELECTRA mạnh lên rất nhanh trong điều kiện tài nguyên hạn chế. Khi người khác đua nhau nuôi mô hình càng lúc càng to, ELECTRA chọn con đường khiêm tốn hơn: thông minh trong việc tận dụng dữ liệu. Giới nghiên cứu thích điều này. Doanh nghiệp càng thích hơn: chi phí thấp, hiệu quả cao.

Nhưng năm 2020 cũng ghi nhận một giới hạn: ELECTRA vẫn chưa thể kể chuyện như GPT-2. Nó là người kiểm chứng sắc bén hơn là nhà văn bay bổng. Tuy nhiên, trong thời điểm mà các hệ thống NLP phải bước chân vào thế giới thực, có lẽ chính “sự tỉnh táo” đó làm ELECTRA trở nên quý giá.