BigBird – Và câu chuyện thoát khỏi chiếc lồng nén O(n²)

Transformer mạnh nhưng bị ràng buộc bởi O(n²): câu càng dài, máy càng “nghẹt thở”. Nhưng ngoài kia, tài liệu luật, hồ sơ y tế, nghiên cứu khoa học – toàn là những con quái vật dài hàng nghìn từ. BigBird xuất hiện với thông điệp: “Đừng sợ văn bản dài nữa.”

Bằng cách chỉ tập trung chú ý vào những điểm then chốt: kết nối local, random và một vài anchor quan trọng, BigBird vẫn nắm được ngữ cảnh tổng thể mà không phải xử lý mọi cặp từ. Sức mạnh này mở cánh cửa để AI bước vào thế giới pháp lý và học thuật – nơi những tài liệu dài chính là cuộc sống hàng ngày.

BigBird chưa phải lời giải hoàn hảo, nhưng nó đặt nền cho giấc mơ: AI có thể đọc nguyên một cuốn sách và hiểu.