Long-context Memory – Khi AI bắt đầu “nhớ” cuộc trò chuyện dài

Ngày trước, mỗi cuộc hội thoại với AI như đọc sách mà cứ bị lật lại trang đầu. Nhưng giữa 2023, khả năng xử lý văn bản dài — 50.000, thậm chí 100.000 token — khiến nhiều người cảm giác AI thật sự nhớ. Nó có thể theo dõi suy luận xuyên suốt một tài liệu dài, hay dự án nhiều bước.

Những người xây dựng sản phẩm kể lại sự ngạc nhiên: xã hội thay đổi khi AI trở thành đồng nghiệp theo dõi dự án từ đầu đến cuối. Một chatbot hỗ trợ y tế có thể nhớ lịch sử bệnh nhân mà không cần nhập lại. Một AI lập kế hoạch du lịch có thể giữ toàn bộ yêu cầu phức tạp trong đầu.

Dẫu vậy, long-context chưa hoàn hảo. Mô hình đôi khi nhớ những thứ… bạn chưa từng nói. Giữa 2023, người ta học được một bài: trí nhớ dù dài cỡ nào, cũng cần được quản lý và giới hạn.