Model Compression & On-device AI – Khi AI phải bước ra khỏi phòng máy chủ

Vào năm 2021, ngày càng nhiều doanh nghiệp muốn AI chạy ngay trong điện thoại, kiosk, camera – nơi không có GPU khủng nào hỗ trợ phía sau. Nhưng các mô hình lớn như GPT hay BERT giống như voi chui lỗ kim khi chuyển sang môi trường thật. Thế là cuộc đua nén mô hình bùng nổ: distillation, pruning, quantization… trở thành những từ khóa nóng.

Câu chuyện hay nhất của năm này: những mô hình từng chỉ sống được trong data center, nay có thể chạy trên chính thiết bị của người dùng. Điều này không chỉ giúp tiết kiệm chi phí, mà còn tăng bảo mật dữ liệu – thông tin không cần gửi lên cloud. Các kỹ sư kể lại cảm giác tự hào khi thấy mô hình thoại chạy mượt trên smartphone cũ hoặc chatbot phản hồi ngay cả khi mất mạng.

Dù vậy, thu nhỏ não bộ không có nghĩa thu nhỏ tham vọng. 2021 chứng kiến nhận thức mới: AI không cần phải to lớn để tạo ra tác động lớn. Quan trọng là nó ở đúng nơi, đúng thời điểm.