Bối cảnh
Hiểu tài liệu tiếng Việt là loại bài toán mà các sản phẩm thương mại hoặc đắt, hoặc đặt máy chủ ở nước ngoài, hoặc cả hai. Những khách hàng có tài liệu nhạy cảm - hợp đồng, báo cáo tài chính, hồ sơ pháp lý - muốn cùng những câu trả lời mà các mô hình kia đưa ra, nhưng dữ liệu không vượt qua biên giới.
Chúng tôi đã làm gì
Chúng tôi đánh giá các mô hình LLM tiếng Việt dựa trên bảng xếp hạng VMLU và những loại tài liệu mà khách hàng thực sự phải xử lý. Bộ sản phẩm cuối cùng dùng Qwen3-8B và Sailor2-8B-Chat, được tinh chỉnh theo sắc thái ngôn ngữ của văn bản kinh doanh tiếng Việt, không chạy theo điểm benchmark. Suy luận chạy nội bộ trên cùng cụm máy mà chúng tôi dùng cho việc khác; truy xuất được xây quanh cấu trúc tài liệu khách hàng vốn đã có, không phải một bộ chia khúc chung chung.
Điều gì đã thay đổi
Mức độ trôi chảy, trong những trường hợp quan trọng, ngang ngửa các mô hình thương mại. Không gì rời khỏi tòa nhà. Khi khách hàng hỏi tài liệu của họ đi đâu, câu trả lời là cùng phòng với máy chủ.