Thách thức
Phân tích và hiểu tài liệu tiếng Việt chuyên sâu là bài toán mà các giải pháp thương mại trên thị trường thường mắc một trong hai vấn đề: chi phí cao, hoặc lưu trữ trên máy chủ nước ngoài, đôi khi cả hai. Khách hàng sở hữu tài liệu kinh doanh nhạy cảm (hợp đồng, báo cáo tài chính, hồ sơ pháp lý) muốn có chất lượng trả lời tương đương các mô hình lớn, nhưng không muốn dữ liệu bị chuyển ra nước ngoài.
Chúng tôi đã làm gì
Chúng tôi đánh giá năng lực các mô hình ngôn ngữ tiếng Việt dựa trên bảng xếp hạng benchmark VMLU, đối chiếu trực tiếp với các loại văn bản thực tế khách hàng xử lý hằng ngày. Cấu hình triển khai chính thức chọn Qwen3-8B và Sailor2-8B-Chat, tinh chỉnh theo đặc thù ngôn ngữ của văn phong kinh doanh tiếng Việt, thay vì chạy theo điểm số benchmark thuần túy.
Suy luận (inference) chạy trên chính cụm hạ tầng chúng tôi đang vận hành cho các dự án khác, không phải dựng mới từ đầu. Cơ chế truy xuất dữ liệu (retrieval) được xây dựng quanh đúng cấu trúc tài liệu khách hàng đang lưu trữ, không dùng bộ chia nhỏ văn bản (chunker) chung chung.
Điều gì đã thay đổi
Độ trôi chảy, ở những trường hợp thực sự quan trọng, giữ vững so với các mô hình thương mại. Dữ liệu được host tại Việt Nam, ngay tại chính công ty. Khi khách hàng hỏi dữ liệu của họ đi đâu, câu trả lời là: cùng một căn phòng với máy chủ.