Hệ thống xử lý dữ liệu

Biến một quy trình PDF tuần tự thành một cụm song song.

Bối cảnh

Một công việc theo lô xử lý PDF được quét chạy tuần tự, trên một máy chủ, và kết thúc lâu sau khi đội ngũ đã thôi theo dõi. Mỗi lần chạy chặn lần kế tiếp. Phần cứng nhàn rỗi phần lớn thời gian và quá tải khi không nhàn rỗi.

Chúng tôi đã làm gì

Chúng tôi chuyển khối lượng công việc sang một cụm Podman với giới hạn đồng thời hợp lý trên từng container, nhãn khối SELinux để container chỉ đọc được những gì cần và không gì khác, và một pipeline giảm chất lượng ImageMagick được tinh chỉnh để đẩy phần cứng mà không làm hỏng máy chủ. Một tiện ích riêng giả lập mã hóa CCITT Group 4 - loại đặc trưng mà các quy trình lưu trữ cần trên bản sao đầu ra, để tài liệu trông như vừa ra khỏi một máy fax 1998 thay vì một máy quét 2025.

Điều gì đã thay đổi

Thông lượng tăng khoảng ba lần. Công việc kết thúc trong cửa sổ thời gian của nó. Bước giả lập fax giờ chuyển những tệp đã giảm chất lượng đúng cách qua các hệ thống xuôi dòng vốn được lập trình cho tệp bẩn, dập tắt một nhóm lỗi không ai trước đó giải thích được.