Giải thích khái niệm Thread Pool Exhaustion trong ứng dụng Backend, nguyên nhân gốc rễ và các giải pháp kiến trúc để phòng ngừa?

Question

Accepted Answer

Thread Pool Exhaustion là hiện tượng tất cả các luồng trong Thread Pool đang bận xử lý tác vụ và không còn luồng rảnh rỗi nào để phục vụ các yêu cầu (Request) mới đến. Khi đó, các request mới sẽ bị đưa vào hàng đợi chờ (Queue) hoặc bị từ chối, dẫn đến thời gian phản hồi tăng vọt hoặc sập hệ thống (Service Outage).
Nguyên nhân gốc rễ:

Tác vụ I/O-bound bị nghẽn (Blocking I/O): Các luồng phải chờ phản hồi từ Database bên ngoài, gọi API bên thứ ba hoặc đọc ghi file, khiến luồng bị treo và không thể giải phóng về pool.
Kích thước Thread Pool được cấu hình quá nhỏ so với tải thực tế.
Thiếu cơ chế giới hạn kích thước hàng đợi (Bounded Queue), dẫn đến tiêu thụ cạn kiệt bộ nhớ RAM (Memory Leak / OutOfMemoryError).

Giải pháp kiến trúc Enterprise:

Chuyển đổi mô hình xử lý sang dạng Non-blocking / Asynchronous hoàn toàn (ví dụ sử dụng Reactive Programming hoặc Node.js Event Loop) để giải phóng luồng khi chờ đợi I/O.
Áp dụng Bulkhead Pattern: Phân tách Thread Pool thành các pool độc lập cho từng tính năng hoặc dịch vụ riêng biệt. Nếu một dịch vụ bị chậm, nó chỉ làm cạn kiệt pool của riêng nó chứ không làm sập toàn bộ ứng dụng.
Sử dụng Circuit Breaker Pattern để ngắt nhanh các kết nối khi hệ thống phụ thuộc gặp sự cố, tránh việc các luồng cứ tiếp tục chờ đợi vô vọng.

Giải thích khái niệm Thread Pool Exhaustion trong ứng dụng Backend, nguyên nhân gốc rễ và các giải pháp kiến trúc để phòng ngừa?

Làm Chủ Phỏng Vấn & Nâng Cao Trình Độ Chuyên Nghiệp

Tải Tuyển Tập 100+ Câu Hỏi Phỏng Vấn Chuyên Sâu (PDF)

Cần Mentor Phỏng Vấn Thử 1-1 & Tối Ưu CV?

Kiểm Tra CV Chuẩn ATS Miễn Phí

Câu hỏi concurrency liên quan cùng chủ đề