Hiện tượng Cache Stampede (hay Thundering Herd) xảy ra khi nào trong hệ thống sử dụng Redis, và anh chị có những giải pháp kỹ thuật nào để giải quyết triệt để vấn đề này ở cấp độ Senior?

Question

Accepted Answer

1. Bản chất của hiện tượng Cache Stampede
Cache Stampede xảy ra khi một key cực kỳ quan trọng (Hot key) hết hạn (Expired) đúng lúc hệ thống đang có lượng truy cập (Traffic) khổng lồ. Hàng loạt các Worker/Thread đồng thời phát hiện Cache Miss, sau đó tất cả cùng đồng loạt truy vấn xuống Database để lấy dữ liệu mới. Việc này khiến Database quá tải (CPU Spike, Connection Pool Exhaustion) và làm sập toàn bộ hệ thống.
2. Các giải pháp kỹ thuật giải quyết Cache Stampede
Giải pháp 1: Sử dụng Distributed Lock (Khóa phân tán)
Khi phát hiện Cache Miss, tiến trình đầu tiên sẽ cố gắng acquire một Distributed Lock (ví dụ sử dụng Redis Redlock hoặc SETNX với thời gian sống ngắn).

Chỉ tiến trình giữ được Lock mới được phép query Database và cập nhật lại Redis.
Các tiến trình đến sau sẽ phải chờ đợi một khoảng thời gian ngắn (Sleep/Retry) rồi đọc lại từ Cache.

Giải pháp 2: Chiến lược Probabilistic Early Expiration (Thuật toán Xolder)
Thay vì đợi Cache hết hạn hoàn toàn mới tính toán lại, hệ thống sẽ chủ động làm mới (Refresh) trước khi nó thực sự hết hạn dựa trên một xác suất toán học.

Công thức kinh điển:
$$	ext{Delta} > - \beta 	imes \delta 	imes \ln(	ext{rand}())$$
Trong đó $\delta$ là thời gian tính toán query DB, $\beta > 0$ là hệ số điều chỉnh, và $	ext{rand}()$ là số ngẫu nhiên từ 0 đến 1. Nếu điều kiện thỏa mãn, một background thread sẽ tự động đi lấy dữ liệu mới trước khi key cũ chết hẳn.

Giải pháp 3: Background Refresh Asynchronous
Lưu trữ thêm một metadata là thời gian thực (Logical expiration time) bên trong giá trị của Cache, thay vì chỉ dựa vào TTL vật lý của Redis.

Khi một request đọc thấy key đã gần hết hạn, nó trả về dữ liệu cũ ngay lập tức cho client, đồng thời kích hoạt một Async Worker đi update lại Cache.

3. Lưu ý kinh nghiệm thực chiến

Trong các hệ thống Microservices, việc kết hợp giữa Distributed Lock và Mutex Lock cục bộ tại từng tiến trình đem lại hiệu suất tối ưu nhất, ngăn chặn triệt để các đợt spike traffic đột ngột.

Hiện tượng Cache Stampede (hay Thundering Herd) xảy ra khi nào trong hệ thống sử dụng Redis, và anh chị có những giải pháp kỹ thuật nào để giải quyết triệt để vấn đề này ở cấp độ Senior?

1. Bản chất của hiện tượng Cache Stampede

Khóa học System Design & High Scalability

Tải Tuyển Tập 100+ Câu Hỏi Phỏng Vấn Chuyên Sâu (PDF)

Cần Mentor Phỏng Vấn Thử 1-1 & Tối Ưu CV?

Kiểm Tra CV Chuẩn ATS Miễn Phí

Câu hỏi System Design liên quan cùng chủ đề