Veritabanını Öldüren Otomatik Ölçekleme
Kubernetes kümemiz mükemmel bir şekilde otomatik ölçeklendi. Fazla mükemmel.
Olay:
- Sabah 10'da trafik artışı
- HPA podları ölçekledi: 5 → 50
- Her pod: 20 veritabanı bağlantısı
- Toplam bağlantı: 100 → 1.000
- PostgreSQL max_connections: 200
- 💥 "çok fazla bağlantı" hataları
Zincirleme reaksiyon:
- Yeni podlar veritabanına bağlanamıyor
- Sağlık kontrolleri başarısız oluyor
- Podlar yeniden başlıyor
- Yeniden başlatmada bağlantı fırtınası
- Tüm küme çöküyor
Çözüm:
- Bağlantı havuzu olarak PgBouncer
- 1.000 uygulama bağlantısı → 100 veritabanı bağlantısı
- HPA maksimum replika sayısı sürdürülebilir seviyede sınırlandırıldı
- Hazırlık probu veritabanı bağlantısını bekliyor
Ders: Otomatik ölçekleme, alt sistemlerin limitlerini bilmez. Onları sizin zorlamanız gerekir.