“Ne olur ne olmaz, üretimde her şeyi loglayalım.” Bu cümle, tek bir ay için $50.000'ı biraz aşan bir CloudWatch faturasıyla bitti. Maliyet hikâyeleri genellikle aritmetiği atlar; kötü tavsiyeler de böyle yayılır — o yüzden bizimki eksiksiz burada.

Kronik sorun: her şeyi loglama kültürü

  • Büyük payload'lar dahil her HTTP istek gövdesi
  • Bağlı parametreleriyle birlikte her veritabanı sorgusu
  • Pod başına her 10 saniyede bir health check yanıtları
  • Hiçbir log grubunda saklama (retention) politikası yok

Bu taban günde yaklaşık 500GB tutuyordu. CloudWatch'un $0,50/GB ingestion ücretiyle bu, ayda kabaca $7.500 eder — artı, hiçbir şeyin süresi dolmadığı için bir yıllık birikimin ardından $0,03/GB-ay üzerinden ayda yaklaşık $5.400 depolama. Kronik maliyete ayda $13.000 diyelim: kötü, sabit ve büyüyen bir AWS faturasının içinde görünmez. Bu logların yüzde doksan dokuzu hiç okunmadı.

Akut sorun: unutulmuş tek bir debug satırı

Bir geliştirici, dahili bir fan-out yolundaki sorunu izlemek için üç debug log satırı ekledi, incelemeyi bitirdi ve loglamayı yerinde bıraktı. Code review gözden kaçırdı. Public API saniyede yaklaşık 3.000 istek karşılıyordu ama her istek altı ila sekiz dahili çağrı tetikliyordu — yani enstrümante edilen kod yolu zirvede saniyede kabaca 20.000 kez çalışıyordu.

  • 20K çalıştırma/sn × 3 satır × ~500 byte ≈ 30MB/sn
  • ≈ 2,6TB/gün ≈ yalnızca ingestion için $1.300/gün
  • Tam bir ay açık kaldı: ≈ $39.000

Üzerine $13.000'lık kronik tabanı ekleyin, $50K'lık ay karşınızda. Egzotik hiçbir şey olmadı — kimsenin deploy'dan önce yapmadığı bir çarpma işlemiydi.

Çözümler

  • Zorunlu seviyelerle yapılandırılmış (structured) loglama. Üretim tabanı INFO — yalnızca WARN politikası tutumlu görünür ama tam da olay anında ihtiyaç duyduğunuz bağlamı söker. DEBUG yalnızca örnekleme (isteklerin yaklaşık %1'i) ya da bir çalışma zamanı anahtarı arkasında çalışır.
  • CloudWatch'ta 7 günlük saklama. Daha eski her şey S3'e gider ve maliyetin küçük bir kesrine Athena ile sorgulanır.
  • Bir CI kontrolü: sıcak üretim yollarına eklenen debug seviyesi loglamayı işaretler.
  • Log ingestion hızına alarmlar artı tabanın %120'sinde bütçe uyarıları — akut olay faturada ortaya çıkmak yerine daha ilk gün bizi uyandırırdı.
  • Haftalık maliyet anomali incelemesi. Kasıtlı olarak sıkıcı; alarmların kaçırdığı her şeyi yakalayan alışkanlık. Harcamayı gözlemlenebilirlik ve AIOps pratiğimizde tam da bu nedenle birinci sınıf bir sinyal olarak ele alıyoruz.

Sonuç: ayda kabaca $50.000'dan ayda $3.200'e, öncekinden daha iyi sinyalle. Daha geniş playbook bulut maliyet düşürme rehberimizde.

Ders: Loglar gigabayt başına fiyatlanır; log satırını göndermeden önce çarpma işlemini yapın. Unutulmuş tek bir debug satırı bir mühendisin maaşından pahalıya mal olabilir.

← Çıkarılan Dersler'e dön

Bu tür olaylar önlenebilir. AWS Yönetilen Hizmetler ekibimiz müşteri ortamlarını yapay zekâ destekli izleme ve nöbetteki kıdemli mühendislerle 7/24 gözetir — böylece bu tür hikâyeler arşivde kalır.

Etiketler: #AWS #MaliyetOptimizasyonu #Loglama #İzleme