Сметката за AWS скочи с 400% за една нощ. Причина: debug логване, внедрено в production.

Верига от събития:

  • Разработчик добави debug логване за разследване
  • Разследването завърши, логването остана
  • PR прегледът го пропусна
  • Горещ код път: 50K заявки/секунда
  • Всяка заявка: 3 реда debug логове
  • CloudWatch ingestion: 💸💸💸

Математиката:

  • 50K req/sec × 3 лога × 500 байта = 75MB/sec
  • 75MB/sec × 86,400 sec/ден = 6.5TB/ден
  • CloudWatch ingestion: $0.50/GB = $3,250/ден

Какво внедрихме:

  • CI проверка за debug log модели в production код
  • CloudWatch аларми за скокове в темпа на log ingestion
  • Седмични прегледи за аномалии в разходите
  • Budget известия при 120% от базовата линия

Урок: Един console.log() може да струва повече от заплатата на junior разработчик.

← Назад към Научени Уроци

Етикети: #Logging #CostOptimization #Debugging #Cloud