Spot-Instance-Desaster am Black Friday
„Spot Instances sparen bis zu 90%!“ — das ist die Marketing-Obergrenze; 60–70% haben wir tatsächlich gesehen. Trotzdem echtes Geld. Bis alle 50 davon während einer Traffic-Spitze zurückgezogen werden.
Black-Friday-Timeline:
- 06:00 - Traffic beginnt zu steigen
- 08:00 - Autoscaling fügt Spot Instances hinzu
- 10:00 - Alle Systeme nominal
- 11:30 - AWS zieht 50 Spot Instances gleichzeitig zurück
- 11:31 - Autoscaling versucht, On-Demand hochzufahren (zu etwa dem 3-Fachen unseres Spot-Preises)
- 11:32 - Unzureichende Kapazität in unserer AZ
- 11:33 - 15 Minuten Teilausfall
Das Problem:
Wir liefen zu 100% auf Spot, um Kosten zu sparen. Keine Basis aus On-Demand-Instanzen, ein einziger Instanztyp in einer einzigen AZ, und nichts, das auf Interruption-Warnungen lauschte. Als AWS die Kapazität zurückbrauchte, hatten wir keinen Fallback.
Was wir behoben haben:
- Basis: 30% On-Demand für garantierte Kapazität
- Spot Fleet über Instanztypen und AZs diversifiziert, mit der Allokationsstrategie price-capacity-optimized, damit die Fleet aus den tiefsten Kapazitätspools schöpft
- Die 2-Minuten-Interruption-Notice und EC2-Rebalance-Empfehlungen verarbeiten: Verbindungen drainen, vom Load Balancer deregistrieren und Ersatz proaktiv starten
- Graceful Degradation, wenn Kapazität knapp ist
Den richtigen Mix aus On-Demand, Spot und Savings Plans für ein gegebenes Workload-Profil zu finden, ist tägliches Brot in der Cloud-Kostenoptimierung — der Rabatt ist nur echt, wenn Sie die Interruptions überleben.
Lektion: Spot für Batch-Jobs? Perfekt. Spot zum Ausliefern von Produktions-Traffic ohne Fallback? Das ist Glücksspiel.
Incidents wie dieser sind vermeidbar. Unser AWS Managed Services-Team überwacht Kundenumgebungen 24/7 mit KI-gestütztem Monitoring und Senior Engineers am Pager — damit Geschichten wie diese im Archiv bleiben.