Weltweiter Ausfall (09.01.2025) von Proton durch Kubernetes-Migration und Softwareänderung!

Weltweiter Ausfall (09.01.2025) von Proton durch Kubernetes-Migration und Softwareänderung!

Das Schweizer Technologieunternehmen Proton, das datenschutzorientierte Online-Dienste anbietet, sagt, dass ein weltweiter Ausfall am Donnerstag durch eine laufende Infrastrukturmigration zu Kubernetes und eine Softwareänderung verursacht wurde, die einen anfänglichen Lastanstieg auslöste.

Dies überlastete die Infrastruktur von Proton und machte es uns unmöglich, alle Kundenverbindungen zu bedienen. Während Proton VPN, Proton Pass, Proton Drive/Docs und Proton Wallet schnell wiederhergestellt wurden, blieben die Probleme bei Proton Mail und Proton Calendar länger bestehen. Bei diesen Diensten schlugen während des Vorfalls etwa 50 % der Anfragen fehl, was dazu führte, dass der Dienst für einige Benutzer zeitweise nicht verfügbar war (der Dienst schien von Minute zu Minute abwechselnd hoch und runter zu sein).

Normalerweise hätte Proton genügend zusätzliche Kapazität, um diese Last zu absorbieren, während wir das Problem beheben, aber in den letzten Monaten haben wir unsere gesamte Infrastruktur auf eine neue auf Kubernetes-Basis migriert. Dies erfordert, dass wir zwei parallele Infrastrukturen gleichzeitig betreiben, ohne die Möglichkeit zu haben, die Last problemlos zwischen den beiden sehr unterschiedlichen Infrastrukturen zu verschieben. Während alle anderen Dienste auf die neue Infrastruktur migriert wurden, befindet sich Proton Mail noch mitten im Migrationsprozess.

Aus diesem Grund konnten wir die Kapazität nicht automatisch skalieren, um den massiven Lastanstieg zu bewältigen. Insgesamt haben wir ungefähr zwei Stunden gebraucht, um wieder den Zustand zu erreichen, in dem wir 100 % der Anfragen bearbeiten konnten, wobei die Benutzer bis dahin eine Leistungseinbuße hinnehmen mussten. Der Dienst war verfügbar, jedoch nur zeitweise. Die Leistung wurde in der zweiten Stunde des Vorfalls erheblich verbessert, es dauerte jedoch eine weitere Stunde, bis die Problematik vollständig behoben war.

Hinweis:

Die vollst. Migration von Proton Mail sollte in den nächsten Stunden abgeschlossen sein. Bis dahin kann es noch zu temporären Störungen kommen!

Vielen Dank für die Info, das war mir auch noch komplett neu.