Hey Community,

wir möchten euch über eine vorübergehende Änderung an unserer Rechenzentrumskonfiguration informieren, die aufgrund akut aufgetretener Kapazitätsprobleme seitens Microsoft in den deutschen Azure-Rechenzentren notwendig geworden ist. 


Was ist passiert? 

Im Verlauf des Montags (03.07.23) hat unser Operations-Team stark erhöhte Last auf den Anwendungsservern (Azure App-Service-Instanzen) der smapOne-Plattform festgestellt. Eine Analyse ergab, dass die automatische Hochskalierung auf weitere Azure App-Service-Instanzen, mit denen wir den im Tagesverlauf stark schwankenden Leistungsanforderungen durch Kundennutzung im Regelbetrieb begegnen, nicht möglich war. Microsoft hat keine weiteren Instanzen bereitgestellt. Nach Eskalation bei Microsoft bestätigte deren Support den Sachverhalt aufgrund von akuten Kapazitätsengpässen bei Microsoft und informierte uns, dass eine endgültige Behebung dieser Engpässe zwischen Juli und September zu erwarten sei. 

 

Welche Entscheidung haben wir getroffen? 

Aufgrund der eingeschränkten Skalierbarkeit war ein angemessener Betrieb der smapOne-Plattform ausschließlich im Azure-Rechenzentrum (“Region Germany West Central”) nicht mehr sicherzustellen. Akute Performanceprobleme zwangen uns zu schnellem Handeln. Eine Nutzung des zweiten in Deutschland vorhandenen Azure-Rechenzentrums (“Region Germany North”) stand nicht zur Option, da Microsoft hier noch im Aufbau ist und nicht alle benötigten Dienste anbietet. Freie Kapazität stand im RZ in den Niederlanden (“Region West Europe”) zur Verfügung. Nach Prüfung eventueller Risiken in Bezug auf IT-Sicherheit und Datenschutz sind wir zum Ergebnis gekommen, dass aufgrund identischer Voraussetzungen in den beiden Datenzentren und der Integration aller Systeme in geschützte virtuelle Netzwerke auch bei vorübergehender Nutzung der Rechenzentren in Deutschland und den Niederlanden parallel keine relevanten zusätzlichen Risiken auftreten.  

Im Interesse des ordnungsgemäßen Weiterbetriebs der smapOne-Plattform haben wir daher beschlossen, für die Dauer der Kapazitätsengpässe im deutschen Rechenzentrum bei erhöhtem Leistungsbedarf auch auf zusätzliche Anwendungsserver (Azure App-Service) im RZ “Region West Europe” in den Niederlanden zuzugreifen.  

 Aktuell – und bis auf Weiteres – werden daher bei erhöhtem Leistungsbedarf der Plattform auch Azure App-Service-Instanzen in den Niederlanden genutzt. Die datenhaltenden Systeme verbleiben jedoch komplett in Deutschland, hier treten keine Skalierungsprobleme auf. Die Verarbeitung von Daten durch die Anwendungsserver kann jedoch derzeit auch über Systeme im Azure-Rechenzentrum in den Niederlanden erfolgen. 

Wir arbeiten gemeinsam mit Microsoft daran den Serverbetrieb im deutschen Rechenzentrum wieder dauerhaft und zuverlässig zu gewährleisten und werden die Nutzung der Systeme in den Niederlanden umgehend einstellen, wenn ein zuverlässiger Plattformbetrieb in Deutschland wieder gewährleistet ist.  

 

Uns war wichtig, euch darüber zu informieren und bestmöglich für Transparenz zu sorgen!

Update: Die Kapazitätsprobleme im Rechenzentrum Frankfurt (“Germany West Central”) haben sich im Laufe des Dienstagnachmittags gelegt. Wir sind in der Folge wieder komplett auf den Betrieb in Deutschland gegangen. Da wir noch keine ausreichende Sicherheit haben, dass die Probleme in den nächsten Tagen nicht erneut auftreten, halten wir uns die Möglichkeit im Interesse des reibungslosen Plattformbetriebs noch offen, bei Bedarf erneut auf das RZ in den Niederlanden (“Europe West”) zurückzugreifen.