Laut Microsoft wurde der Ausfall während einer planmäßigen Gerätewartung in der Azure-Region West US ausgelöst. Dort sollten bestimmte Netzwerkpfade isoliert werden. Das Wartungsverfahren übersetzt solche Anfragen nach Unternehmensangaben in maschinenlesbare Anweisungen und prüft vor Beginn der Arbeiten, dass mindestens einer von zwei redundanten Pfaden funktionsfähig bleibt. Ein Fehler in diesem Konvertierungssystem markierte jedoch zusätzliche Netzwerkgeräte fälschlich als Bestandteil des Wartungsereignisses.
Die Folge war, dass mehr IP-Routen als vorgesehen zwischen dem Microsoft-Rechenzentrum in West US und dem Weitverkehrsnetz entfernt wurden. Microsoft zufolge störte das den ein- und ausgehenden Netzwerkverkehr der Region West US. Datenverkehr, der vollständig innerhalb der Region verblieb, sei dagegen nicht betroffen gewesen.
Der Vorfall begann um 10:44 Uhr ET. Um 11:11 Uhr ET verzeichnete Downdetector 2.403 Ausfallmeldungen und damit deutlich mehr als den üblichen Basiswert von 29. Auf SharePoint entfielen 78 Prozent der Beschwerden, auf Excel 11 Prozent und auf das Microsoft 365 Admin Center 6 Prozent.
Microsoft führte den Microsoft-365-Ausfall unter der Incident-ID MO1437424. Betroffen waren nach Unternehmensangaben mehrere Microsoft-365-Dienste sowie Fabric und Power BI, Power Apps, Copilot Studio, Windows 365 und Microsoft Defender. Bei einigen Defender-Kunden kam es zu Verzögerungen bei Antworten von Microsoft Defender Experts. Außerdem konnten Untersuchungen, Arbeitsabläufe und Abhilfemaßnahmen fehlschlagen, die über Threat Explorer und Advanced Hunting ausgelöst wurden.
Auch zahlreiche Azure-Dienste waren von dem Netzproblem betroffen. Microsoft nannte unter anderem Azure App Service, Application Gateway, Azure AD B2C, Azure AI Search, Azure API Management, Azure Cosmos DB, Azure Databricks, Azure Firewall, Azure Kubernetes Service, Azure Monitor, Azure Virtual Desktop, ExpressRoute, Log Analytics, Microsoft Graph, Microsoft Sentinel, Power BI Embedded, Virtual WAN und VPN Gateway. Der Azure-Vorfall führte laut Microsoft zu Verbindungsfehlern, erhöhter Latenz und Problemen beim Zugriff auf verschiedene Cloud-Dienste.
Die Ingenieure des Unternehmens begannen unmittelbar nach Beginn des Ausfalls mit der Untersuchung. Zunächst zeigte sich das Problem als großflächige Routenänderungen im Weitverkehrsnetz von Microsoft. Später führten die Analysen zu einem Rechenzentrum in der Region West US und verknüpften die entfernten Routen mit den kurz zuvor vorgenommenen Wartungsarbeiten.
Microsoft versuchte anfangs, die Störung durch eine Umleitung des Datenverkehrs über alternative Netzwerkpfade abzumildern. Das half nach Unternehmensangaben einigen Kunden, viele Dienste blieben aber weiter beeinträchtigt. Bevor die Ursache feststand, warnte Microsoft Kunden zudem, dass sie ihre Pläne zur Geschäftskontinuität und Notfallwiederherstellung prüfen und gegebenenfalls an ihre jeweilige Umgebung angepasste Maßnahmen ergreifen müssten.
Um 13:45 Uhr ET leitete Microsoft die Rücknahme der Wartungsänderung ein, abgeschlossen war sie um 14:26 Uhr ET. Dadurch wurde die betroffene Netzwerkinfrastruktur wiederhergestellt, und Microsoft-365-Dienste konnten sich erholen. Einige Azure-Dienste benötigten auch danach noch Zeit zur Wiederherstellung; laut Microsoft waren schließlich um 15:41 Uhr ET alle betroffenen Dienste vollständig wiederhergestellt.
Das Unternehmen führt nun nach eigenen Angaben eine vollständige interne Überprüfung der Sicherheitsprüfungen und der automatisierten Prozesse durch, mit denen Wartungsanfragen ausgeführt werden. Microsoft erklärte dazu: „Wir werden eine vollständige Analyse durchführen, die sich auf Sicherheitsprüfungen, den automatisierten Änderungsprozess für Wartungsanfragen und weitere Punkte konzentriert, während wir unsere interne Nachbetrachtung nach der Eindämmung fortsetzen.“ Einen abschließenden Post Incident Review will das Unternehmen nach Abschluss der Untersuchung veröffentlichen, üblicherweise innerhalb von 14 Tagen.