A Microsoft vezetőjének incidensmagyarázata szerint egy július óta észrevétlen szoftverhiba, egy rutinművelet és a kieső szerverkapacitás együtt bénította meg a Microsoft 365 szolgáltatásait november 12-én. A globális üzemzavar során kevesebb mint két óra alatt a hálózati átjárók több mint 80 százaléka vált működésképtelenné, a Microsoft nem vette észre időben a hibát és hatástalannak bizonyultak a helyreállítási mechanizmusai is.
De kezdjük a legelején, több mint három hónapon keresztül hibátlanul működött a Microsoft 365 hálózati infrastruktúrájának egy júliusban bevezetett frissítése. A módosítás átesett a szokásos tesztelési és fokozatos bevezetési eljárásokon, majd világszerte működésbe lépett anélkül, hogy bármilyen problémát észleltek volna. Egészen november 12-éig, amikor a csillagok állása és a körülmények úgy alakultak, hogy az addig alvó hiba olyan dominóhatást indított el, amivel közel 24 órára megbénították a vállalati levelezést, valamint számos kapcsolódó felhőszolgáltatást.
Charles Lamanna, a Microsoft Copilotért, AI-ügynökökért és platformokért felelős ügyvezető alelnöke részletes magyarázatot adott a történtekre. Lényege, hogy a szolgáltatás összeomlását nem egyetlen rendkívüli esemény, hanem három egymást erősítő probléma idézte elő.
Ott volt először is a júliusi szoftvermódosítás. A Microsoft 365 hálózati átjáróihoz készített javítás bizonyos terhelési körülmények között úgynevezett lock contention hibát okozott. Ez akkor fordul elő, amikor több párhuzamosan futó folyamat ugyanazokra az erőforrásokra várakozik, akadályozva egymás működését. A szerverek processzor- és memóriakapacitása ilyenkor fokozatosan kimerülhet, a gépek pedig végül képtelenné válnak a beérkező kérések kiszolgálására.
A Microsoft utólag elismerte, hogy a tesztelési környezet nem megfelelően modellezte a tényleges infrastruktúrát. A terheléses vizsgálatokat elsősorban kisebb teljesítményű, kevesebb processzormaggal rendelkező szervereken végezték. A hiba azonban éppen az újabb, nagyobb magszámú hardvereken jelentkezett erőteljesebben. A tesztekben alkalmazott forgalom összetétele is különbözött az éles rendszerben tapasztalttól. Így a hibás kód több mint három hónapon keresztül minden rossz előjel nélkül működhetett.
A második tényező november 11-én jelentkezett. Mintegy 15 órával az üzemzavar előtt a Microsoft Teams forgalma egy alternatív hálózati átjáróról átkerült az elsődleges infrastruktúrára, amely az Exchange Online működését is támogatta. Ebben nincs semmi rendkívüli, egy sima üzemeltetési műveletről van szó. A Microsoft két egymástól független átjárórendszert tart fenn, hogy meghibásodás esetén a szolgáltatások átterhelhetők legyenek. Most azonban a Teams forgalmának áthelyezése jelentősen megváltoztatta az elsődleges átjárók terhelését.
A harmadik probléma egy előző napi, mindentől független üzemzavarhoz kapcsolódott. Emiatt a hálózati átjárók szerverkapacitásának csaknem 14 százaléka átmenetileg nem állt rendelkezésre. Bár a Microsoft szerint bár a rendszer elegendő tartalékkal rendelkezett ahhoz, hogy ezt önmagában kezelje, a valóságban a megnövekedett terhelés és a csökkent kapacitás együtt már aktiválta a július óta lappangó szoftverhibát.
A három eset kicsúcsosodott abban, hogy az USA csúcsforgalmi időszakában a kérések feltorlódtak, a szerverek pedig egymás után váltak elérhetetlenné. A helyzetet súlyosbította, hogy a Microsoft automatikus hibatűrési mechanizmusa a meghibásodott szerverek forgalmát a még működő gépekre irányította át. Ez normál esetben éppen a szolgáltatáskiesés megakadályozását segítené, csakhogy minden szerver ugyanazzal a hibás szoftverrel működött. Az átirányított forgalom ezért újabb gépeken váltotta ki ugyanazt a problémát. Ahogy egyre kevesebb szerver maradt üzemben, a fennmaradókra még nagyobb terhelés jutott. A meghibásodás láncreakcióként terjedt tovább. Kevesebb mint két óra alatt a hálózati átjárók több mint 80 százaléka vált válaszképtelenné.
A redundancia önmagában nem elegendő, ha a tartalék rendszerek ugyanazt a szoftverhibát tartalmazzák, vagy a forgalom átirányítása tovább súlyosbítja a problémát.
A Microsoft természetesen fel van arra készülve, hogy egy lokális meghibásodás ne terjedhessen tovább, de a körülmények miatt a láncreakció elszabadult és a kiesés globálissá vált. A Teams, a OneDrive, a SharePoint és az Office-alkalmazások egyes szolgáltatásai képesek voltak más infrastruktúrára átterhelődni, ezért hamarabb helyreálltak. Az Exchange Online azonban nem tudta ugyanilyen módon elkerülni a hibás hálózati átjárót, így a vállalati levelezés különösen súlyosan érintett maradt.
Semmi spam, csak napi 2-3 értesítés Viberen, hogy képben maradj a játék- és filmvilág, a geek kultúra legérdekesebb híreivel.
Ez már önmagában is katasztrófa, de csak ezután jött a hab a tortára. A helyreállítás során újabb akadály jelentkezett, amikor a mérnökök újraindítottak egy szervert, a felhalmozódott kérések azonnal túlterhelték, és a gép ismét működésképtelenné vált. A szakirodalomban thundering herd néven ismert jelenség miatt a szolgáltatás visszaállítása így jóval bonyolultabbá vált, sőt a hagyományos visszaállítási eljárások sem segítettek. Mivel a hibás frissítést már júliusban bevezették, a korábbi szoftverváltozatok visszaállítására és a funkciók kikapcsolására szolgáló mechanizmusokkal sem lehetett gyorsan megszüntetni a problémát. A Microsoft mérnökei végül külön javítást készítettek, amellyel visszaállították a korábban megfelelően működő kódot. A szervereket csoportosan kivonták a forgalomból, frissítették, újraindították, majd fokozatosan visszakapcsolták.
A november 12-én magyar idő szerint 17:20-kor kezdődő incidens november 13-án 17:10-kor ért véget. A Microsoft hangsúlyozta, hogy a meghibásodás nem kibertámadás következménye volt, és a hiba nem érinti az általános Windows-telepítéseket.
Milyen tanulságokat vonhatunk le az esetből?
Egyrészt azoknál a szervezeteknél, amelyek a levelezést, dokumentumkezelést és belső kommunikációt egyetlen felhőszolgáltatóra építik, egy közös infrastruktúraelem kiesése egyszerre több üzleti folyamatot is megbéníthat.
Másrészt, most aztán egészen jól láthatóvá vált, hogy az IT-fejlesztésben és az IT-üzemeltetésben egészen más a hibák következménye és a felelősség súlya.
Az IT-fejlesztésben a hibák a munkafolyamat természetes velejárói. A programkód tesztelhető, javítható, új verzió készíthető, és megfelelő eljárásokkal a hibás módosítás visszavonható. A fejlesztés során tehát van lehetőség a korrekcióra, ideális esetben még azelőtt, hogy a hiba az ügyfeleket érintené.
Az IT-üzemeltetésben viszont már éles rendszerekkel dolgoznak, amelyekre vállalatok, intézmények és felhasználók támaszkodnak. Egy hibás beavatkozás azonnali szolgáltatáskiesést, adatvesztést vagy üzleti kárt okozhat. Itt már nem elegendő az utólagos hibajavítás vagy a bocsánatkérés, mert a kiesett idő és az abból eredő veszteség nem feltétlenül hozható helyre.
A Microsoft-incidensre vetítve különösen érdekes ez, hiszen a fejlesztési hiba és az üzemeltetési körülmények együtt vezettek a globális leálláshoz. A júliusi szoftverhiba önmagában hónapokig nem okozott problémát. A novemberi forgalomátterelés, a csökkent szerverkapacitás és a hibát továbbterjesztő automatikus mechanizmusok együtt viszont már katasztrofális következményekkel jártak.
Tény, hogy az üzemeltetési hibák sem mindig visszafordíthatatlanok, és a fejlesztési hibák is okozhatnak súlyos károkat, ami a lényeg itt inkább, hogy míg a fejlesztésben a hibát javítják, az üzemeltetésben viszont a hiba következményeit is viselni kell.
Bár a végleges incidensjelentés még további részletekkel szolgálhat, amit ma zsebre tudunk tenni ebből az az, hogy a felhőszolgáltatások megbízhatóságát nemcsak a szerverek száma és a tartalékkapacitás határozza meg. Legalább ennyire fontos az éles környezetet megfelelően modellező tesztelés, a hibák terjedésének megakadályozása és a valóban működőképes helyreállítási eljárás is.
More details on the root cause can be found in the Microsoft 365 Admin center, and an abridged version can be found below. We are deeply sorry for the impact to all our customers and recognize the impact that this has on their normal business & operations. The incident on Thursday, November 12th, 2026, was caused by three main factors that together caused a global outage for the networking gateway that fronts many Microsoft 365 services. First, a latent defect caused servers to become overwhelmed and unresponsive under certain load conditions. This was due to lock contention inside an internal process which caused the machine to become unavailable. This defect was the result of a fix that was prepared specifically for Microsoft 365 networking gateway servers; neither the underlying defect nor the fix applies to broader Windows deployments. The initial change in behavior first started deployment in July of this year. The update went through safe deployment and saturated globally over several weeks, during which time no issues were observed. For more than three months, the change was deployed worldwide without impact. Our normal load testing did not detect the latent issue because the different traffic and SKU mix used in our test labs. The contention issue is worsened on machines with more cores and newer hardware; whereas our load testing tended to focus on our weaker hardware SKUs with fewer cores. Second, a surge in load increased the likelihood for the networking gateways to encounter the contention. Within Microsoft 365, we maintain two independent and heterogenous network gateway systems designed for isolation and high availability. This allows many Microsoft 365 services to fail to/from them during outages or disruptions. Approximately fifteen hours before the outage, Teams failed over from the alternative networking gateway to the ‘primary’ gateway that also supports Exchange Online. This increased the load on the networking gateway and changed its traffic patterns. This type of failover is part of normal operations and is integral to standard Microsoft resiliency efforts. Third, at the same time, nearly 14% of server capacity for the networking gateway was out of service due to an unrelated issue from the previous day. This server capacity was on track to be returned to active service through routine maintenance and health processes. The service had sufficient capacity headroom, so the reduction in server capacity had no impact on its own. Taken together, the increased load and the reduced server capacity, caused the network gateway to encounter the latent bug from July. This caused requests to build up until servers ultimately stopped responding. This occurred during the peak window of traffic in the United States. When servers lose connectivity, our traffic management systems automatically route users to other healthy endpoints. This happens often and is critical to avoiding any interruption due to hardware, software, or network defects and is normally what makes the service resilient. However, the redirected traffic increased the likelihood for the same problem to occur on the remaining endpoints. This caused a cascading failure from server to server as the same amount of load was spread across fewer servers. In less than two hours, the previously unknown defect was encountered across our fleet and rendered them unresponsive. At its lowest, more than 80% of servers were unresponsive. Normally, the network gateway is composed of thousands of ‘capacity units’ which represent shards of capacity, hardware, and networking infrastructure. These ‘capacity units’ are then organized into regions. In this case, due to a separate issue, the normal bulkheads between these different partitions did not stop the cascading failure. This is what allowed the impact to spread across our network gateway infrastructure globally. Several services like Teams, OneDrive, SharePoint, and Office apps failed out of the faulty network gateway infrastructure. That is why those services were restored earlier, with Teams chats and meetings functioning without issue for most of the outage. But not all services, like Exchange Online, can fail out of this network gateway. Recovery took longer than usual because as servers returned to service, they were immediately overwhelmed by waiting traffic and became unresponsive again. Our normally automated recovery processes were not designed to restore service from this broad unresponsive state. Additionally, since the main code defect was a latent bug from several months previous, our normal rollback, flighting, and feature flags were unable to quickly revert the change. After engineers confirmed the defect as the cause, we developed an update that returned the code path to the previously known good state. To effectively apply this fix, and to slowly bring the service online again, we took groups of servers out of service, applied the change, and restarted them before returning them to service. This process was carefully applied to large quantities of infrastructure at a time (e.g. 50%+ of a region). The final Post-Incident Review (PIR) will provide more details later this week.
— Charles Lamanna (@clamanna) November 16, 2026