Netwerkstoring

Netwerkstoring

25-02-2016 12:02:31 - 25-02-2016 18:00:00
Status: opgelost

Sinds een aantal minuten krijgen wij berichten binnen die er op duiden dat er een verstoring in ons netwerk is. Engineers zoeken naar de oorzaak ervan. Zodra er meer bekend is melden we dat op onze site.

Update geplaatst om 12.17

De verstoring lijkt veroorzaakt te worden door problemen met één van onze core routers. Het kan hierdoor voorkomen dat verbindingen soms wel en soms niet werken. Er wordt nog onderzoek gedaan.

Update geplaatst om 12.23

Het probleem is gevonden en de oplossing hiervoor wordt nu uitgerold.

Update geplaatst om 12.37

De oplossing lijkt nog niet alle problemen op te lossen, er wordt verder onderzoek gedaan.

Update geplaatst om 13.02

De storingsmelding gaat verder op www.bit.org omdat www.bit.nl niet voor iedereen bereikbaar is.

Update geplaatst om 13.10

Eén van de core routers is nu uitgeschakeld. Dat verbetert de problemen, maar zorgt er voor dat het netwerk verminderd redundant is.

Update geplaatst om 13.14

Het uitzetten van de router zorgt ervoor dat ons gehele netwerk weer bereikbaar is. Vooralsnog zullen updates over dit probleem op deze site geplaatst worden.

Update geplaatst om 14.10

Klanten met internet verbindingen op glasvezel netwerken (NDIX, Eurofiber, etc.) kunnen nog problemen ondervinden.

Update geplaatst om 14.30

Internet verbindingen op glasvezelnetwerken zijn ook weer werkzaam.

Update geplaatst om 14.40

De uitgeschakelde router zal stap voor stap weer online gebracht en in productie gebracht worden. Na voltooiing is het netwerk weer volledig redundant.

Update geplaatst om 17.30

Door een menselijke fout in het aanpassen van de configuratie van een van onze core routers ontstond er een probleem met de routering naar een deel van het netwerk van BIT: dit verkeer werd niet doorgestuurd maar werd weggegooid. Engineers detecteerden deze configuratiefout snel en deze is hersteld. Als gevolg trad er echter een nieuw probleem op: de processor van de router die verantwoordelijk is voor het afhandelen van wijzigingen in routetabellen werd overbelast. Hierdoor ontstond een situatie waarin routetabellen niet meer correct bijgewerkt werden, waardoor de router ten onrechte dacht delen van het internet en het BIT-netwerk te kunnen bereiken terwijl dit niet het geval is. Als noodmaatregel hebben engineers van BIT uiteindelijk al het verkeer van deze router weggeleid en daarna zeer geleidelijk en gecontroleerd weer teruggebracht.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.