BIT's nieuwe access-netwerk

BIT's nieuwe access-netwerk

10-07-2018 11:52:36

Het netwerk van BIT is de afgelopen jaren hard gegroeid. Net als het aantal klanten en het bandbreedtegebruik. Hoog tijd dus om een aantal grote aanpassingen in het netwerk door te voeren, zodat voorzien kan worden in verdere groei. Door het toepassen van nieuwe technieken is het netwerk robuuster en makkelijker voor klanten (meerdere uplinks).

We kunnen twee delen onderscheiden in het netwerk: het core-netwerk, wat gebruikt wordt voor het transport tussen de diverse datacenters waar BIT verbindingen met het internet heeft, en het access-netwerk waarop klanten aangesloten zijn en waarop BIT diverse diensten levert.

Voor het core-netwerk geldt dat het snel en betrouwbaar moet zijn, met weinig complexiteit in de configuratie. Het access-netwerk moet behalve snel en betrouwbaar ook kunnen voorzien in de eisen en wensen van allerlei verschillende klanten. Het moet dus een brede diversiteit aan configuraties, protocollen en merken hardware kunnen ondersteunen.

Doelen voor een nieuw access-netwerk

In 2016 is er een project gestart om de vernieuwing van het access-netwerk in gang te zetten. Hierbij zijn een aantal doelen gedefinieerd:

  • De capaciteit van het netwerk moet verhoogd worden om in de groei aan bandbreedtebehoefte te kunnen blijven voorzien;
  • De beschikbaarheid van het netwerk moet verder verhoogd worden, óók bij DDoS-aanvallen;
  • We ondersteuning blijven bieden aan alle mogelijke wijzen waarop klanten nu gebruikmaken van het netwerk;
  • We willen nieuwe technieken kunnen toepassen om toekomstige diensten mee aan te bieden;
  • De mogelijkheid hebben om vaker gebruik te maken van automatisering om de configuratie van netwerkapparatuur te beheren.


In 2016 en 2017 is er uitgebreid bestudeerd welke mogelijkheden de diverse producenten van switches bieden om deze doelen te bereiken en is er met een vijftal merken getest. Uiteindelijk is er gekozen voor een oplossing op basis van Arista switches. Zij bieden met hun datacenterswitches een oplossing aan die ervoor zorgt dat de bovengenoemde doelen behaald kunnen worden. Uiteraard beschikken deze switches over meer poorten met een hogere capaciteit dan de oude switches.

Ontwerp van een nieuw netwerkdesign

Met de komst van de nieuwe switches moest er ook een nieuw netwerkdesign worden gemaakt waarin een aantal nieuwe technieken als VXLAN, L3VPN en streaming telemetry zijn toegepast. Hierover zal in een latere blogpost meer verteld worden. Het ontwerp van het nieuwe netwerk heeft een aantal grote veranderingen tot gevolg. In plaats van gebruik te maken van enkele grote switches met daarin blades waarop vele honderden klantpoorten aangesloten kunnen worden, wordt er nu gebruikgemaakt van een groot aantal kleinere switches. Dit heeft een paar voordelen: zo kunnen we makkelijker klanten redundant aansluiten zonder dat er verbindingen tussen verschillende datacenters nodig zijn en is de impact van een storing van één van de access switches veel kleiner. Ook maakt dit het makkelijker om switches beter door de serverruimte te verdelen, zodat bekabeling eenvoudiger is.

Maar natuurlijk levert een grotere hoeveelheid switches ook nieuwe uitdagingen op: er moeten meer switches beheerd worden, wat - als het allemaal handmatig gedaan zou worden - meer tijd kost en een hoger risico heeft op fouten. Er is daarom veel tijd geïnvesteerd in het verder automatiseren van het configureren van switches. Hierbij wordt intensief gebruik gemaakt van Ansible, een tool die automatisering van systemen mogelijk maakt. Het grote voordeel aan Ansible is dat het niet alleen voor Arista switches beschikbaar is, maar ook toegepast kan worden op Linux- en Windowsservers en netwerkapparatuur van diverse andere merken. Dit maakt integratie met andere systemen eenvoudiger, aangezien ook voor andere systemen en apparatuur hier al mee gewerkt werd.

Spine-leaf topologie

Na een uitgebreide ontwikkel- en testperiode is in januari 2018 het nieuwe access-netwerk in gebruik genomen waarbij spine-leaf topologie wordt toegepast. In BIT-1 en BIT-2A is een spine switch geplaatst, en in ieder datacenter een aantal leaf switches. De leaf switches worden gebruikt om klanten en servers van BIT hierop aan te sluiten en om verbindingen met de core routers van BIT te maken. De spine switches worden gebruikt om alle leaf switches aan elkaar te koppelen zonder dat iedere leaf switch één of meerdere verbindingen moet hebben met iedere andere leaf switch.

Spine leaf topologie
 

In de toegepaste topologie wordt altijd gewerkt in paren van leaf switches. In het diagram wordt deze topologie getoond, waarbij een flink deel van de leaf switches (o.a. die in BIT-2B en BIT-2C) voor simpliciteit weggelaten zijn.

Ieder paar is onderling via twee verbindingen verbonden, en iedere switch van het paar heeft een verbinding met beide spine switches. Op deze manier heeft iedere leaf switch vier verbindingen naar de rest van het BIT-netwerk. Ieder van deze verbindingen heeft een capaciteit van 40Gb/sec en alle vier de verbindingen kunnen tegelijk worden belast. Hierdoor is de capaciteit in het access-netwerk in zeer grote mate toegenomen. Uitval van een verbinding wordt razendsnel gedetecteerd, waardoor zonder merkbare onderbreking voor klanten, een verbinding weg kan vallen.

Om dit te demonstreren hebben we deze video gemaakt:
De twee grafieken tonen het inkomende en uitgaande verkeer tussen de twee spine switches en een set van twee leaf switches. Aan de rechterkant zien we een viertal terminalvensters. Het bovenste en derde venster tonen login shells op de twee leaf switches. Het tweede venster toont een pingcommando naar de publieke nameserver van Google (de IPv6-equivalent van het alom bekende 8.8.8.8) vanaf de eerste leaf. Het vierde venster toont een pingcommando naar 2600:: (Sprint.net, en een van de meest makkelijk te onthouden IPv6 adressen op het internet) vanaf de tweede leaf. Deze pingcommando's worden gebruikt om de bereikbaarheid van het internet te monitoren. Tijdens de video worden via commando's in het eerste en derde venster drie van de vier verbindingen die het paar van leaf switches heeft naar de spines één voor één uitgezet. Zonder onderbreking van de pings wordt verkeer omgeleid, zoals aan de grafieken te zien is. Het totale verkeersvolume blijft stabiel, maar de verdeling tussen de verbindingen verandert. Hierna worden de verbindingen weer aangezet, waarna de balans van het verkeer verandert naar de originele situatie.

Verhuizing naar het nieuwe netwerk

Na ingebruikname van het nieuwe netwerk zijn op de eerste plaats alle servers en diensten van BIT hiernaartoe verhuisd. Daarna is er begonnen met de verhuizing van de grote hoeveelheid klantverbindingen. Iedere verhuizing vereist een goede voorbereiding en moet uiteraard in een nachtelijk onderhoudsvenster uitgevoerd worden. Door alle controles voorafgaand aan en aansluitend op het fysiek omprikken van de aansluitingen van klanten, is het aantal te verhuizen klanten per nacht beperkt maar inmiddels is een flink aantal verbindingen verhuisd. Het zal nog wel enige tijd duren voordat het gehele oude netwerk uitgefaseerd is.

In een volgende blogpost zullen we verder ingaan op de technische details van de nieuwe set-up en welke nieuwe mogelijkheden dit klanten biedt.



Door: Teun Vink