Als het brandalarm gaat…

Als het brandalarm gaat…

10-06-2008 12:24:40

Het is vrijdagochtend 6 juni 2008, de eerste medewerkers van BIT zijn net op kantoor. Om 8.01 uur gaat het early warning system van de brandblusinstallatie in het datacenter BIT-2 af. De koelinstallatie in de serverruimte wordt hierdoor automatisch uitgeschakeld omdat het branddetectiesysteem bij hoge luchtcirculatiesnelheid niet correct brand kan detecteren.

Om 8.03 uur detecteren 2 rookmelders in het datacenter brand. Het pand wordt ontruimd en de brandblusinstallatie wordt automatisch in werking gesteld: 32 blusflessen met ieder een mix van 22700 liter stikstof en argon (IG-55) worden binnen 15 seconden geleegd in de serverruimte, waardoor het zuurstofniveau in de ruimte tot +/- 12% daalt, wat de brand doet uitdoven. Door het branddetectiesysteem wordt automatisch alarm geslagen bij de brandweer, zoals uit de melding blijkt:

08:03:31 06-06-08 Prio 1 OMS Brandmelding O0051 BIT B.V.(INTERNET TECHNOLOGIE GALILEILAAN 19 EDE

Om 8.11 uur arriveert de brandweer. Met gasmaskers op betreden zij de serverruimte. Daar constateren zij dat er geen brand meer is maar wel veel rookontwikkeling: de blusinstallatie heeft zijn werk goed gedaan en dat het zuurstofpercentage in de serverruimte gedaald is tot 12%. De brandweer voert een aantal metingen uit om te bepalen of er weer voldoende zuurstof in de ruimte is, waarna zij om 8.36 uur toestemming geven om de koeling in de serverruimte weer in te schakelen. De ruimtetemperatuur was door het uitzetten van de koeling in 35 minuten met +/- 10 graden gestegen naar 30 graden. Om 9.06 uur geeft de brandweer BIT medewerkers toestemming om de ruimte weer te betreden. Er wordt gezocht naar de brandhaard. Er wordt een ATS met sporen van kortsluiting gevonden in één van de racks. Deze ATS wordt als oorzaak van de brandmelding aangewezen. Wegens de tijdelijk opgelopen temperatuur zijn er diverse klanten met machines die (automatisch) uitgeschakeld zijn, een aantal van deze klanten komt zelf op locatie om hun apparatuur in te schakelen en te inspecteren. Om 10.14 uur is de temperatuur in het datacenter weer binnen de specificaties.

Om 11.47 uur meldt het early warning system opnieuw een mogelijke brand. Het kantoor wordt ontruimd. Het early warning system heeft opnieuw het koelsysteem uitgeschakeld, waardoor de temperatuur in de serverruimte weer stijgt. De bedrijfshulpverleners inspecteren het datacenter en constateren rookontwikkeling in een rack van een klant. Dit rack wordt spanningsloos gemaakt, de server is geblust met handblussers. De rookontwikkeling is aanzienlijk minder dan eerder op de ochtend, waardoor de brandmelders geen brand geconstateerd hebben en er geen doormelding naar de brandweer plaatsgevonden heeft. Hierna wordt de koeling weer aangezet.

Na een inspectie van de bedrijfshulpverleners kan om 11.56 uur het personeel weer het kantoor in en wordt de koeling weer gestart. In de paar minuten dat de koeling uitstond is de temperatuur in de serverruimte ongeveer 4 graden gestegen. Om 12.20 uur is de temperatuur weer binnen specificaties.

Nadere inspectie van het rack waar de tweede brandmelding plaatsvond leverde een doorgebrande voeding in een server op. Verder bleek uit analyse van onze stroommetingen dat de ATS die wij na de eerste brandmelding aantroffen pas ruim na het brandalarm (rond 9.15 uur) doorgebrand is. Deze is dus niet de oorzaak geweest van de eerste brandmelding.

Uit een gesprek met de klant van wie het rack met de doorgebrande server was bleek dat de betreffende server al na de eerste brandmelding problemen had met de voeding en dat deze klant op het moment van de tweede brandmelding de server opnieuw aan probeerde te zetten, waarna het vooralarm afging.

Na het eerste brandalarm en de daaropvolgende blussing waren de flessen met blusgas leeg. Uiteraard is direct contact opgenomen met de leverancier van onze blusinstallatie om deze opnieuw te laten vullen. Helaas kost het vervangen van al deze flessen veel tijd: zaterdag rond 18.50 uur was de blusinstallatie weer volledig operationeel. Tot die tijd heeft de brandmeldinstallatie uiteraard wel gewoon gewerkt. Tevens zijn engineers van BIT in ploegendienst aanwezig geweest om periodieke inspecties uit te voeren en in het geval van een vooralarm actie te ondernemen met behulp van handblussers.

Conclusies

Uit de gebeurtenissen is gebleken dat de branddetectie en blusinstallatie in het BIT-2 datacenter goed functioneren. Ondanks de brandmelding zijn de stroomvoorziening en de netwerkfaciliteiten in het datacenter niet onderbroken. De oorzaak van beide brandmeldingen was een defecte server van een klant. De blussing met een handblusser is door een bedrijfshulpverlener goed uitgevoerd. Helaas is er door de stijging van de temperatuur in de serverruimte wel schade aan hardware (met name harddisks) ontstaan.

Uiteraard gaat er nog een uitgebreide evaluatie met alle betrokken BIT-medewerkers plaatsvinden. Hoewel er bij de brandweer een aanvalsplan op maat aanwezig is, hebben wij gezamenlijk geconstateerd dat er nog verbeteringen mogelijk zijn. Er zal daarom ook met de brandweer een evaluatie plaatsvinden en waarschijnlijk zullen wij ook een gezamenlijke brandoefening gaan doen.

Wilt u meer weten?

Mocht u naar aanleiding van dit bericht nog vragen of opmerkingen hebben, dan kunt u contact opnemen met onze afdeling Customer Care info@bit.nl of 0318 648 688.