Managed hosting door True

Grolsch worstelt en komt boven

Vakmanschap is Meesterschap

 

De vuurwerkramp in Enschede bracht ook zware schade toe aan de Grolsch-brouwerij, midden in de rampwijk. Gevolg: het hele ICT-systeem lag plat. Toch was er binnen 24 uur weer een netwerk de lucht. Een terugblik met hoofd informatisering Coen Thönissen.

Hij zat aan de wijn op een feestje bij familie toen het nieuws doorkwam. Het was in de loop van de avond, rond de klok van elf uur, toen iemand even de televisie aanzette om een blik te werpen op het Eurovisie Songfestival, dat die avond plaatsvond. Even kijken hoe Nederland het deed. Maar in plaats van show en glitter kwam een rokende puinhoop in beeld. Hé, dacht Coen Thönissen: ik ken dat daar. En dat was geen wonder, want wat hij zag was de wijk waar zijn werkgever Grolsch een grote brouwerij had staan.
Zaterdag 13 mei 2000 is een dag die Thönissen niet meer zal vergeten. Zoals hij ook de dagen en weken erna niet zal vergeten. "Ik had die zaterdag mijn mobieltje uitgezet. Vanaf het moment van de ramp hebben ze me geprobeerd te bereiken. Tevergeefs. Zodra ik het nieuws vernam, heb ik de financiële directeur, mijn directe baas gebeld. Ik zou de volgende ochtend naar de vergadering van het crisisteam gaan. En zo hebben we het gedaan." Thönissen is hoofd informatisering bij de Achterhoekse bierbrouwer Grolsch, een afdeling waar zo'n zestien mensen werken, en als zodanig onder andere verantwoordelijk voor een grote standaardiseringsoperatie, een jaar eerder in het bedrijf. Iets dat achteraf gezien een zegen is gebleken voor de bierbrouwerij. Maar daarover straks meer. Eerst die ramp, die enorme ramp, die aan 21 mensen het leven kostte, een kleine duizend mensen verwondde, een groot aantal huizen en bedrijven platsloeg, voor meer dan een miljard gulden aan schade berokkende. De Ramp, zoals sinds 13 mei in Enschede wordt gezegd.

Geen data verloren

Maar hoe erg de ramp ook was, Thönissen kwam zondagochtend om negen uur bij het crisisteam aan met één belangrijke missie, één taak die hij had te vervullen: zo snel mogelijk het ICT-systeem van Grolsch weer aan de praat krijgen. De situatie na de ramp was desastreus: de vestiging in Enschede was gedeeltelijk uitgebrand en daarnaast onbruikbaar. De hoofdcomputerruimte, waarin enkele servers stonden, had schade opgelopen; twee van de drie wanden rondom de ruimte waren kapot en delen van het plafond waren ingestort. Later volgde er nog rook- en waterschade aan de werkplekken op tal van plaatsen in het gebouw.
Op het moment dat het pand betreden mocht worden, konden de werkplekken, de servers en de andere apparatuur worden weggehaald om te laten schoonmaken. "Dat ga je niet zelf doen. Je gaat niet zelf een server van een miljoen gulden staan poetsen met een plumeau." Door het gehele gebouw waren - zo bleek achteraf - om en nabij de vijftig PC's onherstelbaar beschadigd. Het glasvezelnetwerk door het gebouw was deels verbrand en daarmee was het systeem onbruikbaar. Thönissen schat de uiteindelijke schade aan de apparatuur op zo'n half miljoen gulden. En dat valt nog mee, in vergelijking met de honderden miljoenen guldens die Grolsch in zijn totaliteit aan schade heeft opgelopen.
De onderneming heeft in Nederland twee vestigingen: één in Enschede, en één in Groenlo. Op beide locaties ligt een lan (local area network) en een wan (wide area network) verbindt beide. In Enschede, de hoofdlocatie, twee computerruimtes, een glasvezelring met zes switches en patch-kasten, waaraan in totaal zo'n 350 werkplekken hingen. In Groenlo nog eens zestig werkplekken aan vier switches en een buitendienst met een stuk of tachtig laptops. Toch was het systeem in Enschede in principe niet uit de lucht, zo had Thönissen zaterdagavond proefondervindelijk al even vastgesteld. Hij kon vanuit huis gewoon op het systeem inbellen. En dat was goed nieuws, want dat betekende, zo besefte Thönissen opgelucht, dat de data op de machines waarschijnlijk gespaard was gebleven. "Een geluk bij een ongeluk dat het systeem in de nacht van zaterdag op zondag nog een full system backup heeft gemaakt. Er was dus helemaal geen data verloren." Die zondag, één dag na de ramp kon een medewerker van de brandweer - tevens medewerker van Grolsch - met permissie de computerruimte in om alle tapes op te halen. "Kwam hij met twee aluminium koffertjes met tientallen tapes naar buiten." Dat was een prettig moment, wil Thönissen maar zeggen.

Verplaatsen

Het crisisteam besloot op die eerste zondagochtend om het gehele apparaat - alle kantoorpersoneel met bijbehorende werkplekken - te verplaatsen naar Groenlo. Dat was iets waar Thönissen zelf ook op had aangedrongen. "Je komt dan in een situatie die bekend is. Dat werkt toch een stuk gemakkelijker." Maar dat betekende wel dat er in Groenlo in een noodtempo werkplekken opgezet moesten worden. Daarmee werd die eerste zondag een begin gemaakt. Er was al contact geweest met het ICT-bedrijf Synstar in Brussel, waarmee Grolsch een uitwijkcontract heeft afgesloten. Synstar Business Continuity (zoals de betreffende afdeling heet) stuurde, zoals in het contract was vastgelegd, een truck met een container waarin apparatuur en een kopie van de bestaande configuratie, een generator, servers. Zondagochtend belde ook thuisleverancier ICL met de vraag of ze konden helpen. Dat kon, want er waren in Groenlo heel wat PC's nodig. "Omdat ze weten hoe wij onze computers geconfigureerd hebben, konden ze op hun eigen locatie in Maarssen een groot aantal PC's klaar maken. Die werden zondag in de loop van de dag met de nodige randapparatuur gebracht."
Nu was het zaak om alles zo snel mogelijk aan de praat te krijgen. En nog verbaast Thönissen zich er over dat binnen 24 uur na de ramp de zaak in Groenlo draaide. Alle telefoonnummers van Enschede waren door technici van KPN naar Groenlo doorgelust, alle bedradingen en schakelingen aangepast. Het netwerk in Groenlo was door middel van de container voorzien van een tijdelijke computerruimte, waardoor de werkplekken konden functioneren. Tot die tijd kon het netwerk in Groenlo alleen gevalideerd worden door het hoofdsysteem in Enschede. Maandagochtend zeven uur waren er veertig extra werkplekken 'aangelegd' in de kantine; die voor dat doel tot een heuse kantoortuin werd omgebouwd. Om zeven uur was het netwerk in de lucht, waren de file- en printer-services gereed, was het edi-systeem (electronic document interchange) klaar en kon het verkoop-informatiesysteem gebruikt worden. Er kon min of meer worden gewerkt. Om drie uur die middag draaide het erp-pakket (enterprise resource planning) van SAP weer volledig. Dinsdag kon er weer worden gemaild en was Internet weer bereikbaar. En tenslotte werd er die dag een begin gemaakt met de bouw van vervangende computerruimtes naast de brouwerij in Groenlo: een stuk of dertig mobiele kantoren met in totaal 150 werkplekken. Daarvoor moest KPN een aantal dikke kabels over het terrein trekken. De kabels lopen hoog boven in de gebouwen in de richting van de 'portacabins'.

Trots op gekkenwerk

Het was zondermeer gekkenwerk - maar wel gekkenwerk om trots op te zijn, vindt Thönissen. Van zondagochtend negen uur tot maandagavond negen uur zijn het hoofd automatisering en zijn mensen (bijgestaan door de KPN'ers, ICL'ers en werknemers van Synstar) continu aan het werk geweest. Niet geslapen, nauwelijks gerust. "Het merkwaardige is dat je geen tijd hebt voor emotie. Dat verdring je gewoon. We stonden allemaal stijf van de adrenaline, maar de werkzaamheden zelf werden in betrekkelijke rust uitgevoerd. Ik merkte pas dat er wat met me aan de hand was toen ik bedacht dat ik mijn vrouw moest bellen, dat ik die nacht niet naar huis zou komen. Stond ik met die telefoon in mijn hand, kreeg ik een brok in mijn keel. Ik heb niet gebeld, aan die emotie moet je niet toegeven, want dan kun je twee uur lang niet werken."
De afdeling van Thönissen zelf betrok een oud opleidingskamertje. Daar werden simpelweg wat schermen geplaatst en computers neergezet: hup, een heus kantoor met werkcellen! In de kantine van de chauffeurs kwam de computerruimte: de servers, vier snorrende airco's. De ramen werden dichtgetimmerd. In de dagen die volgden werd de rest van de problemen aangepakt; het aanleggen en inrichten van extra werkplekken; het uitbouwen van het datanetwerk en het voor gebruik gereed maken van de overige informatiesystemen. "Het grote voordeel van het feit dat we onze data nog hadden, en de kopie van de bestaande configuratie, is dat de mensen in principe op maandagochtend konden inloggen en gewoon konden doorgaan waar ze vrijdagmiddag mee waren opgehouden. Het was gewoon hetzelfde." Zo werd Groenlo langzamerhand een locatie waar de werknemers van twee locaties samenkwamen. Dat verliep, aldus Thönissen, zonder problemen. "Je verwacht twee culturen, maar dat viel erg mee. Bovendien: in tijden van nood zijn mensen erg verdraagzaam, heb ik gemerkt. Ze zijn bereid hun eigen problemen even opzij te schuiven voor de grote zaak."

Catastrofe voorkomen

De ramp was niet te overzien geweest, wanneer de ICT-situatie bij Grolsch nog was zoals een dik jaar geleden. Dan hadden we een catastrofe gehad, bevestigt Thönissen. Een dik jaar eerder had hij, na rijp beraad en overleg met de directie, de twee Grolsch-vestigingen volledig en rigoureus gestandaardiseerd: iedereen dezelfde hardware en software, geen mogelijkheden zelf iets aan de configuratie te veranderen. Vanaf dat moment werd de data ook weggeschreven naar de centrale fileservers, niets meer op de locale harde schijf. "Voor die tijd was het een anarchie hier. Iedereen gebruikte maar wat hij of zij prettig vond. Er waren meer dan tweehonderd soorten hardware, software en besturingssystemen in het bedrijf aanwezig. Sommigen werkten met WP, anderen nog met Amipro, weer anderen met Word. En iedereen schreef zijn data weg naar zijn eigen PC."
Voor een bedrag van in totaal 1,5 miljoen gulden werd het allemaal standaard, met niet meer dan drie soorten hardware: gewone Compaq desktops, en dezelfde PC's - maar dan met een Isdn-kaart; een CD-rom-speler voor extern gebruik; en laptops voor mensen die online moeten kunnen zijn. Het project, Grolsch Company Computer genaamd, verliep in eerste instantie moeizaam: mensen mopperden dat ze hun vrijheden kwijt waren en dat ze moesten leren werken met nieuwe software. "Het moest echt anders", zegt Thönissen over het project. "We zaten wat betreft ICT echt in een neerwaartse spiraal." In april vorig jaar werd de zaak in gang gezet. Iedereen een NT-desktop zonder gebruikersrechten, iedereen Office 97. Daarnaast was er specifieke software die mensen op hun eigen werkplek nodig hadden: SAP-applicaties bijvoorbeeld. "Er werd in het begin wel flink gemopperd, maar het ging bijna direct de goede kant op. We hadden geen storingen meer in de hardware, er was meer tijd om de mensen te helpen. En dat merkten ze natuurlijk. Ze kregen eerder de specifieke software waarom ze vroegen, daar waar het eerder weken kon duren. En voor de afdeling Automatisering was het natuurlijk geweldig dat het geheel veel gebruikers- en beheersvriendelijker is."
Zijn grote gelijk - mocht dat nog nodig zijn - kreeg Thönissen dus na de ramp. "Stel dat het was als voor die tijd? Dan waren we alle data kwijt geweest. En dan ben je natuurlijk nog veel verder van huis. Iedereen ziet dat nu ook wel in, hoor. Het was een goed project en het was een goede keuze. Al hoop je niet dat het op deze manier bewezen moet worden."

Twaaf uur

Terug naar de dagen-na-de-ramp. Er werd die eerste twee weken gemiddeld twaalf uur per dag gewerkt door de mensen van de afdeling Automatisering, zeven dagen per week. Er was geen allesomvattend calamiteitendraaiboek. Dat is ook niet te doen, vindt Thönissen. "Je hebt het over een ramp van een omvang die niet te voorspellen is, met gevolgen die niet te voorspellen zijn. Daar komt nog bij dat improvisatie toch altijd noodzakelijk blijft." Voor een deel was het een kwestie van het gezonde verstand gebruiken, voor een deel kon Thönissen terugvallen op - alweer - het grote voordeel van de gestandaardiseerde omgeving. Er was veel documentatie over het ICT-systeem, er was een uitwijkcontract, waarin veel was vastgelegd. Er was een goed backup-schema (elke avond de veranderingen van die dag, in het weekeinde het gehele systeem). "Maar we hadden, dat werd wel duidelijk, geen doortimmerde risico-analyse. Daar willen we voor de toekomst toch wel werk van gaan maken. Aan de andere kant: een overall-draaiboek is niet zaligmakend. Het gaat toch bijna altijd anders dan je zou vastleggen."
Wat opviel, zegt Thönissen, was de totale afhankelijkheid van ICT. Dat was vanzelfsprekend bekend, maar valt in zo'n situatie toch weer op. Wat ook belangrijk was: de bijna militaire hiërarchie: bevelen geven en laten uitvoeren. "In het begin gaat dat altijd goed. Dan is er veel begrip bij iedereen. Je moet het ook vasthouden als je langer bezig bent. Dan neemt het begrip af en zijn mensen weer meer met hun eigen belangen bezig. Aan de andere kant: dat is ook wel logisch, vind ik. Het normale leven keert langzamerhand terug." Toch is Thönissen zeer te spreken over zijn eigen mensen, over de hulp die hij kreeg. "Ik had nooit gedacht dat het zo snel kon. Daar ben ik echt van onder de indruk." Vanwege de adequate documentatie van het systeem kwam hij wat betreft de technologie nooit voor verrassingen te staan.
Inmiddels is het beheer op peil en wordt de ICT-afdeling in Enschede weer opgebouwd. Als alles goed gaat, zal de vestiging in Enschede op 1 oktober weer tot leven zijn gewekt. Er ligt inmiddels een nieuwe glasvezelring. Na dat omschakelweekeinde kunnen de werknemers terug van Groenlo naar Enschede, en kunnen de mobiele kantoren weer worden afgebroken. "We zijn de boel weer aan het opbouwen. En dan kunnen we ook de computerruimte in Groenlo afbreken."

Concernbrede bewustwording

Thönissen merkt dat de waardering voor zijn afdeling groot is, zowel van de werkvloer als van de directie. Wat dat betreft, zegt hij, is er wel wat veranderd. "Ik denk dat het nu gemakkelijker voor me is om iets besloten te krijgen. Niet dat ze me blind vertrouwen - dat lijkt me trouwens ook helemaal niet goed - maar als ik met een goed plan kom en dat van goede argumenten voorzie, dan denk ik dat ik eerder groen licht krijg van de directie."
Concernbreed is er een 'sterke bewustwording', aldus Thönissen, "dat we volledig van ICT afhankelijk zijn." Nee, zijn eigen positie verandert niet. Het is niet zo dat het hoofd automatisering nu plotseling een plaatsje krijgt in het managementteam. En dat hoeft trouwens ook helemaal niet, zegt hij. "Ik ben allang bij met die extra bewustwording." Over zijn eigen afdeling krijgt Thönissen zelfs nu nog warme gevoelens. "Je merkte vanaf het begin een zekere verbroedering. Mensen hielpen elkaar, deden gewoon wat er gedaan moest worden. En dan zie je zomaar mensen met dozen hardware sjouwen, zie je ze op de kop onder een tafel om bekabeling aan te leggen. Dat is echt fantastisch."
 
André Ritsema, freelance medewerker

Dit artikel is afkomstig van Computable.nl (https://www.computable.nl/artikel/1328464). © Jaarbeurs IT Media.

?


Lees meer over


 
Vacatures

Stuur door

Stuur dit artikel door

Je naam ontbreekt
Je e-mailadres ontbreekt
De naam van de ontvanger ontbreekt
Het e-mailadres van de ontvanger ontbreekt

×
×