Managed hosting door True

Ziekenhuis legt ICT-netwerk plat na storing

 

Ziekenhuis verpleegster zorg

Onder andere ct-scans kan het UMCG tijdelijk niet automatisch verwerken.

Het Universitair Medisch Centrum Groningen (UMCG) heeft vanaf vrijdagmiddag het hele ict-netwerk platgelegd om te kunnen onderzoeken waarom de infrastructuur instabiel is. Woensdag 3 maart 2010 ontstond een hardwareprobleem dat enkele belangrijke medische en administratieve systemen instabiel maakte. Dat vertelt een woordvoerster van de instelling. De belangrijkste processen lopen voorlopig handmatig, waardoor patiënten geen last ondervinden.

'De afgelopen anderhalve dag was mondjesmaat verbetering zichtbaar. Het leek erop dat alles een beetje stabieler werd', aldus de woordvoerster. Omdat hiermee het probleem niet was opgelost, is besloten het hele netwerk plat te leggen.

De voorlichtster weet niet welke hardware de storing veroorzaakte, maar wel welke systemen erdoor getroffen zijn. Het gaat om uiteenlopende systemen die het ziekenhuis gebruikt, zoals voor de automatische verwerking van röntgenfoto's en ct-scans en de koppeling daarvan aan de patiëntgegevens, het elektronisch patiëntendossier en het facturatiesysteem. Ook de systemen voor elektronische recepten en voor laboratoriumaanvragen zijn door de storing getroffen.

Handmatig

Als tijdelijke oplossing heeft het UMCG besloten om de belangrijkste processen handmatig en/of op papier te verwerken. Zo worden de röntgenfoto's tijdelijk niet op het beeldscherm maar aan de lichtbak bekeken. De voorlichtster vreest dat dit veel werk oplevert zodra de systemen weer draaien: 'Alles wat nu handmatig wordt gedaan, moeten we uiteindelijk in de systemen inkloppen.'

De woordvoerster vertelt dat bijna alle ict'ers van het ziekenhuis zijn ingeschakeld om de oorzaak van de storing te achterhalen, de systemen te herstellen en in de gaten te houden. Ze schat dat het er zo'n honderd tot honderdvijftig zijn. Er zijn 24 uur per dag ict'ers aan het werk.

Dit artikel is afkomstig van Computable.nl (https://www.computable.nl/artikel/3278199). © Jaarbeurs IT Media.

?


Lees meer over


 

Reacties

Geweldig dat dit kan! (Ik meen dit serieus.) Dit ziekenhuis is dus instaat om zonder enig probleem ook gewoon op de analoge manier te werken, en hun bedrijfsprocessen in gang te houden. Mocht daar ooit nog een keer de pleuris uitbreken weet men dat het ziekenhuis gewoon kan doordraaien.

Dit zou in veel organisaties gewoon eens preventief geoefend moeten worden.

Elk ziekenhuis zou hier op voorbereid moeten zijn en niet alleen om infrastructuur knelpunten. Terugvallen op niet-gedigitaliseerde processen is het ultieme 'plan B'; als al het andere niet meer lukt. Zie de case study.

http://hbr.org/product/when-hackers-turn-to-blackmail-hbr-case-study/an/R0910X-PDF-ENG

Dit zou ieder jaar een week gedaan moeten worden als een soort stress-test. Het organiseren van de test kan betaalt worden door de woordvoerder op non-actief te stellen. Persberichten voorlezen is een overbodige activiteit voor een ziekenhuis.

Een beetje dubbel gevoel bij dit artikel.
Het ziekenhuis laat inderdaad zien dat ze ook met pen en papier de zaak nog draaiende kunnen houden. Voor de belangrijkste processen is dit inderdaad zeer belangrijk; daarvoor dan ook alle lof.

Maar als je allerlei röntgen, CT en MRI scans af moet gaan zeggen omdat je, door een ICT storing, je gegevens niet op kunt slaan en verwerken, dan wordt het toch vrij lastig je zaak draaiende te houden.

@PaVeKe:

Ik kan mij je "dubbele gevoel" wel voorstellen. Terugvallen op een lager niveau van ICT ondersteuning gebeurt ook niet voor de lol, maar heeft ten doel om datgene wat nog wel aan zorg te leveren is, enigszins georganiseerd te doen. Dan is er van de situatie -vervelend als die is- in elk geval het beste te maken. Of een MRI scan dan onmogelijk wordt weet ik niet (kan die niet los van een netwerk opereren?) maar er is ook nog heel veel [zelfs levensreddende] zorg mogelijk en vereist, zelfs zonder netwerk en imaging instrumenten.

@Peter

MRI scans etc. kunnen wel zelfstandig uitgevoerd worden, maar de gegevens kunnen alleen lokaal bekeken worden.
Daarnaast zal de opslag van de scanner vol lopen als de gegevens niet doorgestuurd kunnen worden naar een centraal opslagsysteem.

Maar waar ik eigenlijk op doel is de commerciele kant van het ziekenhuis. Als je een aantal (niet levensbedreigende) ingrepen \ diagnoses niet uit kunt voeren doordat het netwerk niet beschikbaar is, dan kan dit een aardige aanslag zijn op de inkomsten.

Doet me denken aan de begin dagen van elektrische netwerken, toen had men ook mensen in dienst om het elektrische netwerk in de lucht te houden. (dat was toch complex)

Ik ken het ziekenhuis maar al te goed. Ben er vaak regelmatig als patient geweest (woon nu in andere regio). Inderdaad heeft men alle processen gedigitaliseerd, gewoon om zo sneller en doelmatiger te kunnen werken. Ook ik ben vol lof over het feit dat men ook zonder ICT dit immense ziekenhuis in bedrijf kan houden. Ik vraag me af hoe dat in de rest van Nederland gaat.

Waar ik me het meeste over verbaas en zorgen maak is dat men in 5 dagen van 24 uur met 100 tot 150 mensen geen oorzaak kan vinden.

Het ziekenhuis waar ik voor werk is ook in staat om op papier ipv elektronisch verder te werken. Alleen elektronisch geeft betere communicatie.

Om toch even kritisch te kijken.... Er staat niet bij hoe het nu handmatig functioneert. Misschien kan men in het ziekenhuis nu niet in dezelfde mate performen. En misschien zijn bepaalde zaken die nu niet noodzakelijk zijn onmogelijk geworden en kunnen deze in de toekomst wel noodzakelijk worden. Maar goed, al knap dat ze het meest noodzakelijke up and running weten te houden. Ik ken organisaties die daar nog van kunnen/moeten leren.

@Constant Ik deel deze verbazing en zorgen volledig met je. Of we het nu willen of niet, ziekenhuizen worden steeds afhankelijker van ICT voor het kunnen leveren van goede zorg. Het UMCG heeft haar zaken wat betreft ICT niet op orde. Insiders weten ook heel goed wat voor gevaarlijke situaties dit oplevert voor de patiënt en zoals gewoonlijk hoor je hier niets over.

"dat enkele belangrijke medische en administratieve systemen instabiel maakte"

Als het hardware is moet het toch met een nieuw apparaat op te lossen zijn ?
Of maakt men gebruik van virtualisatie, wat ineens een SPOF blijkt te zijn voor meerdere systemen tegelijk ?
Bijv. VMware ESX 4.0 met Update1, zonder de updates die daarna kwamen ? (>> disconnected storage veroorzaakt instabiel netwerk)

Als patient van het UMCG heb ik mij als IT-er altijd zeer verbaasd (en opgewonden) dat alle gegevens die digitaal vastliggen bij een volgende discipline geen enkele rol spelen en vervolgens alles weer opnieuw wordt gevraagd en vastgelegd. Geïntegreerde processen kennen ze m.i. niet of nauwelijks. De Cruijff gemeenplaats "ieder nadeel heeft zijn voordeel" gaat nu zeker op.

Gelukkig staan de meeste ziekenhuizen tegenwoordig open voor ASP of SAAS systemen voor hun 'secundaire' processen. Hiermee wordt de ontwikkeling, het beheer en de hosting van de software bij externe specialisten belegd wat het risico op algemene systeemuitval aanzienlijk reduceert.

@Constant

Inderdaad. Ik vermoed ook dat er op architectuurvlak weleens wat hiaten zouden kunnen bestaan. De kern van een netwerk in een bedrijfskritische omgeving dient hoe dan ook HA (soms zelfs triple-HA) te worden uitgevoerd.

Tegenwoordig is het erg eenvoudig (en ook gebruikelijk) om die redundantie door te trekken naar distri- en access lagen, welke steeds vaker geintegreerd zijn. Als daar het probleem niet zit kan ook nog gedacht worden aan onvoldoende inzicht in de verkeersstromen. Zijn de afhankelijkheden tussen onderliggende systemen goed in kaart gebracht? Zo ja, tot op welk niveau?

Ik begin als de spreekwoordelijke stuurman te klinken, maar een ding weet ik wel zeker: als je met zoveel mensen al zolang aan het troubleshooten bent, dan is er sprake van *en* een expertiseprobleem *en* een "ontwerpfoutje".

Het is jammer, dat in uw berichtgeving over personeelsafvloeiing in de ICT dienstenbranche nergens het waarom wordt benaderd waar het gaat om het verschijnsel, dat 80% daarvan in Nederland plaatsvindt.
Is het raden daarvan wellicht TE voor de hand liggend ?

Het is opgelost.

Wat is er fout gegaan?

@ICT-er

Dan ben ik wel erg benieuwd wat het probleem nu was..

@Constant: Jij zei: "
Waar ik me het meeste over verbaas en zorgen maak is dat men in 5 dagen van 24 uur met 100 tot 150 mensen geen oorzaak kan vinden."

Heb je die artikelen van de vtsPN laatst niet gelezen, dat is veel erger, en gevaarlijker:
minimaal 250 man, 24 uur per dag, minimaal 45 dagen lang.

Ik ben toch echt zeeer benieuwd wat nu het probleem was en hoe het opgelost is...

Eerst is gekeken of de belangrijkste servers, verbindingen, databases en applicaties werkten. Dat zijn er veel. Daarbij zijn specifieke vertragingen / time-outs gevonden. Dat was lastig om te doorgronden, want het gaat om heel veel bitjes van veel naar heel computers. Toen is bijna alles uitgezet en e.e.a. opnieuw gestart. Voila, de bottleneck bleek een centrale switch. De failover deed het niet.

Nu moet nog van alles alsnog ingevoerd en ingescand worden.

Ik ben het eens met Mark-Peter.
In een ziekenhuis moeten systemen (zowel servers als netwerk-componenten) in een "hot-standby" manier werken, dwz: automatic-switch-over. Als dat niet het geval was moet de It-manager op staande voet ontslagen worden... 5 dagen? Dat is hier toch geen joke of zo???

Dit is een mooi voorbeeld van een aanwijsbare storing, echter gaat er door deze voorvallen een hoop tijd verloren. Eens in de zoveel tijd komen deze gebeurtenissen aan het licht waarop direct actie moet worden ondernomen. Dit geldt behalve voor computer hardware systemen ook voor blussystemen waarvan men het probleem bij een brand in een ICT-ruimte onderschat. Mvg, Smart Fire Systems.

Het is interessant om te weten welke service level agreement het Universitair Medisch Centrum Groningen heeft afgesloten. Aangezien organisaties veel geld betalen voor service, mag men dan ook wat verwachten. Vaak weten organisaties niet eens wat ze precies krijgen / kunnnen verwachten voor het vele geld dat ze spenderen aan een service contract. In de praktijk blijkt wat dat betreft dat het rationaliseren van het service aspect een groot goed blijft. Kortom, logisch nadenken.

@ICT-er
De bottleneck bleek een centrale switch.
Netwerk switch?

Vacatures

Stuur door

Stuur dit artikel door

Je naam ontbreekt
Je e-mailadres ontbreekt
De naam van de ontvanger ontbreekt
Het e-mailadres van de ontvanger ontbreekt

×
×