Zijn stemmachines betrouwbaar? Iers onderzoek heeft deze vraag actueel gemaakt. Adri de Bruijn constateert dat de (on)betrouwbaarheid van stemmachines opgehangen wordt aan slechts één aspect.
In recente publicaties is de aandacht gevestigd op de mogelijke onbetrouwbaarheid van stemmachines, naar aanleiding van een in opdracht van het Ierse Department of the Environment and Local Government (Doelg) uitgevoerd onderzoek naar stemmachines. Deze stemmachines worden ook in Nederland gebruikt. Het rapport werd openbaar na een beroep op de Freedom for Information Act. De kamerleden Haverkamp en Spies hebben inmiddels vragen gesteld aan de minister voor Bestuurlijke Vernieuwing en Koninkrijksrelaties. Zij willen onder andere weten aan welke eisen naar de mening van de minister de stemmachines moeten voldoen, of controleerbaarheid een van de eisen is en of er vergelijkbare onderzoeken zijn uitgevoerd dan wel gepland zijn. Minister De Graaf heeft aangegeven meer tijd nodig te hebben dan staat voor de beantwoording.
Op basis van onze ervaring als beroepsorganisatie van auditors van (it-)systemen en opstellers van rapporten willen we enkele opmerkingen maken naar aanleiding van de ophef die over de uitgevoerde onderzoeken en bekend geworden rapportage is ontstaan. Om misverstanden te voorkomen: als beroepsorganisatie zijn we niet betrokken geweest bij de betrokken rapportage; we kennen de inhoud alleen vanuit de perspublicaties hierover.
Principes
Bij het wegen van de uitkomsten van een rapport vinden we vijf principes belangrijk: beschouw het gehele proces; onderzoeken is beter dan vertrouwen; weeg de risico’s en accepteer tekortkomingen; weeg de maatregelen; en bezie het in perspectief van de situatie daarvoor.
Beschouw het gehele proces: in rapporten wordt soms een systeem of een deel van een systeem onderzocht. Dit systeem maakt deel uit van een geheel proces, waarin mensen, procedures en systemen een rol vervullen. Dit is op zich een valide opdracht en afbakening. Echter, voor het wegen van de zwakkere punten die worden ontdekt in een onderzoek is het van belang het gehele proces te beschouwen. De mogelijke tekortkomingen in het systeem kunnen immers gecompenseerd worden door maatregelen, procedures en handelingen buiten het systeem om. Hoewel dan het systeem op zich tekortkomingen vertoont, kan het gehele proces toch betrouwbaar zijn door aanvullende maatregelen en procedures rondom het systeem. Ook het omgekeerde kan het geval zijn: hoewel het systeem betrouwbaar is, kan het gehele proces toch tekortkomingen vertonen door onjuiste implementaties en procedures rondom het systeem.
Onderzoeken is beter dan vertrouwen: bij het beschouwen van het gehele proces moet dit proces ook als geheel transparant zijn. Nog te veel zien we dat zonder onderzoek aangenomen wordt dat bepaalde onderdelen correct functioneren. Als het fout gaat blijkt dat vertrouwen later te onrechte geweest te zijn.
Perspectief
Weeg de risico’s en accepteer tekortkomingen: in een onderzoek worden meestal verschillende tekortkomingen geconstateerd. Echter, niet elke tekortkoming weegt even zwaar. Je moet bezien welke risico’s door de tekortkoming gelopen worden en welke risico’s een organisatie bereid is te lopen. Niet elk risico hoeft voor de volle 100 procent afgedekt te worden. Je moet beseffen dat soms zaken fout lopen, maar dit is dan een geaccepteerd risico. Belangrijk is dat risico’s duidelijk worden en dat je verrassingen voorkomt; verrassingen die ontstaan doordat je risico’s loopt waarvan je je niet bewust bent. Welk risico wordt geaccepteerd ligt aan het proces en aan de mate van risicoacceptatie van een organisatie.
Weeg de maatregelen: om de geconstateerde tekortkomingen op te heffen zullen, afhankelijk van de risico-inschatting, maatregelen genomen worden. Deze maatregelen kosten geld en kunnen andere consequenties hebben. Dit moet gewogen tegenover de tekortkoming en de daarmee gelopen risico’s. Op basis daarvan kunnen de maatregelen getroffen worden. Indien er geen adequate maatregelen zijn, moet of het extra risico wat hierdoor ontstaat geaccepteerd worden of niet doorgegaan worden met de activiteit.
Bezie het in perspectief van de situatie daarvoor: Bij nieuwe systemen is het zinvol de situatie nu te vergelijken met de situatie daarvoor en de tekortkomingen mede in dit kader te wegen. Niet omdat het verleden de norm is, maar om te beseffen dat door rapportages over de bevindingen bij nieuwe systemen de risico’s van het verleden helderder gemaakt worden. Deze risico’s zijn vaak onbewust gelopen.
Los van die vijf principes moet elk onderzoek en elke rapportage objectief, onafhankelijk en deskundig worden opgesteld en uitgevoerd.
Politieke afweging
Als we de vijf principes toepassen op de publicaties rondom de stemmachines zien we dat die vooral gericht zijn op tekortkomingen in de stemmachine. Hoe deze tekortkomingen in procedures voordat de stem wordt uitgebracht of nadat de stemmen zijn uitgebracht worden gecompenseerd blijft onderbelicht. Men richt zich op één onderdeel van het stemproces terwijl niet bekend is welke andere tekortkomingen dan wel compenserende maatregelen er zijn in het gehele proces. Eveneens zien we dat er niet altijd een weging van risico’s en te treffen maatregelen plaatsvindt: niet alle bemerkingen zijn even zwaar of zouden opgelost behoeven te worden.
Tot slot, het lijkt erop dat aan een machine veel hogere eisen worden gesteld dan aan het vroegere stemproces, wat mensenwerk was. Er wordt geen vergelijking gemaakt met de risico’s verbonden aan dit proces versus het proces van stemmen via een stemmachine. Die vergelijking is niet nodig omdat we het vroegere proces als norm willen beschouwen, maar om de risico’s verbonden aan stemmachines in perspectief te plaatsen.
Ons advies luidt: breng het gehele proces in kaart, voor zover dat nog niet gebeurd is, weeg de gevonden risico’s en te treffen maatregelen niet per onderdeel maar in het licht van dit gehele proces en plaats ze in het perspectief van het vroegere proces. Verder is die weging van risico’s en te nemen maatregelen uiteindelijk een politieke en maatschappelijke afweging.< BR>
Adri de Bruijn, Voorzitter Norea (Nederlandse orde van register edp-auditors, de beroepsorganisatie van it-auditors)