Managed hosting door True

'Programmeur aansprakelijk bij schade door robot'

 

In het geval van falen, een ongeluk of schade door een robot, kan de de programmeur van de software die de robot aanstuurt, aansprakelijk worden gesteld. Dat zei rapporteur Mady Delvaux tijdens een seminar over robotica in Brussel. Ze deed die uitspraak namens een speciaal comité voor wet- en regelgeving dat de Europese Commissie adviseert over allerlei juridische en maatschappelijke zaken rondom robotisering en kunstmatige intelligentie.

Delvaux lichtte dinsdag 7 februari 2017 samen met vier mederapporteurs de inhoud van een voorlopig adviesrapport toe tijdens het Brusselse roboticaseminar. Doel is om tot wet- en regelgeving op het gebied van robotisering en kunstmatige intelligentie te komen.

In de recente discussie over aansprakelijkheid bij bijvoorbeeld ongelukken met zelfsturende auto's is het volgens de groep van belang om duidelijkheid te verschaffen. Daarin nemen de adviseurs duidelijk het standpunt in dat mensen altijd juridisch verantwoordelijk blijven voor het handelen van robots.

Hoe die aansprakelijkheid van programmeurs eruit zal zien, is nog niet uitgewerkt. Het is bijvoorbeeld maar de vraag of juridische instanties de broncode van producten mogen inzien om te kijken of hier fouten in zijn gemaakt. Volgens de huidige regels vallen broncode en objectcode namelijk onder het auteursrecht. 

Privacy en security by design

Verder braken de parlementariërs een lans voor privacy by design en security by design, waarbij ontwikkelaars bij de infrastructuur, algoritmes en technologie van robots rekening houden met beveiliging en privacy.

Het adviesrapport wordt 16 februari 2017 voorgelegd aan de Europese Commissie. Die heeft vervolgens drie maanden de tijd om de inhoud te bestuderen en aan te geven welke aanbevelingen worden gevolgd en omgezet in wet- en regelgeving. 

Dit artikel is afkomstig van Computable.nl (https://www.computable.nl/artikel/5949041). © Jaarbeurs IT Media.

?


Lees meer over



Lees ook


 

Reacties

Wordt hier met "de programmeur" degene bedoeld die de code ingetikt heeft, of de fabrikant?

Kijk ik bijvoorbeeld naar de medische sector, komt na het programmeren nog een behoorlijk zwaar verificatie en validatieproces alvorens een product vrijgegeven wordt.
Hiermee wordt dan ook de fabrikant aansprakelijk, en niet de programmeur

Interessant als het een opensource project betreft waar honderden programmeurs aan gewerkt hebben. Hoe weet je dan welke regel code uiteindelijk 'de boosdoener' is om daarmee de betreffende programmeur aan te wijzen en wat als er closed source wordt gebruikt waarbij niet duidelijk is door wie dat statement is ingetypt?
En wat te doen bij de steeds meer gebruikte methode van neurale netwerken. Is dan degene die de robot bepaalde dingen heeft geleerd verantwoordelijk of de maker van het mechanisme van het neuraal netwerk die niet eens weet dat het in die robot wordt toegepast.
Kortom hier zal het laatste nog niet over gezegd zijn.

Lijkt mij dat de fabrikant de verantwoordelijkheid heeft en niet één van zijn vele werknemers want daar ga je nooit uitkomen.
Klein voorbeeld de programmeur maakt een deel van de software en zegt erbij dat het alleen geschikt is voor een prototype. Vervolgens vind zijn manager het geen probleem om dit in productie te nemen ondanks de waarschuwing van de programmeur dat het nog niet af is (dit zal menigeen bekend voorkomen).
Robotisering is enorm complex en niet te vergelijken met de hiervoor genoemde medische sector.
Wat als een robot door het validatieproces heen komt en toch faalt. Is dan de maker van het validatieproces verantwoordelijk?

Ik denk of eigenlijk hoop dat dit enkel bedoeld is om de discussie over regelgeving hierover op te starten. Het begrip robot wordt nogal eens herleid tot een entiteit die op een bepaalde wijze iets doet volgens een geprogrammeerd actieschema. Robotisering gaat echter veel verder dan dit. In wezen is elk stuk geschreven software een robot. Het inter acteren van een stuk software met de buitenwereld (mensen of machines) maakt het echter pas een robot. Het is en blijft echter het resultaat van de samenwerking van een aantal professionals en niet een soort van technisch hondje waar het baasje voor verantwoordelijk is. Verantwoordelijkheid voor gevolgen van de inzet of fouten van deze robot is dan ook naast garantie een bedrijfsrisico dat verzekerd moet worden. gelukkig is de foutenkans bij het inzetten van robots bewezen veel lager dan bij de inzet van mensen.

In het betreffende rapport staat nergens dat de programmeur aansprakelijk is. Er staat dat, afhankelijk van de situatie, wellicht de fabrikant, programmeur, gebruiker of zelfs de robot zelf aansprakelijk kan zijn. En dat laatste is nogal een lastig punt in het rapport, want een robot heeft geen status als rechtspersoon.

Dus de kop dat Delvaux vindt dat de programmeur aansprakelijk is, is wel heel erg kort door de bocht.

Inderdaad 'n beetje naïef om die ene beroepsgroep van "programmeurs" aansprakelijk te stellen in zo'n voorlopig adviesrapport. Hoe zit het met de betrokken software architect(en) en ontwerper(s), of - zoals hiervoor al terecht opgemerkt - met de betreffende fabrikant, de effecten van "machine learning" en inderdaad bij "open source"?
Hopelijk beschikt de EU-groep, die dit voorlopig adviesrapport gedurende maar liefst drie maanden gaat reviewen, wel over de juiste expertise...

Beetje kort door de bocht-maatregel. In hoeverre moet deze verantwoordelijkheid gedeeld worden met andere verantwoordelijken zoals de ontwerper, de analist, de opdrachtgever? Bij gebruik van open source software, wie is dan verantwoordelijk? Hoe werkt dit bij interfaces. Ik hoop dat er mensen met enige IT kennis gaan bijdragen aan de discussie over deze verantwoordelijkheid.

Nogmaal, het artikel trekt een verkeerde conclusie, het rapport beweert nergens dat de programmeur per definitie aansprakelijke is.

Sluit me grotendeels aan bij vorige sprekers, ook het (al dan niet geautomatiseerd) testen speelt hierin nog een rol. Er is nooit een persoon alleen verantwoordelijk.
Ik denk zelfs dat fouten niet geheel uit te sluiten zijn en dat wetgeving waarbij de eigenaar/uitgever van de software moet aantonen dat er voldoende zorgvuldig is gewerkt (logboek, documentatie, testrapporten) beter aan zou sluiten bij de realiteit.
Hoe zou je een zelfrijdende auto moeten programmeren om te kiezen tussen het doodrijden van een fietser of frontaal te botsen op een tegenligger? Elke keuze is fout!

Ik snap de fuzz rond dit onderwerp niet goed. We gebruiken al jaren robots. Robots om facturen af te drukken, robots om onze administratie te doen, robots om orders te verwerken en pakbonnen af te drukken. Alleen nu de robots bewegende delen krijgen ontstaat er ineens heel veel gedoe over. Waarom?

@robert: Wel een pakkende titel van het artikel om reacties te krijgen...

Bedankt voor de reacties.

@ Robert
Er staat in het rapport niet dat programmeurs verantwoordelijk zijn. Dat klopt.

Het gaat hier om een reactie van Delvaux in een discussie over aansprakelijkheid tijdens het seminar. Zij zei daarin expliciet dat ze vindt dat de programmeur verantwoordelijk is.

Dat vind ik een opvallende uitspraak van deze rapporteur die de EC adviseert. Hoe de uitvoering van deze maatregel er vervolgens uitziet en of hier programmeur als persoon wordt bedoeld, lichtte Delvaux niet toe.

Ik vind het in de discussie over aansprakelijkheid zeker interessant om te vermelden, omdat ze hier niet kiest voor de optie om de fabrikant of gebruikers aansprakelijk te stellen. Ze zoekt het duidelijk bij de makers van de software.

Als haar doel van deze uitspraak is om een discussie op gang te brengen dan is dat in ieder geval zeker gelukt.

Lijkt mij dat de enige juiste weg is: het aansprakelijk stellen van de fabrikant net zoals nu bij alle andere producten ook gebeurd.
Hoe de fabrikant de aansprakelijkheid verhaald op zijn toeleveranciers of medewerkers is dan zijn probleem. Inderdaad is het apart dat hiervoor een uitzondering wordt gemaakt als het robots betreft en voor alle andere producten niet.
Volkswagen heeft een miljardenclaim gehad wegens sjoemelsoftware, Niet de programmeur die de software heeft gemaakt. Zou wel fijn geweest zijn voor volkswagen. Je wijst 1 medewerker aan die overal verantwoordelijk voor is en schuift alle claims naar die ene medewerker door. Of het nu over defecte remmen gaat, software of iets anders.
Die medewerker kan dat van zijn loon vervolgens dan niet kan betalen en gaat persoonlijk failliet.

@Pim: heb je daar een bron van? In het artikel is alleen een link te vinden naar het rapport en op de websites van het europees parlement kan ik nergens iets vinden over de mondelinge toelichting van Delvaux.

Het kan natuurlijk nooit zo zijn dat een programmeur verantwoordelijk is. Na het programmeren komt altijd nog een test. De gebruiker is samen met de ontwikkelaar verantwoordelijk voor het goed uitvoeren van de test. Daarna gaat de klant akkoord en kan dus de programmeur nooit verantwoordelijk zijn.

Heb net het rapport even gelezen. En zoals ik al dacht is de titel van het artikel veel te eenzijdig. Er staat duidelijk dat er 3 partijen aansprakelijk zijn: "manufacturers, owners or users could be held strictly liable for acts or omissions of a robot."

Dat betekent dat de juridische aansprakelijkheid terug gebracht wordt tot een fout van de programmeur. Een productie fout (= Een bug) maakt producent aansprakelijk; verkeerde instructies / niet volgen van de instructies voor bediening van de robot maakt de eigenaar verantwoordelijk ; negeren van signalen van de robot maakt de gebruiker aansprakelijk.

De juridische aansprakelijkheid van AI komt dus op gelijke voet te staan met die van een producent van bijvoorbeeld een kettingzaag. 1.) de zaag kan een ongeluk veroorzaken door een ondeugdelijk onderdeel. 2) door verkeerde / ongeschoolde bediening of 3) door opzettelijk verkeerd gebruik. In deze gevallen is respectievelijk de producten, de eigenaar of de gebruiker aansprakelijk.
Toevallig afgelopen week een artikel hierover geschreven.
https://www.linkedin.com/pulse/who-responsibility-when-artificial-intelligence-amerongen

Een programmeur bouwt wat de ontwerper heeft beschreven, en wordt door de tester gecontroleert, dus wie van de drie ?

@Robbrecht: exact, zo had ik het ook gelezen in het rapport. Ik vind het zo vreemd dat notabene een mede-schrijver, rapporteur Mady Delvaux, het rapport dan zo vreemd en eenzijdig zou uitleggen. Vandaar dat ik wacht op de bron die Pim heeft gebruikt voor dit citaat.

Er worden in ziekenhuizen zat fouten gemaakt waarbij soms ook wel eens mensen het leven laten. Dat zal bij robots en AI apparatuur gemaakt door mensen niet anders zijn. Dan is het ook zaak om dit zo verantwoord mogelijk in te zetten en in de rest van de gevallen de mens zelf het werk laten doen ook al doen zij dat niet altijd 100% perfect.

@ Robert en Robrecht.

Zoals ik in het nieuwsbericht en mijn reactie omschrijf is de bron Mady Delvaux. Hoofd-rapporteur (geen mede-schrijver) van het advies aan de EC. Zij sprak tijdens een seminar voor journalisten uit verschillende Europese landen dat 7 en 8 februari plaatsvond in het Europees Parlement in Brussel. Ik was daar namens Computable aanwezig.

Op een vraag van één van de journalisten over aansprakelijkheid zei ze tot twee keer toe dat zij vindt dat de programmeur aansprakelijk is.

Ik vind het opvallend dat ze dit standpunt inneemt in de discussie over aansprakelijkheid. Die discussie wordt in het rapport namelijk veel breder gevoerd. Vandaar dat ik er een nieuwsbericht over heb geschreven.

@Pim:
Dank je voor de extra uitleg, dat plaatst wat dingen die nu onduidelijk zijn in context.

Hierboven staat dat rapporteur Mady Delvaux haar uitspraak over de aansprakelijkheid van de programmeur van de robotstuursoftware deed _namens_het_ comité_.
Naar ik verwacht gaat zij die woorden terug nemen. Ze zijn nl. *volledig* in strijd met letter en geest van het rapport.
Afgezien daarvan zijn bij het rapport nog wel een paar kanttekeningen te plaatsen.

Het rapport verstaat onder 'robotics' "manifestations of artificial intelligence".
Dat loopt dus van industriële robots en Tesla's Autopilot tot computersystemen.
En onder dat laatste kunnen we meteen militaire en medische systemen, en beursapplicaties rekenen, maar met de komst van blockchain ook Smart Contracts en 'Digital Autonomous Organizations' (DAO's).

Onder de noemer 'Robolaw' lopen er al een aantal jaren discussies en onderzoeken naar ethiek, oplossingen en regulering. Onder meer naar aanleiding van ongelukken met Lethal Autonomous Weapons Systems (LAWS).
Maar door koersfluctuaties door beursapplicaties, ongelukken met Tesla's autopilot, de komst van IoT en een simpele mega-hack bij Ethereum is het onderwerp fors uitgebreid en onder de aandacht van publiek en overheid gekomen.

Daarbij gaat het dus om het door logaritmes vervangen van menselijk ingrijpen bij het tot stand komen van een 'beslissing' en aansluitend handelen.
Waarbij opvallend is dat in het rapport t.a.v. AI geen aandacht wordt besteed aan het onderscheid tussen 'kennis-systemen' en 'expert-systemen'. Bij KS is het beslissings-algoritme immers ingebakken in het systeem terwijl dat bij ES niet het geval is. Zie het maar als het verschil tussen een hiërarchische en een relationele database.

Het voorstel gaat met name over de wenselijkheid van "a series of rules, governing in particular liability and ethics" en "establishing basic ethical principles to be respected in the development, programming and use of robots and AI and in the incorporation of such principles into European regulations and codes of conduct".

Het *huidige* systeem gaat uit van aansprakelijkheid voor handelen of nalaten van een robot indien dit kan worden teruggevoerd op producent, eigenaar of gebruiker van de robot.
Punt S-Z van de Introductie schetst de kern van het probleem : gezien vorm en aard van de 'robot' voldoet het huidige juridische systeem niet meer.
In het voorstel gaat men uit van de 'instructeur', niet de programmeur. Met daarnaast een risico-aansprakelijkheid in combinatie met een verplichte aansprakelijkheidsverzekering en een compensatiefonds.
Interessant is dan echter weer "Robotics engineers should remain accountable for the social, environmental and human health impacts that robotics may impose on present and future generations". Smeltende ijskappen zijn er niets bij.

Al met al vind ik het een tamelijk innovatief rapport - volgens mij niet weinig geïnspireerd door de gerenommeerde SciFi-literatuur - met her en der ruimte voor verbetering. Maar dat laatste is ook de bedoeling.
Het zou goed zijn als minister Kamp voor zijn 'Expertisecentrum Blockchain' ook even contact zoekt met o.a. Tilburg Institute for Law, Technology, and Society (TILT), Rathenau Instituut en Privacy Autoriteit. De laatste vanwege de in het rapport genoemde privacy-aspecten en de directe link met Privacy by Design en Ethically Aligned Design (IEEE).

Jouw reactie


Je bent niet ingelogd. Je kunt als gast reageren, maar dan wordt je reactie pas zichtbaar na goedkeuring door de redactie. Om je reactie direct geplaatst te krijgen, moet je eerst rechtsboven inloggen of je registreren

Je naam ontbreekt
Je e-mailadres ontbreekt
Je reactie ontbreekt
Vacatures

Stuur door

Stuur dit artikel door

Je naam ontbreekt
Je e-mailadres ontbreekt
De naam van de ontvanger ontbreekt
Het e-mailadres van de ontvanger ontbreekt

×
×