KI-systemer som utelukkende er utviklet for eller brukt for militære formål, foreslås unntatt fra forordningens anvendelsesområde.

I forslaget deles bruk av KI i fire kategorier:

1 Uakseptabel risiko – forbud

I forslagets del II (Title II) etableres en liste med forbudt KI. Listen omfatter KI-systemer som anses å være uakseptabelt fordi de strider med grunnleggende verdier i EU, for eksempel brudd på grunnleggende rettigheter. Forbudet omfatter

• KI-systemer som har et betydelig potensial for manipulere personer gjennom subliminale teknikker utenfor deres bevissthet, og dermed påvirke oppførselen deres på en måte som det er sannsynlig at kan forårsake psykisk eller fysisk skade,
• Utnytting av sårbarheter hos en gruppe på grunn av alder eller psykiske eller fysiske funksjonsnedsettelse for å påvirke oppførselen deres på en måte som det er sannsynlig at kan forårsake psykisk eller fysisk skade.
• KI-baserte systemer brukt av offentlige myndigheter for å vurdere troverdigheten til fysiske personer på grunnlag av sosial oppførsel i ulike sammenhenger, eller ved bruk av kjente eller predikerte personlighetstrekk, og som kan føre til skadelig eller ufordelaktig behandling av denne personen eller gruppen av personer i sammenhenger som ikke er relatert til de sammenhengene dataene opprinnelig ble generert eller samlet inn for, skadelig eller ufordelaktig behandling av visse fysiske personer eller hele grupper, som er uforholdsmessig sammenlignet med alvorlighetsgraden av deres sosiale oppførsel.
• bruk av sanntids biometriske identifikasjonssystemer plassert i offentlig tilgjengelige rom (masseovervåkning) til bruk for rettshåndhevelse. Det gjøres bestemte unntak for
  • målrettet søk etter spesifikke potensielt fornærmede for en kriminell handling, inkludert savnede barn
  • forebygging av en spesifikk, betydelig og overhengende trussel mot liv eller fysisk sikkerhet for fysiske personer eller et terrorangrep
  • å avsløre, lokalisere, identifisere eller tiltale en gjerningsperson eller en mistenkt for en straffbar handling nevnt i artikkel 2 nr. 2 i Rådet rammeavgjørelse 2002/584 /JHA og som er straffbar i den aktuelle medlemsstaten til frihetsstraff eller en forvaringsordre i minst tre år

Ved masseovervåking skal man vurdere behovet for bruken opp mot konsekvensene ved å ikke bruke systemet. Man skal også vurdere konsekvensene som bruken av systemet har for de berørte personene når det gjelder rettigheter og frihet, og se på alvoret, sannsynligheten og omfanget av de konsekvensene som bruken kan ha. Masseovervåking i offentlige rom til bruk for rettshåndhevelse krever også autorisasjon fra domstol eller annen uavhengig offentlig myndighet.

2 Høyrisiko

Del III (Title III) har særskilte regler om KI-systemer som innebærer høy risiko for personers helse, sikkerhet eller grunnleggende rettigheter. Hvilke systemer som er høyrisiko KI-systemer er spesifisert i artikkel 6 og 7. I tråd med Kommisjonens risikobaserte tilnærming skal disse KI-systemene være lovlige når systemet er i tråd med reglene i del III kapittel 2, som blant annet betyr at

• KI-systemet må være underlagt et risikostyringssystem
• data som systemene bygges på må ha høy kvalitet for å sikre at resultatene er upartiske og ikke diskriminerer
• det må gis detaljert dokumentasjon om hvordan KI-systemene fungerer, slik at myndighetene kan vurdere om reglene er overholdt
• leverandører må dele informasjon med brukerne for å hjelpe dem med å forstå og bruke KI-systemer på riktig måte
• det må være menneskelig tilsyn både ved utformingen og implementeringen av kunstig intelligens
• standarder for sikkerhet må respekteres.

Listen med høyrisiko KI-systemer i vedlegg III omfatter både løsninger som allerede finnes eller er i ferd med å utvikles. Det er foreslått at Kommisjonen skal kunne utvide listen innenfor visse områder og ved bruk av en nærmere fastsatt vurderingsmetode, for å sikre at listen kan oppdateres i tråd med utviklingen og bruk av KI. Det skal etableres en database over høyrisikosystemer i regi av Europakommisjonen.

3 Begrenset risiko

Enkelte KI-systemer er underlagt visse transparensforpliktelser. Dette gjelder systemer som skal samhandle med fysiske personer. Disse systemene må være innrettet slik at personen blir informert om at de samhandler med et KI-system, hvis ikke dette framgår av sammenhengen av bruken. Denne informasjonsplikten gjelder ikke KI-systemer regulert i lov som har til formål å avsløre, lokalisere, identifisere eller reise tiltale etter en straffbar handling, hvis ikke det gjelder systemer som er offentlig tilgjengelige og etablert for å rapportere straffbare handlinger.

4 Minimal risiko

Størsteparten av KI-systemene som er i bruk, representerer minimal risiko for enkeltpersoner og samfunnet som helhet. De KI-systemene som ikke er omfattet av de tre første kategoriene, anses som systemer med minimal risiko, og er derfor ikke underlagt særskilte forpliktelser.

Det antas at hovedtyngden av KI-systemer vil falle inn under kategori 3 og 4. Europakommisjonen og medlemsstatene skal legge til rette for at det etableres bransjestandarder (codes of conduct).

Styringsfunksjoner

Det foreslås å opprette et European Artificial Intelligence Board (EAIB), ledet av Europakommisjonen. Styret skal gi råd og støtte til kommisjonen. Det foreslås også å etablere eller utnevne nasjonale tilsyn, og disse skal være representert i styret. Tilsynene skal være meldermyndighet og drive markedsovervåkning.

Sanksjoner

Det er foreslått at det skal kunne ilegges gebyrer ved brudd på regelverket. Gebyrenes størrelse avhenger av hvilke artikler det foreligger brudd på. De alvorligste bruddene kan gi gebyrer på inntil € 30 000 000 eller inntil 6 prosent av et selskaps årlige omsetning på verdensbasis.

Rettslige konsekvenser

Forslaget er ikke merket EØS-relevant. Det er imidlertid grunn til å tro at dette ikke er bevisst fra Kommisjonens side, men snarere en uteglemmelse. Dersom forordningen blir vedtatt, er det sannsynlig at den er EØS-relevant. Siden det er en forordning, vil den da måtte tas direkte inn i norsk lov.

Det er foreslått mindre endringer i en rekke regelverk, og disse vil påvirke norsk regelverk på området. Det dreier seg primært om at det i ulike sektorregelverk tas inn referanse til KI-forordningen.

Økonomiske og administrative konsekvenser

Det foreslås at det skal utnevnes en nasjonal tilsynsmyndighet for kunstig intelligens. Ansvaret kan tillegges en eksisterende myndighet, men vil sannsynligvis kreve noe ressurser. 

For leverandører av høy-risikosystemer basert på kunstig intelligens, vil det være ressurskrevende å tilfredsstille kravene i forordningen. Virksomheter som ikke overholder kravene risikerer gebyrer på inntil € 30 000 000 eller inntil 6 prosent av årlig omsetning.

Vurdering

Forslaget vurderes som EØS-relevant, men det er for tidlig å ta stilling til om det er akseptabelt. 

Status

Utkastet til forordning er sendt fra Europakommisjonen til EU-parliamentet og rådet 21. april 2021. I perioden fra dette til 6. august er forslaget lagt ut på offentlig høring (public consultation).

Norge har sendt en nasjonal posisjon til EU-kommisjonen i forbindelse med høringen.