In een eerder artikel ging ik in op de juridische en ethische effecten van het gebruik van AI door algemene boekenuitgeverijen. Voor verreweg de meeste spelers in het boekenvak is de impact van de wetgeving beperkt.
Uitgeverijen moeten aangeven dat ze AI gebruikt hebben binnen het uitgeefproces, en ze moeten ervoor zorgen dat de medewerkers die zich bezighouden met AI daar ook de beperkingen en negatieve effecten van begrijpen. In de praktijk is dit allemaal niet zo spannend; bij gelegenheid een extra regeltje in het colofon van een boek en een beetje situationeel bewustzijn bij de medewerker. Niet zo’n hoge lat voor een bedrijfstak waar informatie handel is.
Maar voor de educatieve uitgeverij ligt dit compleet anders…
Juridische implicaties van het gebruik van AI systemen binnen de educatieve uitgeverij
De onlangs aangenomen AI Act van de Europese Unie vestigt een stevig regime van beheersing en handhaving over het gebruik van AI binnen de EU. Er bestaan vier categorieën, waarvan de tweede — “hoog risico” — vandaag voor ons centraal staat.
Want het lijkt me sterk dat educatieve uitgeverijen zich stelselmatig zullen bezighouden met het gebruik of de ontwikkeling van AI met een “onaanvaardbaar risico”. Het gaat daarbij bijvoorbeeld over het uitvoeren van massasurveillance of doelmatig inbreuk maken op de mensenrechten. De zwaarste risicocategorie zal dus ook voor educatieve uitgevers niet gelden.
De “hoog risico” categorie echter ziet onder andere op toegang en gelijkheid van onderwijskansen. Dit raakt aan de kerngebieden waar educatieve uitgevers zich mee bezig houden. Zelfs als een educatieve uitgeverij zich alleen maar bezighoudt met het traditionele product — het ontwikkelen van lesmethodes door middel van schoolboeken — dan nog zou de AI Act het gebruik van AI in deze producties steviger in de gaten willen houden dan het geval zou zijn bij uitgeverijen van andere types boeken.
Toepasselijkheid van de AI Act op traditionele lesmaterialen
Immers, de geproduceerde content heeft impact op het onderwijs en daarmee “wellicht” op de toegang, de veiligheid en de overige rechten van de genieters van onderwijs. Educatieve uitgevers dragen verantwoordelijkheid voor het aanbieden van accurate content aan deze groep.
Daarom ligt bij hen een grotere verantwoordelijkheid wanneer het gaat om het gebruik van AI dan bij — bijvoorbeeld — een uitgeverij van romans.
De AI Act hoeft niet per se ingrijpende effecten te hebben op de productie van traditionele lesmaterialen, zoals studie- en werkboeken. Maar er zijn wel degelijk risico’s voor de bedrijfsvoering, bijvoorbeeld als AI wordt gebruikt om lesstof te selecteren die in onderwijsproducten worden opgenomen.
Inhoudsselectie op basis van AI
Het gaat hier niet om een systeem waarmee de scholier of student rechtstreeks interacteert. Hij of zij heeft waarschijnlijk niet eens kennis van het bestaan ervan.
Het gaat bijvoorbeeld om de selectie van leermaterialen die cruciaal zijn voor de voorbereiding voor examens of andere belangrijke beoordelingen. Denk aan een AI-systeem dat autonoom bepaalt welke onderwerpen in een studiemethode worden opgenomen, in de wetenschap dat deze direct gerelateerd zijn aan de eindexamens.
Hierbij zijn de collectieve belangen van alle studenten dusdanig groot dat de EU stringente veiligheidsmaatregelen noodzakelijk acht. Zo’n systeem zal dus al snel in de hoog-risico categorie vallen.
“Toekomstbestendigheid” van de AI Act wetgeving
Waar het gaat om educatieve content kunnen we er voor het moment van uitgaan dat de kundigheid van de medewerkers in deze bedrijfstak, gecombineerd met de marktdruk van het behouden van de concurrentiepositie bijdraagt aan het hooghouden van de kwaliteit van educatieve content.
Dit kan echter veranderen.
Het is niet ondenkbaar dat AI zo ingeburgerd raakt in het educatieve uitgeversbedrijf dat over een langere periode — van zeg vijftien jaar — steeds meer overzichtstaken worden overgelaten aan AI systemen, met als gevolg dat menselijke operationele kennis die hiervoor benodigd is langzaam wegsijpelt uit het bedrijf.
Ook is het niet ondenkbaar dat de adoptie van AI in de productie van traditionele lesmaterialen een marktschok teweegbrengt die over net zo’n langere periode leidt tot een consolidatie van marktmacht bij slechts enkele partijen.
Mits aan één of beide van deze ontwikkelingen wordt voldaan kan het gebeuren dat de productiekwaliteit van traditionele lesmaterialen zodanig onder druk komt te staan dat de kwaliteit van en de toegang tot het onderwijs verarmt. Dit is een onwenselijke situatie en eentje die de Europese Commissie uiteraard wil voorkomen.
Mede omdat expliciet door de Europese Commissie is aangegeven dat de AI Act moet worden beschouwd als toekomstbestendig en zich kan aanpassen aan de behoefte van de tijd, is het raadzaam ook in het geval van de productie van traditionele lesmaterialen waakzaam te blijven.
Maar uiteraard doen educatieve uitgevers al tijden veel meer dan alleen het produceren van schoolboeken.
Toepasselijkheid van de AI Act op geautomatiseerde educatieve platformen
Zo gauw je als educatieve uitgever iets gaat doen met AI op een zelf-ontwikkeld onderwijsplatform loop je sneller kans in de hoog-risico categorie terecht te komen. Dit is bijvoorbeeld het geval als het AI-systeem zich bezighoudt met:
- het bepalen van toegang tot onderwijs of opleiding
- het evalueren van studenten
- het beoordelen van de prestaties van studenten
Kort en goed: als de educatieve carriere van individuele studenten dreigt te worden beïnvloed door AI systemen vindt de EU dat er sprake is van een hoog risico-systeem.
Welke gevolgen heeft zo’n klassificatie in de praktijk?
- Het desbetreffende AI systeem moet worden opgenomen in een centrale database.
- Er moeten regelmatige assessments plaatsvinden over de toelaatbaarheid en zorgvuldigheid van het systeem.
- Er moet iemand meekijken bij de beslissingen die het systeem maakt.
- Er worden strenge eisen gesteld aan de kwaliteit van de data die als basis dienen voor het functioneren van het AI systeem, en die kwaliteit moet op peil gehouden worden.
- Er moet duidelijke en voor eindgebruikers toegankelijke documentatie bestaan over het functioneren en de beslissingspaden van het AI systeem.
- Het systeem moet betrouwbaar en nauwkeurig zijn en zich binnen minimale foutenmarges bewegen.
Tot zover is het misschien nog lekker abstract, maar ik vermoed dat de educatieve uitgever aan zijn theewater aanvoelt dat de AI Act nog best wel eens relevant zou kunnen zijn. Laten we naar een drietal concrete voorbeelden kijken.
Gepersonaliseerd leerplatform
Een uitgever heeft, naast meer traditionele lesmaterialen, ook een online leeromgeving waar scholieren individuele lesstof, oefeningen en toetsen aangeboden krijgen, op basis van eerdere resultaten. Dit systeem maakt op punten gebruik van AI om zo dicht mogelijk bij de leerervaring van de individuele student te komen en deze zo goed mogelijk te begeleiden.
Dit is een voorbeeld van een hoog-risico systeem onder de AI Act. De kans dat het systeem fouten maakt, of in de data inbegrepen voorkeuren uitvoert, ten nadele van individuele studenten is niet verwaarloosbaar. Daarom gelden voor een dergelijk systeem de stringentere vereisten onder de AI Act, die hierboven zijn opgesomd.
Beoordelingssystemen
Een uitgever ontwikkelt een automatische manier om open vragen te beoordelen. De input van een student wordt bijvoorbeeld naar een Large Language Model geleid, met de instructie om deze binnen een beperkte context te beoordelen. Op basis van deze beoordeling wordt een score toegekend die onderdeel uitmaakt van het eindoordeel over de hele toets.
Ook dit is een voorbeeld van een hoog-risico systeem onder de AI Act. Kwetsbare punten hier zijn:
- de kwaliteit van de zogenaamde “prompting”: de context die aan het Large Language Model wordt meegegeven teneinde de score te kunnen bepalen
- de autonomie van het systeem om zelf beslissingen te nemen
- de ondoorzichtigheid van de totstandkoming van het oordeel en het ontbreken van een directe beroepsmogelijkheid voor de student
- de mogelijkheid van het voorkomen van impliciete “biases”: systematische voorkeuren die het speelveld voor individuele studenten minder gelijk maken
Daarom gelden ook voor een dergelijk systeem de stringente voorwaarden die onder het hoog-risico systeem van de AI Act vallen, zoals hierboven opgesomd.
Systemen voor voortgangsmonitoring
Een systeem dat met behulp van AI adviseert over de voortgang van een leergang, het niveau van die leergang, of de studierichting van een student, op basis van diens eerdere resultaten.
Hierbij moet worden opgemerkt dat de student vaak niet weet dat het bestaat. Het is niet een systeem waarmee de student per se interacteert, zoals dat wel het geval is bij een persoonlijke leeromgeving bijvoorbeeld.
Niettemin is het risico vergelijkbaar met dat van het vorige systeem, maar op een grotere schaal. Er wordt immers advies gegeven over de mogelijke toegang van een student tot bepaalde niveaus of zelfs een studierichting. De kwetsbaarheden zijn potentieel groot en ondoorzichtig, zeker voor de student in kwestie, en dus – vindt de EU – moeten de veiligheidsbepalingen navenant zijn.
Ook dit systeem dient daarom te voldoen aan de verschillende voorwaarden in de opsomming.
Aandachtspunten voor het gebruik van AI binnen de educatieve uitgeverij
Uiteraard vallen niet alle toepassingen van AI binnen de educatieve uitgeverij direct in de hoog-risico categorie.
Het is zaak dat er binnen de onderneming een proces op gang komt om zorgvuldig en op doorgaande basis in te schatten wat de daadwerkelijke risico’s van het gebruik van AI zijn, en hoe deze het best kunnen worden gemitigeerd. Idealiter ontstaat binnen de educatieve firma zelf een doorwrochte veiligheidscultuur waardoor het stringente regime van de AI Act meer een soort achtervanger wordt dan een eerste verdedigingslinie.
Voor individuele firma’s kan het zinnig zijn om een functie in het leven te roepen die deze veiligheidscultuur aanzwengelt en monitort. Verder kunnen nauwe communicatie met het educatieve werkveld alsmede conferenties binnen de industrie zelf daarbij als smeermiddel werken om collectief tot best practices te komen.
Op een rijtje: de kansen en uitdagingen van het gebruik van AI binnen de educatieve uitgeverij
De kansen voor het gebruik van AI binnen de educatieve uitgeverij zijn groot. Weinig andere spelers binnen de uitgeverijwereld kunnen de mogelijkheden van AI zo alomvattend benutten als deze subtak. Van het genereren van content tot het faciliteren van oefeningen en het beoordelen van eindproducten van studenten: AI kan in vrijwel alle aspecten van de dienstverlening zowel een kwalitatieve als een productieve impuls geven.
De risico’s zijn echter ook uitvergroot. Vrijwel nergens binnen het uitgeversvak bestaat de kans dat producten in de “hoog-risico” categorie worden ingedeeld, maar wel binnen de educatieve uitgeverij. De AI Act van de Europese Unie kan in deze bedrijfstak voor een stevige verstoring zorgen.
Ook dit schept kansen voor de organisatie die optimaal is voorbereid. Misschien is dat uw organisatie, misschien die van uw concurrent.
Geef een reactie