Path 2Combined Shapecheckclipboardfacebookgithubglue icongoogle-plusinstagramlinkedinGroupsearchselectslideshareFill 57Group 3Group 2twitteryoutube
Menu
NL
Depiction Game

Wikidata Depicts Game: inhoudelijke verrijking door vrijwilligers en Artificial Intelligence Training

Wereldwijd zijn steeds meer collectiebeherende cultureel-erfgoedorganisaties actief op Wikimediaplatformen. Onder andere kunstmusea ontdekken samen met de actieve communities op deze platformen de mogelijkheden tot extra zichtbaarheid en verrijking van hun collectiedata. Artificial Intelligence (AI) is een ‘hot topic’ waar ook in de kunstwereld met veel interesse naar wordt gekeken. Wanneer je de veelbelovende technologische ontwikkelingen op dit gebied combineert met de mankracht van de vele vrijwilligers op Wikimediaplatformen, ontstaan er boeiende mogelijkheden.

The Metropolitan Museum of Art (The Met) in New York ging ermee aan de slag. Ook PACKED liet een aantal Vlaamse collecties mee op de kar springen die reeds data op Wikidata en afbeeldingen op Wikimedia Commons publiceerden.

Kunstmusea hebben vaak gedetailleerde metadata over de werken in hun collectie. Gegevens zoals afmetingen, gebruikte materialen, de naam van de kunstenaar en datering zijn meestal netjes geregistreerd. Wat er op een schilderij te zien is, is meestal niet gestructureerd beschreven. Dat is natuurlijk niet enkel zo in Vlaanderen. Ook het grote The Met in New York kampt ermee en zocht naar oplossingen met behulp van AI. In 2018 startte The Met een project waarbij mensen samenkwamen om kunstwerken inhoudelijk te taggen. 1.063 verschillende tags werden toegekend: bomen, portretten, overstromingen, katten, kastelen,....

The Met, MIT en Microsoft organiseerden in december 2018 een hackathon om de mogelijkheden te onderzoeken van de dataset die dit opleverde. Ook Wikimedian Andrew Lih ging met een team aan de slag. Ze ontwikkelden een zelflerend model dat aan de hand van de data van The Met ook andere kunstwerken van gelijkaardige metadata kan voorzien. Concreet voorspelt het model door beeldherkenning wat een bepaald werk afbeeldt. De algoritmen die dit soort modellen aansturen verbeteren steeds en kunnen tegenwoordig tot 90% accuraat zijn, maar er blijft menselijke controle nodig om fouten te corrigeren. Grote datasets helpen bovendien om het model te trainen om nog accuratere inschattingen te maken. Het Wikidata Depicts Game biedt voor beide uitdagingen een zeer fijne oplossing.

De ontwikkelaars linkten een aantal tags met de overeenkomstige concepten in Wikidata en maakten vervolgens gebruik van de reeds bestaande game interface van Wikidata. Het Wikidata Depicts Game toont vandaag hoe je op een succesvolle manier AI combineert met menselijke beslissingen. Een speler krijgt de keuze tussen acht tags waarvoor hij/zij gesuggereerde kunstwerken te zien wilt krijgen. Vervolgens beslis je met een eenvoudige klik of het gesuggereerde (bv. een paard) al dan niet op het werk staat afgebeeld. De statements worden automatisch in Wikidata toegevoegd en de menselijke beslissing helpt het AI-algoritme te verfijnen.

6e_GU6XqQ1Poun1T1tElrx6Gon8fdG_gQRIKQsEXoD6FDoP1JiLpyvCMwdtDzWHZctyhz3dVZ9-pqzfVPa6i1PaJx5fcxDuiq-B27PSP5LHkBXiSk_ATetlR5rziztuyCB24CreR

Op initiatief van PACKED werden de collecties van een aantal Vlaamse kunstmusea aan het spel toegevoegd. De data- en contentdonaties van deze musea bevatten 2.184 kunstwerken waarvan zowel data als een beeld beschikbaar zijn. Het algoritme dat erop werd losgelaten suggereerde:

  • 399 bomen;
  • 72 bergen;
  • 69 paarden;
  • 31 soldaten;
  • 123 huizen;
  • 181 bloemen;
  • 112 boten;
  • 118 vogels.

Op dagelijkse basis wordt via het spel nu informatie toegevoegd over wat er afgebeeld staat op kunstwerken uit collecties over heel de wereld, en wordt tegelijk het AI-algoritme getraind. In de eerste twee maanden sinds de lancering van het spel werden al meer dan 13.000 menselijke beslissingen genomen, waarvan iets meer dan de helft resulteerde in een bevestiging van suggestie.

Instellingen die data en beelden publiceerden op Wikimediaplatformen zien via het Wikidata Depicts Game ook rechtstreeks hun collectiedata in Wikidata verrijken worden. Zie bv. Sint-Maartensfeest van Pieter Balten in KMSKA. Ook op collectieniveau valt de verrijking op. Zie bv. de recente wijzigingen aan items gelinkt aan het Groeningemuseum, waar je regelmatig ziet dat de eigenschap “beeldt af” via het Wikidata Depicts Game aan kunstwerken wordt toegevoegd.

De meertaligheid van Wikidata bevordert de vindbaarheid voor een internationaal publiek. Bovendien beschrijft Wikidata concepten die heel wat extra contextuele informatie bevatten bovenop de toegekende tag. Wikidata ‘weet’ bijvoorbeeld dat het afgebeelde paard een (zoog)dier is. Wie in Wikidata zoekt naar schilderijen waar zoogdieren op afgebeeld staan, zal dus op die manier ook de werken vinden waarop een paard staat afgebeeld.

Het Wikidata Depicts Game biedt een belangrijke meerwaarde voor collectiedata op Wikimediaplatformen. Met acht tags is de impact op dit moment nog vrij beperkt, maar die zal ongetwijfeld groeien in de toekomst. En bovendien is het spel ook gewoon leuk om te spelen voor de kunstliefhebber!

Vlaanderen - Verbeelding werkt