Path 2Combined Shapecheckclipboardfacebookgithubglue icongoogle-plusinstagramlinkedinGroupsearchselectslideshareFill 57Group 3Group 2twitteryoutube
Menu
NL
Stadsgezicht Met Vrs

VRS gebruikt om beelden in categorieën in te delen CC-BY Henk Vanstappen Beeld: Erfgoedbrugge.be

PACKED: eindrapport VR4CH op CEST

Wat kunnen beeldherkenningsservices (VRS) betekenen voor het doorzoekbaar maken van beeldcollecties? MoMu, Datable en PACKED zochten het uit voor de erfgoedsector in Visual Recognition for Cultural Heritage (VR4CH), een innovatief partnerproject dat in 2018-2019 uitgevoerd werd met een subsidie van de Vlaamse Gemeenschap. De resultaten van verschillende ingebouwde VRS-services op een set van collectiebeelden van het MoMu werden vergeleken. Het eindrapport, dat nu gepubliceerd is op CEST, beschrijft de gevolgde methodologie, beoordeelt de services en eindigt met een conclusie.

De registratie van museale objecten, archieven en andere erfgoedcollecties blijft doorgaans beperkt tot een aantal formele kenmerken en administratieve gegevens vereist voor het beheer van het object (de ‘basisregistratie’). Registratie is immers een zeer arbeidsintensief proces. Inhoudelijke kenmerken van iconografische collecties (schilderijen, prenten, foto’s) en objecten (bijvoorbeeld de kleur, de specifieke print of het type van een kledingstuk) zijn dan ook slechts beperkt aanwezig. 

Ontwikkelingen in artificiële intelligentie (AI) bieden nu krachtige oplossingen om voorwerpen en personen geautomatiseerd te herkennen in beeldcollecties en ze vervolgens  geautomatiseerd te beschrijven. Visuele herkenningstechnologie wordt op steeds meer platformen aangeboden (o.a. Google Cloud Vision, Clarifai en Microsoft Computer Vision). Verschillende van die diensten werden op een set van 164 beelden getest en de bekomen resultaten werden met elkaar vergeleken. De set bestond uit foto’s van MoMu van objecten , scenografie, modeshows en events. De VRS kregen de opdracht om de 164 beelden van descriptoren (beschrijvende tags) te voorzien. 


Resultaat

Vooral bij het geven van een basisbeschrijving van de beelden was de VRS succesvol. Heb je enkel een korte beschrijving nodig van je object, probeer dan zeker eens een beeldherkenningsservice uit. Performantie is de grote sterkte: een VRS is duidelijk sneller én goedkoper dan een menselijke registrator. Tegelijk geeft een beeldherkenningsservice aanzienlijk minder gespecialiseerde descriptoren. Ze mist de gespecialiseerde, technische en historische kennis en context om een beeld gedetailleerd en correct te beschrijven. Indien een foutenmarge acceptabel is, dan leveren de services wel vaak bruikbare resultaten. De fijnmazigheid van de beschrijvingen is zelfs onverwacht hoog. Zo kan een beeldherkenningsservice verschillende onderdelen van een object apart beschrijven waardoor de resultaten zeker volstaan voor een indicatieve, globale beschrijving van erfgoedcollecties. Bijkomend voordeel: de VRS geeft onderwerpen en categorieën die buiten de traditionele scope van registratie vallen, zoals kleur en sfeer.  

Hoewel de resultaten van visuele herkenningsservices vaak niet zo exact zijn als de beschrijvingen van menselijke registratoren, zijn ze belangrijk. Door ze te combineren met de sterkte van de menselijke registratoren, kunnen ze collectiebeherende instellingen helpen om hun beschikbare tijd en middelen voor registratie op een efficiëntere manier in te zetten en zo hun registratie-achterstand te verkleinen.

Bij het gebruik van visueleherkenningstechnologie is het belangrijk om enerzijds te werken met herkenningsmodellen die het best aansluiten bij de inhoud van het beeldmateriaal en de verwachte uitkomst, en anderzijds een drempel in te stellen om het aantal fouten te verkleinen op basis van de waarschijnlijkheidsscore van de descriptoren. Resultaten kunnen verder verbeterd worden door 

  • de bekomen descriptoren manueel te controleren,
  • geautomatiseerd te filteren om ongewenste of irrelevante descriptoren te verwijderen,
  • te clusteren om beelden te classificeren op inhoudelijke of visuele kenmerken en/of ze op te zoeken in een trefwoordenlijst in functie van verrijking. 

Lees het volledige rapport op CEST.

Vlaanderen - Verbeelding werkt