Path 2Combined Shapecheckclipboardfacebookgithubglue icongoogle-plusinstagramlinkedinGroupsearchselectslideshareFill 57Group 3Group 2twitteryoutube
Menu
NL
Vrs Project

Kan een VRS gebruikt worden om foto’s per persoon te clusteren? CC BY Henk Vanstappen. Beeld: FOMU

FOMU, Datable en PACKED: use cases vastgelegd voor project beeldherkenning in de registratiepraktijk

Hoe kunnen Visual Recognition Services (VRS of visuele herkenningsdiensten) toegepast worden bij de basisregistratie en iconografische ontsluiting van erfgoedobjecten? Met het project Beeldherkenning in de registratiepraktijk zoekt FOMU dit uit in samenwerking met PACKED en Datable. FOMU, MoMu, Erfgoedcel Brugge en het Netwerk Oorlogsbronnen (Nederland) leverden beelden aan voor het onderzoek. De use cases die als pilootproject uitgevoerd zullen worden, zijn intussen bekend.

Visuele herkenningsdiensten gebruiken om ‘manuele’ registratie aan te vullen of te vervangen: hoe haalbaar is het? Dat wordt in dit project onderzocht door de descriptoren die een VRS genereert te evalueren en vergelijken met traditionele registratie. Hiervoor brachten we de afgelopen maanden de gebruikersbehoeften in kaart voor de verschillende collecties, en werkten we een methodologie uit voor het uitvoeren van de use cases.

FOMU

FOMU stelt de collecties van de Belgische fotografen Filip Tas en Suzy Embo ter beschikking voor het onderzoek. Registratoren stelden eerder al vast dat regelmatig dezelfde personen op de foto staan. Vaak zijn dit figuren uit de post-Cobra-beweging. Het kost de registratoren echter veel tijd om dit manueel te onderzoeken. Daarom wordt met VRS onderzocht of het mogelijk is om foto’s waar dezelfde persoon op staat, te clusteren, zodat registratoren vervolgens die persoon kunnen benoemen. Op die manier worden de namen van figuren uit de post-Cobra-beweging in de metadata opgenomen en kan in de toekomst verder onderzoek uitgevoerd worden, bv. een netwerkanalyse om te zien wie met wie op de foto staat.

MoMu

De communicatiedienst van MoMu heeft regelmatig nood aan esthetisch mooie foto’s uit de collectie (foto’s die goed belicht zijn, een mooie compositie hebben, etc.). In de beeldbank van MoMu is het mogelijk om een sterrenquotering aan de foto’s te geven, maar die wordt in de praktijk zelden toegekend. De communicatiedienst kan dus geen foto’s zoeken op basis van kwaliteit, waardoor de beeldbank onderbenut wordt.
In het pilootproject voor MoMu wordt onderzocht of het mogelijk is om een VRS een quotering te laten geven aan foto’s op basis van esthetische kwaliteiten. De resultaten van de VRS worden omgezet naar een formaat dat overeenstemt met de sterrenquotering van de beeldbank en zal in de beeldbank geïmporteerd worden. Op deze manier wordt het voor de MoMu-medewerkers mogelijk om mooie foto’s te filteren uit de beeldbank.

Erfgoedcel Brugge

In de beeldbank Erfgoed Brugge worden beelden handmatig ingedeeld in categorieën op basis van thema’s. Elk beeld krijgt hoogstens één categorie, ook als ze onder meerdere categorieën kunnen vallen. Dit beperkt hun vindbaarheid. Ongeveer 30% van de beelden zijn niet vindbaar, omdat ze nog geen categorie toebedeeld gekregen hebben. 
De VRS zal gebruikt worden om de beelden uit de beeldbank te voorzien van tags. Op basis van deze tags zullen de beelden automatisch ingedeeld worden in één of meerdere categorieën. Sommige beelden zullen voor het eerst ingedeeld worden in een categorie, andere zullen nu in meerdere categorieën op de beeldbank voorkomen.

Netwerk Oorlogsbronnen (NOB)

NOB wil een centrale toegang bieden tot de Nederlandse collectie over de Tweede Wereldoorlog en de Holocaust. Typische bronnen zijn standaarddocumenten en -formulieren die door de Duitse en Nederlandse administratie gebruikt werden. Elke partij, stad, dienst had zijn eigen standaard, wat voor moeilijkheden zorgt bij het ontsluiten van de oorlogsbronnen.
Een VRS wordt getraind zodat het de verschillende documenten kan herkennen en classificeren. Die standaarddocumenten en -formulieren zijn belangrijk omdat ze de essentie van een dossier bevatten. Ze kunnen verder gebruikt worden door de archivarissen om oorlogsdossiers van een korte beschrijving te voorzien op basis van OCR (Optical Character Recognition of automatische tekenherkenning) en crowdsourcing.  

Verdere stappen

De technische uitwerking en automatisering van de workflows wordt uitgevoerd door Datable. De use cases zijn ondertussen met succes uitgetest op een beperkte set van beelden. De komende maanden zullen ze uitgevoerd worden met de volledige collecties die door de content partners ter beschikking gesteld werden. Nadat de pilootprojecten afgerond zijn, publiceren we ze als gevalstudie op CEST

Vlaanderen - Verbeelding werkt