Augmented reality kunst?

KNVI jaarcongres / nov 2016

Interview IP magazine

1. Je noemt jezelf ‘augmented reality kunstenaar’. Voor de meeste lezers zal dit een nieuw begrip zijn. Hoe zou je deze term en je beroep het best kunnen omschrijven?

Dankzij de Pokemon Go rage heeft een breed publiek inmiddels kennis gemaakt met “AR”, de techniek die de virtuele personages op straat projecteert. Maar dat zoiets augmented reality heet en welke mogelijkheden er nog meer zijn, is minder bekend. Verrijkte werkelijkheid, is de letterlijke vertaling. Kijkend via een smartphone app of een augmented reality bril kunnen er digitale toevoegingen in de wereld om ons heen verschijnen. Ofwel op basis van GPS-posities, ofwel op basis van beeldherkenning. Posters kunnen tot leven komen, er kan extra informatie verschijnen op pagina’s van een magazine. Maar tegenwoordig kan ook een object of een hele ruimte fungeren als drie dimensionale ‘marker’. Er ontstaan dan virtuele ruimte die niet alleen parallel aan de fysieke realiteit bestaat, maar daar echt mee integreert. Een half digitale werkelijkheid die je al programmerend vorm aan kan geven, zonder beperkingen en grenzen. Ideaal voor mij, gezien m’n achtergrond als IT’er. Na m’n vervolgopleiding aan de Gerrit Rietveld kunstacademie stortte ik mij volop op augmented reality. Ik verkende de mogelijkheden voor allerlei kunstdisciplines. Ik maakte virtuele sculpturen, semi-virtuele theaterstukken en experimentele AR toepassingen, daarbij niet gehinderd door de beperking om er telkens ook een kloppend meerjarig bussiness model aan te koppelen. Op festivals en evenementen presenteerde ik m’n experimentele AR projecten als prototypes van een toekomst die ons mogelijk te wachten staat. En soms ben ik m’n eigen opdrachtgever. Zo was ik aantal jaar geleden mede-organisator van een uitgebreid festival met uitsluitend virtuele kunst, in de hoop de vele mogelijkheden met augmented reality zo goed mogelijk op de kaart te zetten, letterlijk.

2. Je probeert de AR-technologie te verbinden met sociale en maatschappelijke belangen. Hoe ziet dit er uit in de werkelijkheid? Wellicht kun je enkele voorbeelden benoemen van je projecten.

De technologie waarmee ik binnen de kunstcontext al geruime tijd experimenteerde, krijgt steeds meer voeten aan de grond in de ‘gewone’ wereld. In plaats van een focus op de technische mogelijkheden met AR is mijn fascinatie tegenwordig de manier waarop we AR gebruiken en hoe dat ons en de wereld om ons heen beinvloed. Ik zie augmented reality als een heel breed gebied, waarin het niet uitsluitend gaat om de visuele verschijningen. De kern en de kracht van AR draait om lokatie-gebonden data en interactie. De smartphone die zowat een onderdeel van onszelf is geworden, verzorgt steeds vaker een koppeling met de digitale parallele wereld om ons heen. Google Glass leek het perfecte apparaat voor zo’n connected toekomst. Op het subtiel aanwezige extra scherm verschenen meldingen die betrekking hadden op de plek waar je was. Helaas waren er nog te weinig toepassingen die daar zinvol op inspeelden, waardoor de potentie van het apparaat niet goed werd begrepen. Het werd voornamelijk gezien als een privacyschendende camera die 24/7 alles registreerde en online deelde. Op zo’n complexe situatie inspelen deed ik met de lancering van de “Watch Your Privacy” app. De slogan die daarbij hoorde was: “Optimaal je privacy in de publieke ruimte waarborden? Koop een Google Glass!”. Een ogenschijnlijk onlogische uitspraak, maar ik hoopte er mee aan te tonen dat de werkelijkheid rondom techniek vaak ingewikkelder en genuanceerder ligt. Er wordt nog steeds doorgepraat over Google Glass, maar de meningen die bussiness analisten, marketing professionals of techneuten er inmiddels over hebben verschilt enorm en is nauwelijks nog gebaseerd op hands-on ervaringen. Over één ding is iedereen het eens: mobiele techniek die we permanent bij ons meedragen gaat een steeds grotere invloed hebben op ons doen en laten en ook veel meer impact hebben onze sociale interacties. Behalve tijdens het daten, gaan apparaten ons suggesties doen of aansturen in veel meer situaties. Op zich opent het interessante mogelijkheden als we meer stimuli krijgen die ons wijzen op onze omgeving én de mensen die daar aanwezig zijn. Maar het risico is dat we door het leven zullen gaan als halve robots, efficient aangestuurd door algoritmes en data uit de cloud. In een toekomstige wereld waarin techniek ons halve bestaan bepaalt, hoop ik dat er ruimte blijft voor fictie en eigen avontuurlijke creativiteit. Want er is een dreiging dat onze eigen inbreng beperkt raakt tot het dwangmatig bijhouden van allerlei social media kanalen, waarbij we meestal maar één rol spelen: onszelf. Al starend op onze mobiel voelen we ons verbonden met heel de wereld, maar hebben we geen oog meer voor onze directe omgeving. Als tegenhanger van dat alles lanceerde ik “Meet Your Stranger”. Daarin speel je een rol en raak je op willekeurige plekken verzeild in korte scenes die je tezamen met een wildvreemde ter plaatse beleeft door beide de helft van een theatertekst voor te lezen vanaf het scherm van de mobiel. Met het project hoop ik duidelijk te maken dat meer techniek niet altijd de beste oplossing is, maar dat soms de mens de beste aanvulling is op een situatie waarin techniek zelf te kort schiet.

3. De meeste lezers van IP zijn werkzaam in het gebied van informatie (informatiemanagement, etc.). Heb je een idee hoe AR tot uiting zou kunnen komen bij hun werkzaamheden en hoe zijzelf gebruik van AR-technologie kunnen maken?

Augmented reality kun je zien als beeldscherm dat geen kader meer heeft. De informatie verschijnt rechtstreeks in de wereld om je heen. Voorheen zat een beeldscherm vast aan een computer. De laptop maakte het scherm portable. En met tablets of smartphones neem je nog makkelijk de informatie mee naar de plek waar de informatie relevant is. Een augmented reality app op een smartphone of tablet is een eerste stap, maar hands-free via een bril rondkijken en informatie automatisch zien verschijnen zal nog handiger zijn. Een klassiek voorbeeld is een monteur. Die raadpleegt in de toekomst een handleiding niet op een meegebrachte display. Maar dankzij de beeldherkenning in een AR bril verandert de situatie ter plaatse drie dimensionaal in een een geannoteerde werkelijkheid. De monteur voert de handelingen uit, maar op basis van informatie in de cloud denkt een geautomatiseerd systeem mee. Ooit zal de fysieke werkelijkheid blanco ontworpen kunnen worden, de juiste interface en de juiste informatie verschijnt via AR en kan per individu, tijdstip en situatie verschillen. Prototypes van MIT laten heel fraai zien hoe augmented reality perfect integreert met het toekomstige internet of things. Maar er zijn niet alleen futuristische toepassingsmogelijkheden. Het ontsluiten van (beeld)archieven en het visualeren van materiaal op de plek waar het relevant is, zal iets zijn waar we op korte termijn steeds meer van zullen gaan zien.

4. Welke app en/of AR-tool is volgens jou een absolute ‘must have’ voor de informatieprofessional?

Een echte must have app kan ik moeilijk aanwijzen. De toepassingsmogelijkheden zijn talrijk, en zo zijn er ook tal van boeiende AR apps voor allerlei toepassingen. Wat ik wel kan aanraden is om een keer de Microsoft Hololens uit te proberen, zodra zich een gelegenheid voordoet. Want dat is wel de manier waarop AR optimaal te ervaren is.

5. Welke toekomstige ontwikkelingen voorzie je op het gebied van AR?

De ontwikkelingen op het gebied van hardware gaan heel hard. De manier waarop de virtuele wereld verschijnt, wordt steeds beter. Maar de apparaten die zo’n optimale ervaring bieden, zijn zelf nog niet optimaal. De Hololens is te groot om permanent op te hebben. Het wachten is op een variant die subtieler is. Het bedrijf Magic Leap is met een zeer geheimzinnige manier bezig met een techniek die rechstreeks in je oog projecteert, waardoor het benodigde montuur op je hoofd veel minder groot en zichtbaar zal zijn. Maar het zal nog lang duren voordat we zoiets massaal gaan dragen, en als maatschappij accepteren. Voorlopig zal AR op die manier nog geen massa medium worden. Waarschijnlijker is dat het op korte termijn zal draaien om het vinden van de juiste content op het juiste moment, om die vervolgens te bekijken met het meest geschikte apparaat. De mobiel zal voor een groot deel van de toepassingen prima geschikt zijn, maar vermoedelijk zullen we wanneer nodig een AR viewer aan zetten of zelfs op bepaalde momenten rondkijken in een VR wereld, dankzij de vouwbare portable virtual reality bril die we eveneens op zak hebben.

KNVI lezing /

Een techniek waar we tegenwoordig (weer) veel over horen is augmented reality. Bekend geworden door de app van het Nederlandse bedrijf Layar waarmee je een extra visuele laag kon laten verschijnen op tijdschriften, begint “AR” zich momenteel meer en meer in de wereld om ons heen te manifesteren. Zullen we in de toekomst rondkijken in een semi-digitale wereld? Is de definitieve doorbraak van AR nog afhankelijk van het moment waarop er nieuwe hardware beschikbaar komt die betaalbaar is? Gaan we de Microsoft Hololens ooit in het straatbeeld zien? Met dergelijke vragen houdt techneut en kunstenaar Sander Veenhof zich bezig.
Vanuit zijn achtergrond in de IT (bedrijfsinformatica, VU) en dankzij een opleiding aan de Gerrit Rietveld kunstacademie zet hij gedachte-experimenten over een augmented toekomst om in prototypes die in het hier en nu te ervaren zijn. Dat AR niet langer een fictieve toekomstvisie is, bewijst de massale aandacht voor het recente Pokemon Go spel. In de paralelle wereld die aan het ontstaan is, speelt lokale plaatsgebonden data een steeds grote rol. Data als de verbindende factor tussen de fysieke ruimte, de mens en de activiteiten die er plaatsvinden. Welk type informatieprofessional gaat aan die wereld vorm en invulling geven? Zijn het de grote tech-giganten Google, Facebook, Microsoft en Apple die ons doen en laten gaan bepalen, of spelen wij daar zelf ook nog een rol in?
In zijn beeldende presentatie schetst hij de stand van zaken op het gebied van augmented en virtual reality, waarbij hij naast de technische aspecten ook naar de sociale en maatschappelijke impact van de techniek kijkt. Aan het eind van de sessie zal er gelegenheid zijn om wat van de besproken projecten uit te proberen, voor hen die zich nog niet eerder in een augmented of virtual reality omgeving hebben rondgekeken.

congres.knvi.info