Helleveeg
Helleveeg is een immersive installatie waarin kijkers fysiek in de schoenen van een personage stappen. Met de hulp van real time technologie kan de kijker invloed uitoefenen op het verhaal waarin hij zich bevind. Fysieke flessen en een fysieke ketel zorgen voor de verbinding tussen de digitale wereld en de fysieke wereld.
In Helleveeg word je getransporteerd naar het jaar 1596 en stap je in de schoenen van Odilia. Als dochter van Sijbrand, de alchemist van een klein Limburgs dorp, is het aan jou om het dorp te helen terwijl hij zich elders bevindt. Maar, dit blijkt geen lichte taak.
Mijn werk aan het project
Layout Dorp
Het dorp is in ons verhaal heel belangrijk. Daarom is het belangrijk dat de layout van het dorp voldoet aan alle dingen die het verhaal nodig heeft. Omdat de kijker maar vanaf 1 punt het dorp inkijkt, moet alles in 1 frame te zien zijn. Ook moeten we rekening houden met de performance van de Game Engine. Als we heel veel zouden zien van het dorp, zou dat te zwaar kunnen worden.
We wisten al heel snel dat we de ingang van het dorp moesten zien. Ook moest er een verzamel punt zijn waar dorpelingen samen komen. Zo hadden we nog een paar punten.
We hebben verschillende layouts geprobeerd en zijn uiteindelijk geland op deze, iets meer diagonale hoek. (Screenshot)
Door deze layout kunnen we het gezichtsveld beperken door de gebouwen aan de zijkanten, en geven we toch het gevoel dat er een groter dorp is. Ook hebben we de ingang van het dorp en het dorpsplein mooi centraal in beeld.
Personages:
Ons verhaal bevat een heleboel personages. In het oorspronkelijke script zaten 17 sprekende personen, plus nog een dozijn dorpelingen.
Voor al deze personages hebben we gebruik gemaakt van “Metahumans”. Dit is een systeem waarmee je snel, mooie mensen kan maken. Het probleem is, de mensen waren TE mooi. (Foto van een Metahuman in nette kleren)
Omdat deze Metahumans niet echt gemaakt zijn voor mensen in het jaar 1600, moesten we onze eigen kleding ontwerpen. Omdat de cast inmiddels van 17 naar 9 was gegaan, hebben we 9 unieke outfits gemaakt.
Naast deze hoofdrolspelers hebben we ook nog dorpelingen. Het doel van de dorpelingen was om aan de kijker duidelijk te maken dat het dorp een stuk groter is, dan de 9 mensen die langs komen. Om zoveel mogelijk diversiteit te geven aan deze personages hebben we logica geschreven die random mensen, een random shirt, broek of jurk geven. En deze kledingstukken een random kleur geven. Oftewel, vrijwel oneindig combinaties.
Motion capture
Om de 25 minuten aan animatie te maken hebben we gewerkt met motion capture. Motion capture is, zoals de naam eigenlijk al zegt, het opnemen van beweging. Hiervoor hebben we de acteurs speciale pakken aan gedaan met een heleboel sensoren die elke minuscule beweging nauwkeurig detecteren.
Maar dan zijn we er nog niet, want naast de beweging van het lichaam en handen is er nog iets heel belangrijks. Het gezicht. Om de mimiek van de acteurs vast te leggen moesten we een hele andere techniek gebruiken. Je kan namelijk niet de beweging van een ooglid opnemen met een sensor. Hiervoor hebben we een camera gebruikt die vast zat aan het hoofd van de acteur. En dan hebben we natuurlijk nog het geluid. Het was echt de makkelijkste set dag voor de boom operator, want we hadden geen camera.
Waar je bij motion capture goed op moet letten is dat je fysieke bewegingen straks moeten passen in je digitale wereld. De hoogte van je tafel op set moet matchen met de hoogte van het bureau in de game. En dat soort dingen bleken toch best een grote uitdaging. (Foreshadowing)
Daarnaast was het, om praktische redenen, niet mogelijk om meerdere acteurs tegelijkertijd op te nemen. Alle acteurs staan dus, afgezien van ons prachtige tegenspel, alleen in de studio. Zelfs als we dit soort scènes moesten opnemen. (Foto van scene 8, met 6 personages)
En dan is het opnemen van een simpele dialoog opeens best lastig als je rekening moet houden met timing en kijkrichtingen.
Uiteindelijk hebben we in 4 dagen 120 minuten aan animatie opgenomen.
Real time preview
Om dit alles een stukje makkelijker te maken konden we altijd op een scherm de unreal scène zien. Op de achtergrond liep de game engine met een proxy van het dorp. Alle motion capture data werd, naast het opnemen, ook doorgestuurd naar de engine zodat we live konden zien hoe de performance er ongeveer uit komt te zien in de wereld.
Naast dat dit heel fijn was voor regie en de kijkrichtingen, was het voor de acteurs ook heel fijn om even te kunnen spelen met het lichaam dat ze moeten besturen.
Game logic
Game logic is eigenlijk alle code die ervoor zorgt dat de game doet wat hij moet doen. In ons geval dus niet om te gamen, maar om een verhaal te vertellen.
De belangrijkste taak van de game logic was het constant blenden van verschillende sequenties. Binnen een sequentie kunnen we alles maken wat we willen. Maar in Helleveeg heeft de gebruiker invloed op wat wanneer afgespeeld wordt.
Een scène begint met een intro sequence, maar die kan halverwege onderbroken worden voor een ander stukje animatie, dan nog een loopende animatie om uiteindelijk over te gaan op de eindsequentie. Maar het kan ook net zo makkelijk heel anders lopen. We moeten er dus de hele tijd voor zorgen dat alles in elkaar over kan gaan. Dat was zowel technisch als artistiek een uitdaging.
De gebruiker heeft dus veel invloed op de ervaring. Het schenken van de flessen wordt namelijk draadloos doorgegeven aan de game. Die houd bij hoeveel er van elk ingrediënt gebruikt is. Is de fles vol? Dan berekent hij welk recept je waarschijnlijk probeerde te maken. Ik kan vervolgens heel gemakkelijk instellen wat de gevolgen hiervan zijn.
Omdat we een immersief verhaal vertellen is immersief geluid heel belangrijk. We werken met met een 5.1 geluidssysteem. Dat betekent dat we 5 speakers en een subwoofer hebben. De voice lines zijn natuurlijk gekoppeld aan de animatie, maar alle andere geluiden zijn random, afhankelijk van waar in het verhaal de gebruiker zit. Sommige geluiden zijn helemaal automatisch. Bijvoorbeeld de voetstappen. Daarvoor heb ik een systeem geschreven dat voetstappen in de animatie herkent en daar geluid aan koppelt.
Ook problemen in de animatie hebben we opgelost met logic. We hadden het net over dat de mocap precies moet kloppen met de digitale wereld. Dat was dus in veel gevallen niet helemaal gelukt. We hadden issues met de hoogte van de tafel, de positie van de fles en kijkrichtingen. Gelukkig heb ik een systeem kunnen ontwikkelen dat soort problemen automatisch op te lossen.
Credits
- Crew
Regie Britt Reijners
Scenario Maud Coense
Productie Lars Baltus, Eva Schipper
Production Design Timouch Ben Amar, Max Driest
Geluidsontwerp Lucas van den Berg
Geluidsopname Luuk Bakkum, Lars Baltus, Lucas van den Berg, Vincent Roemers
Motion Capture Technician Thijs Smeele
MoCap Cleanup Artist Isabella-Shiraz Hitzert
Unreal Technical Artist Thijs Smeele
Unreal Artist Britt Reijners
Environment Artist Thijs Smeele
Clothing Supervisor Kamran Khan
Clothing Artists Roos Bik, Kai de Leeuw, Gwen Partouns, Eva Stuurop
Embedded Systems Designer Britt Reijners
DevOps & Custom Software Mervin van BrakelMet Lilou Dekker, Bert Geurkink, Damaris de Jong, Judith Noyons, David Snelder, Egbert-Jan Weeber