empatiAR (lo so non è corretto che venga definita “Installazione multimediale in realtà aumentata” ma si porta la descrizione del progetto originario) nasce da un incontro fortuito tra musica e video immersivo. Luca A. d’Agostino è un fotografo amante della musica jazz. Devo essere sincero, ho un rapporto difficile con questo genere musicale e quando mi ha contattato per vedere se si poteva realizzare qualcosa di immersivo sono partito con un un po’ di preguidizio musicale. Ma amo le sfide e fare un lavoro con un elemento (quello musicale in questo caso) con cui hai delle riserve è molto stimolante perché si rimette in discussione la propria capacità di adattamento.

Il primo incontro è a San Giorgio a casa di Luca dove ci raggiungono anche Gianluca Boria, il fonico, e Massimo De Mattia, il flautista compositore. L’idea sembra semplice, un dialogo tra l’improvvisazione musicale e gli ambienti. Ma come tutte le idee semplici sono complesse da realizzare e la complessità non è tecnica ma di concetto.

Quando si crea un lavoro del genere bisogna essere un po’ alchimisti. Le indicazioni che avevo erano quelle di valorizzare i luoghi, ed era una via indicata dopo una riunione con il presidente di Mittelfest. Gli ingredienti c’erano tutti, i luoghi, la musica, mancava come amalgamarli per creare un giusto equilibrio. Purtroppo il tempo non era molto e la prima ipotesi di progetto era saltata così proposi a Luca di fare un video immersivo. Tra non fare nulla e fare scelgo sempre la seconda.

Le riprese

Il 13 luglio giriamo. Abbiamo solo un giorno a disposizione. Erano appena passati dei giorni di pioggia intensa e la prima location sul Natisone era inaccessibile così ne scegliemmo un’altra.

La scelta del luogo non fu più azzeccata. La lingua di ciottoli stava quasi ad indicare il Ponte del Diavolo e dal lato opposto era come una via di fuga dove Massimo poteva uscire per poi rientrare nel nuovo luogo. Lo spazio a disposizione mi permetteva di posizionare Massimo in soli tre punti sui 360° e, al contempo, vedere il Ponte del Diavolo. L’idea che avevo in mente era quella che Massimo dialogasse “musicalmente” con se stesso e mentre giravo la prima scena mi accorsi che un uccello rispondeva con il suo canto al suono del flauto e così si aggiunse il livello di dialogo con lo spazio oltre che sonoro anche fisico/visivo. La conformazione di questa lingua di terra tra le acque ispirò anche l’uscita, in una delle tre posizioni Massimo doveva uscire dalla scena mentre nelle altre due posizioni si fondeva con il paesaggio. L’uscita mi permise di collegarlo visivamente alla seconda location, anche se in quel momento non avevo ancora chiara la modalità di passaggio.

Purtroppo per vari problemi le location che avevamo a disposizione fino a qualche giorno prima, il giorno delle riprese non erano disponibili così optammo per due sole location, il già citato Natisone e il Tempietto longobardo.

Nel Tempietto volevo continuare il dialogo con lo spazio e far coincidere l’uscita dal Natisone con la posizione dell’altare. Scelsi di posizionare la videocamera al centro così da avere spazio per mettere Massimo in tre punti visti i margini limitati di movimento che avevamo.

Il Tempietto è un gioiello e bisognava presentarlo come tale. Mantenni la stessa altezza per la videocamera così da non avere differenze ma la presenza di una colonna (leggio) rende l’esperienza con il visore leggermente diversa, si ha l’impressione di stare più alti. Questo perché la colonna diventa un punto di riferimento di altezza e il nostro cervello elabora il mondo che ci sta attorno e ne deduce distanze ed altezza. Il video è stato girato originariamente in modalità stereoscopica ma nei test che ho fatto durante il montaggio, la stereoscopia aumentava questa sensazione di disagio e visto che molti potrebbero avere dei problemi di vertigine ho optato per la versione monoscopica che limita questa percezione.

Dopo aver stitchato e guardato il materiale proposi di girare anche in volumentrico così da avere a disposizione un “oggetto” da modificare con la musica ma che facesse anche da congiunzione tra le due scene.

La ripresa volumetrica fu girata il primo di agosto con pochissimo tempo per sperimentare ma avevo già in mente il modo di usarla. Doveva essere l’elemento legante, la raffigurazione visiva dei suoni. La figura di Massimo, per entrare nello spazio, doveva per prima cosa diventare lo spazio, doveva fondersi e trasformarsi in un’onda sonora.

La post produzione è stata abbastanza lunga, solo lo stitching delle sei riprese fatte ha richiesto circa tre giorni e tre notti di rendering. Il tutto è stato girato in 8K per mantenere la qualità ed il dettagio visivo. Il compositing del video volumentrico è stato fatto usando Depthkit ed esportato l’obj convertito in nuvola di punti con Plexus all’interno di After Effects. Una volta ricevute le tracce audio dallo studio le ho utilizzate come modificatori della nuovla di punti.

Il montaggio finale è stato fatto con Premiere Pro (dynamic link con After Effects) e la post-produzione dell’audio ambisonico con Vordio, Reaper e Facebook 360 Spatial Workstation.

Considerazioni finali

Non è stato un lavoro semplice non tanto per i contenuti ma per il tempo a disposizione. Ho dovuto anche imparare a gestire in autonomia la post-produzione del suono ambisonico che di solito lascio ai sound designer, ma in questo caso visti i tempi ed il budget ho preferito imparare ad usare l’ambisonico.