L’antropologia algorítmica:
el batec digital
dels festivals
Bessons digitals de veu:
cocreant entre l’artista
i la recerca
MuseIT:
escoltant i sentint
el patrimoni invisible
L’antropologia algorítmica: el batec digital dels festivals
Processament de dades – Supercomputació – Visualització de dades
Aquesta tendència utilitza la potència de la supercomputació per capturar, analitzar i visualitzar en temps real l’activitat digital i emocional d’una multitud en grans esdeveniments culturals. Mitjançant l’anàlisi de les xarxes socials, es transforma la conversa invisible del públic en una «escultura de dades» viva que reflecteix el pols del festival.
Funcionament
El sistema opera com un mirall digital de l’experiència col·lectiva, processant milers de publicacions simultànies per extreure’n coneixement.
- Captació: s’obtenen fluxos massius de dades no estructurades (com piulades i publicacions a xarxes socials) generades pel públic, incloent-hi el text, la ubicació geogràfica i el moment precís de l’emissió.
- Processament: utilitzant la potència de supercomputadors com el MareNostrum, s’apliquen algorismes de Processament de Llenguatge Natural (NLP) per classificar el contingut segons temàtiques, sentiments (classificats com positiu, negatiu o neutre) i tendències emergents.
- Resultat: el públic observa una visualització dinàmica en forma de nodes o núvols orgànics que creixen i canvien segons la intensitat de la interacció, permetent intuir el «hype» o l’estat anímic del festival de manera estètica i entenedora.
Aplicacions culturals potencials
L’anàlisi de dades massives ofereix noves eines per entendre i gestionar la cultura en l’espai públic:
- Escultures de dades socials: creació d’instal·lacions artístiques generatives en museus o festivals que evolucionen segons l’opinió i el comportament digital del públic en directe.
- Gestió logística predictiva: ús de les dades per predir aglomeracions o tendències abans que passin, millorant la seguretat i l’experiència del públic en grans recintes.
- Bessons digitals culturals: aplicació de metodologies de supercomputació per crear simulacions de fluxos de mobilitat en districtes culturals, ajudant a fer les ciutats més habitables i connectades amb el sector.
Visita del departament de Cultura de la Generalitat de Catalunya a les instal·lacions del BSC – projecte We Know Project
Reptes i Reflexions
La transformació de l’activitat humana en dades digitals planteja interrogants sobre la privacitat i la naturalesa de l’art:
- Ètica i privacitat: la necessitat de garantir la total transparència en l’ús de les dades del públic i el consentiment per evitar la vulneració de drets fonamentals en espais de monitoratge.
- L’autoria en l’era de les dades: debat sobre si l’obra d’art és el sistema de recollida de dades creat per l’artista o si el veritable co-autor és el públic amb el seu comportament espontani.
- Biaixos algorítmics: el risc que els sistemes d’IA interpretin erròniament el sarcasme o les emocions humanes, projectant una realitat distorsionada de la comunitat.
FONTS
Barcelona Supercomputing Center | WeKnow: Social Media Analytics for Sónar Festival | https://viz.bsc.es/weknow
Sónar Festival | Sónar+D: Explorant la relació entre ciència, tecnologia i art | https://sonar.es
Generalitat de Catalunya | El BSC presenta el seu primer ordinador quàntic | https://recercaiuniversitats.gencat.cat/…
Bessons digitals de veu: cocreant entre l’artista i la recerca
IA Generativa – Bio-art sonor – Veu digital
Aquesta tendència explora la creació de «bessons digitals» de la veu humana mitjançant la intel·ligència artificial per transformar-la en un instrument col·lectiu i mal·leable. Mitjançant la investigació de models de veu, s’aconsegueix que l’expressió vocal deixi de ser un fitxer estàtic per esdevenir una eina sintètica capaç de generar polifonies noves i diàlegs entre la realitat física i la digital.
Gràcies a la unió entre recerca i art, s’explora la creació de «bessons digitals» de la veu humana per veure els límits d’aquesta. La col·laboració entre l’artista Maria Arnal i el Barcelona Supercomputing Center (BSC) es va produir en el marc de les residències AIR del programa europeu S+T+ARTS.
Procés de creació durant la Residència Science, Technology & the Arts
Funcionament
El procés neix de la col·laboració entre la recerca artística i la capacitat de processament de dades massives (Big Data):
- Captació: l’autoria aporta el seu propi arxiu vocal (en aquest cas, Maria Arnal com a artista) per alimentar i entrenar models de llenguatge i so basats en la seva pròpia biometria.
- Processament: s’utilitza el supercomputador(MareNostrum) per processar milers d’hores de dades sonores, generant una «veu sintètica» que no és una còpia, sinó un nou instrument capaç de cantar línies melòdiques inèdites.
- Resultat: el públic experimenta una performance (com el senzill «AMA») on la veu digital interacciona en temps real amb cors humans i sintètics, creant una experiència sonora augmentada.
Aplicacions culturals potencials
La unió entre ciència i arts escèniques permet al sector cultural explorar noves narratives sonores:
- Patrimoni sonor evolutiu: digitalitzar veus d’alt valor cultural per crear entorns on aquestes puguin seguir generant contingut nou en diàleg amb la comunitat creadora contemporània.
- Arxius sonors vius: recuperació i preservació de veus històriques o tradicions orals per crear instruments interactius que permetin a la ciutadania «cantar» amb el seu passat.
- Residències de recerca híbrida: foment de projectes d’hibridació en centres de supercomputació per democratitzar l’accés a tecnologies d’IA d’alt rendiment per a la creació artística.
Reptes i Reflexions
La manipulació digital de la veu comporta dilemes ètics sobre la identitat i la propietat de la biometria:
- Ètica de les dades (Data Trust): el gran repte és com es gestiona la propietat de la veu sintètica quan aquesta ha estat entrenada amb dades biomètriques d’una persona real.
- L’autoria en l’era de la intel·ligència artificial: reflexionar sobre si la veu generada per l’algoritme manté l’ànima de l’artista o es converteix en una eina deshumanitzada.
- Sostenibilitat del càlcul: la síntesi de so «ona per ona» requereix una gran potència de càlcul (supercomputació), fet que planteja la necessitat de preveure la petjada energètica de la creació digital en el cas que sigui un procés massiu.
Les reflexions de la Maria Arnal arran de la residència artística són les següents: “Durant aquesta fase del projecte, he après molt sobre la composició amb veus sintètiques i els diversos programes desenvolupats per utilitzar-les. A més, com a cantant, el desig de dissociar el cos i la veu a través de la tecnologia en aquest projecte m’ha ofert noves perspectives, tant físiques com compositives. La col·laboració prolongada amb l’equip científic durant aquests mesos ha ampliat enormement els meus coneixements, des del processament del so fins a l’arquitectura interna dels models, així com la creativitat col·laborativa. En conclusió, em sento increïblement afortunada d’haver tingut un equip tan fort que em doni suport durant tot aquest viatge.”
FONTS
S+T+ARTS (Science, Technology & the Arts) | Maria Arnal Residency: AIR | https://starts.eu/vlc-maria-arnal/
Barcelona Supercomputing Center | AIR S+T+ARTS Residency | https://www.bsc.es/viz/team/sites/s+t+artsAir.html
Diari ARA | Maria Arnal publica el senzill solitari ‘AMA’ i obre una nova etapa | https://www.ara.cat/cultura/musica/maria-arnal-publica-senzill-solitari-ama-obre-nova-etapa_25_5547022.html
MuseIT: escoltant i sentint el patrimoni invisible
Accessibilitat universal – Tecnologies multimodals – Inclusió cultural
MuseIT és un projecte de recerca i innovació finançat pel programa Horizon Europe de la Unió Europea. La seva missió és democratitzar l’accés al patrimoni cultural mitjançant el desenvolupament de tecnologies multisensorials (so, tacte) que permeten a persones amb discapacitat sensorial experimentar l’art i la història de manera autònoma i enriquidora.
L’objectiu és garantir que la cultura sigui un dret compartit, eliminant les barreres físiques i sensorials dels museus tradicionals. La motivació principal és trencar la barrera del «només mirar» dels museus tradicionals.
El projecte està format per un consorci multidisciplinari de 10 entitats de 6 països europeus, que inclouen:
- Universitats i centres de recerca: com la Universitat de Borås (Suècia) —que lidera el projecte—, la Universitat Aristòtil de Tessalònica (Grècia) i la Universitat de Surrey (Regne Unit).
- Institucions Culturals: com el Palazzo Madama (Itàlia) o el Museu d’Història de l’Art de Viena (Àustria).
- Empreses tecnològiques i entitats socials: especialitzades en accessibilitat i desenvolupament de programari.
Funcionament
El sistema converteix dades visuals i històriques en estímuls sensorials alternatius mitjançant el següent procés tecnològic:
- Captació: es recullen dades digitals d’objectes i espais del patrimoni cultural, integrant informació històrica i descriptiva detallada.
- Processament: algorismes de recerca transformen aquestes dades visuals en formats d’àudio (sonificació) i models per a la interacció hàptica (tacte).
- Resultat: el públic experimenta una narrativa multisensorial on pot «escoltar» la forma d’un objecte o «sentir» la textura i la història d’una peça a través de vibracions i so.
Resultats i indicadors de seguiment
Per mesurar l’èxit del projecte, MuseIT utilitza diversos indicadors clau:
- Índex d’inclusivitat: mesura de la facilitat d’ús de les plataformes per part de persones amb diversos graus de discapacitat visual o auditiva.
- Validació en entorns reals: realització de proves pilot en museus col·laboradors amb la participació d’usuaris/àries finals.
- Desenvolupament de multisensorialitat: creació de nous algorismes capaços de traduir automàticament elements visuals complexos en àudio i tacte.
Procés d’investigació projecte MuseIT. Col·lectiu amb diversitat sensorial
Aplicacions culturals potencials
La multisensorialitat aplicada al patrimoni obre noves oportunitats per democratitzar l’experiència museística:
- Museografia tàctil i sonora: creació d’estacions interactives on qualsevol persona pot tocar rèpliques digitals que responen amb so per explicar la seva procedència i significat.
- Narratives personalitzades: guies digitals que adapten el llenguatge i el canal de comunicació (visual, sonor o tàctil) segons les necessitats específiques de cada perfil de visitant.
- Turisme inclusiu geolocalitzat: experiències de realitat augmentada sonora que permeten explorar espais patrimonials oberts mitjançant descripcions auditives d’alta fidelitat.
Reptes i reflexions
Fer la cultura accessible implica gestionar dilemes sobre la representació i l’ètica de la tecnologia:
- Rigor en la traducció sensorial: el repte de garantir que la transformació de visual a sonor o tàctil mantingui la veracitat històrica i no distorsioni el significat original de l’obra.
- Sostenibilitat i escalabilitat: la necessitat de trobar solucions tecnològiques assequibles perquè els museus més petits també puguin implementar aquestes millores d’accessibilitat sense uns costos exorbitants.
- Disseny des de la base: la importància de comptar amb la participació activa de persones amb diferents diversitats en el procés de creació per evitar biaixos de disseny i assegurar una inclusió real.
A més a més, de la creació d’estandardització de protocols europeus per tal que qualsevol museu pugui adaptar aquestes tecnologies fàcilment.
FONTS
Web Oficial de MuseIT | https://www.google.com/search?q=https://museit-project.eu/
MuseIT Project | Multisensory User-centered Empowerment for Inclusive Cultural Heritage | https://www.diva-portal.org/smash/get/diva2:2033921/FULLTEXT01.pdf
CORDIS (Community Research and Development Information Service) | https://cordis.europa.eu/project/id/101061241