El món dels efectes de so ha experimentat una transformació radical en les darreres dècades gràcies als avenços tecnològics. Avui en dia, amb l’ús de la intel·ligència artificial, és possible generar una quantitat infinita de sons a partir de prompts. Tot i que aquests sons generats no substitueixen el programari de síntesi de so i les biblioteques de sons pregravats, la intel·ligència artificial ens permet l’exploració de noves fronteres sòniques.
El món dels efectes de so ha experimentat una transformació radical en les darreres dècades gràcies als avenços tecnològics. Tradicionalment, la creació d‘efectes de so era un procés artesanal. Els artistes de foley, per exemple, utilitzaven objectes quotidians per generar sons que se sincronitzen amb les accions dels personatges a les pel·lícules. Aquesta tècnica, encara en ús avui dia, requereix una gran habilitat i una intuïció per captar els matisos de cada so. No obstant això, amb l‘arribada de la tecnologia digital, moltes d‘aquestes tècniques van començar a ser complementades per programari de síntesi de so i biblioteques d‘efectes pregravats.
Avui en dia, existeixen moltes eines de programari lliure que poden ser utilitzades per a crear efectes de so d’alta qualitat, i l’equipament necessari per realitzar gravacions sonores és molt més assequible que en el passat. A més a més, existeixen grans biblioteques de sons en línia d’accés obert. Un dels exemples més importants és Freesound. Aquesta plataforma col·laborativa permet als usuaris compartir, descarregar i utilitzar més de sis-cents mil sons gratuïts, des d‘efectes de so ambientals fins a mostres musicals. Totes aquestes eines i recursos han obert la porta a creadors independents, estudiants i petites empreses per experimentar i innovar en la creació d’efectes de so, eliminant barreres tradicionals i permetent una participació més àmplia en aquesta àrea creativa.
La transformació potencialment més disruptiva, però, està passant actualment amb l’aplicació de la intel·ligència artificial (IA) a la generació i transformació de sons. Aquesta combinació dona lloc a noves possibilitats per a la creació i manipulació d’efectes de so, amb eines molt potents que fins ara eren inimaginables. Els models generatius d’aprenentatge profund (deep learning) poden ser entrenats per generar efectes de so nous a partir de grans quantitats de dades d’àudio. Amb un prompt que contingui la descripció d’un so, un model generatiu ben entrenat pot generar un so escaient. A aquest tipus de generació basada en intel·ligència artificial ja ens hi hem anat acostumant durant els últims anys, sobretot amb les imatges, la música i el vídeo. Però la generació d’efectes de so és una novetat força recent. De fet, tan sols fa poc més d’un mes que Stability AI va publicar Stable Audio Open, un model generatiu obert que permet la generació d’efectes de so de fins a 47 segons de durada i que ha estat entrenat amb els sons de Freesound i la música del Free Music Archive. Si bé la qualitat dels sons generats sovint no és tan bona com la dels originals, models com aquest permeten explorar el món del so des de noves òptiques, fins i tot generant sons “impossibles” i permetent així l’exploració de noves fronteres sòniques.
Per exemple, què passa si li demanem a un model d’intel·ligència artificial que generi el so del llançament d’un coet? En aquest cas el so sembla bastant realista. I què passa si li demanem al model que generi el so d’una bicicleta pedalejant amb una cadena sorollosa? O el so de pets? En aquests casos veiem com els sons generats no són del tot naturals, i sembla que el model fa la seva interpretació creativa del que li demanem. Aquí és on aquests models generatius poden ser més interessants i inspiradors per als dissenyadors de so.
La IA també ha revolucionat la manera com els efectes de so es processen i manipulen. Per exemple, eines basades en IA poden aïllar sons específics dins d’una pista d’àudio, permetent eliminar sorolls no desitjats o destacar elements importants. Això és especialment útil en la postproducció d’àudio, en què la neteja del so pot ser una tasca complexa i laboriosa.
En resum, la combinació de la intel·ligència artificial i els efectes de so està redefinint els límits del que és possible en el món de l’àudio. De totes maneres, s’ha de tenir en compte amb quines dades s’entrenen els models. La qualitat dels models depèn, entre altres coses, de les dades amb les quals s’ha entrenat. Els models entrenats han de ser respectuosos amb les fonts de dades, i només utilitzar sons quan aquests estiguin publicats sota llicències que en permetin la utilització per a aquests usos. Aquest és un tema complex que afecta tots els camps de la IA generativa, i que requereix un debat continuat i, probablement, la creació de noves normatives.
El món dels efectes de so i la intel·ligència artificial: un tutorial
El món dels efectes de so ha estat revolucionat per la intel·ligència artificial (IA), gràcies a eines poderoses per crear, manipular i implementar sons de manera més eficient i creativa. En aquest tutorial, explorarem com la IA pot generar efectes de so a partir de prompts textuals, proporcionant exemples pràctics per il·lustrar el procés.
1. Generació automàtica d’efectes de so
La generació automàtica d’efectes de so mitjançant IA implica l’ús d’algoritmes d’aprenentatge profund que poden crear sons a partir de descripcions textuals. A continuació, es mostren alguns exemples pràctics de com es pot utilitzar aquesta tecnologia.
Exemples pràctics:
Exemple 1
So de pluja suau
Prompt
Genera el so d’una pluja suau caient sobre fulles.
Processament
L’algoritme analitza el prompt, reconeix les paraules clau “pluja suau” i “fulles” i genera un efecte de so que combina aquests elements.
Resultat
Un àudio que reprodueix el so de gotes de pluja suau caient sobre fulles, ideal per a escenes tranquil·les en pel·lícules o jocs.
Exemple 2
Soroll de trànsit en una ciutat animada
Prompt
Genera el soroll de trànsit en una ciutat animada durant el dia.
Processament
La IA identifica les característiques clau del trànsit urbà diürn, com ara cotxes, clàxons, gent parlant i altres sorolls ambientals.
Resultat
Un efecte de so realista del trànsit en una ciutat animada, perfecte per a escenes urbanes.
2. Processament i manipulació de so
La IA també pot ajudar a processar i manipular sons existents, millorant-ne la qualitat o modificant-los segons les necessitats. A continuació, es presenten exemples de com es pot aplicar això en la pràctica.
Exemples pràctics:
Exemple 1
Eliminació de soroll de fons
Prompt
Elimina el soroll de fons d’una gravació de veu.
Processament
L’algoritme de la IA analitza la pista d’àudio, identificant i aïllant el soroll de fons del contingut de veu principal.
Resultat
Una gravació de veu més clara i nítida, sense interferències de sorolls no desitjats.
Exemple 2
Aïllament d’un instrument en una pista musical
Prompt
Aïlla el so de la guitarra en aquesta pista musical.
Processament
La IA descompon la pista musical, identificant els components específics de la guitarra i separant-los dels altres instruments.
Resultat
Una pista d’àudio que conté només el so de la guitarra, útil per a remescles o anàlisis detallades.
3. Creació d’efectes realistes
La IA és capaç de generar efectes de so que són extremadament realistes mitjançant la simulació de processos físics i acústics.
Exemples pràctics:
Exemple 1
So de foc crepitant
Prompt
Genera el so d’un foc crepitant en una llar de foc.
Processament
L’algoritme simula els sons produïts pel foc, incloent-hi la crepitació de la fusta i el so de les flames.
Resultat
Un efecte de so realista d’un foc crepitant, ideal per a escenes de relaxació o d’interior en pel·lícules i jocs.
Exemple 2
So d’un riu fluint
Prompt
Genera el so d’un riu fluint ràpidament sobre roques.
Processament
La IA crea una simulació del so de l’aigua corrent, amb l’addició de sons de roques i altres elements naturals.
Resultat
Un efecte de so que reprodueix el moviment d’un riu, útil per a escenes a la natura.
4. Personalització i adaptació
La IA permet la personalització i adaptació dels efectes de so en temps real, creant experiències més immersives i interactives.
Exemples pràctics:
Exemple 1
So ambient adaptatiu en un videojoc
Prompt
Genera sons ambientals que canvien segons el moviment del jugador en un bosc.
Processament
L’algoritme ajusta els efectes de so ambientals en funció de la ubicació i accions del jugador en temps real.
Resultat
Sons de bosc que varien des de trons distants fins a cants d’ocells i fulles cruixents sota els peus, augmentant la immersió en el joc.
Exemple 2
Creació de diàlegs dinàmics
Prompt
Genera diàlegs de personatges que reaccionen a les decisions del jugador.”
Processament
La IA crea respostes de veu que s’ajusten a les accions i eleccions del jugador, fent que els diàlegs siguin dinàmics i adaptatius.
Resultat
Converses que se senten naturals i interactives, millorant la narrativa i la immersió en el joc.
Frederic Font Corbera
Investigador sènior en tecnologies del so i de la música (Fundació Phonos, Music Technology Group, Universitat Pompeu Fabra)