L’algorisme de ChatGPT es basa en una xarxa neuronal de processament del llenguatge natural (PLN) anomenada GPT (Generative Pre-trained Transformer), que ha estat entrenada en grans quantitats de dades de text per a generar text de manera autònoma.
I com funciona?
Entrada
Quan un usuari introdueix una pregunta o un comentari en el sistema, aquesta entrada de text es pre-processa per separar les paraules i aplicar-hi altres tècniques de PLN.
Anàlisi de context
A continuació, el sistema analitza el context de la pregunta o el comentari a través de les dades que ha après durant el seu entrenament. El model de llenguatge GPT s’ha entrenat en dades de text de molts dominis diferents, per la qual cosa pot generar una resposta adequada a partir del context.
Generació de resposta
Basant-se en el context proporcionat, el model GPT genera una resposta a la pregunta o comentari de l’usuari. La resposta es genera mitjançant la generació de text seqüencial basat en el context proporcionat. El model també pot utilitzar tècniques de “beam search” per millorar la coherència i la fluïdesa de la resposta generada.
Sortida
Finalment, la resposta generada per ChatGPT es mostra a l’usuari. A mesura que el sistema processa més preguntes i comentaris, el model de llenguatge de ChatGPT es va millorant amb l’aprenentatge automàtic i la retroalimentació dels usuaris.
I la xarxa neuronal com s’ha entrenat?
La xarxa neuronal de ChatGPT s’ha entrenat mitjançant un procés d’aprenentatge profund (deep learning) anomenat “pre-entrenament”. Aquest procés consisteix en l’entrenament del model en grans quantitats de dades de text per a que aprengui les estructures de llenguatge i les relacions semàntiques entre les paraules.
En concret, ChatGPT es basa en una arquitectura de xarxa neuronal anomenada “Transformer”, que ha demostrat ser eficaç en el tractament de seqüències de text llargues i la generació de text coherent. El model GPT utilitza una versió millorada d’aquesta arquitectura, anomenada “GPT Transformer”, que ha estat optimitzada per a la generació de text i el processament del llenguatge natural.
Per a entrenar el model GPT, s’utilitza un gran conjunt de dades de text anomenat “corpus”. Aquest corpus pot incloure textos de tot tipus, com ara llibres, articles de premsa, pàgines web i xarxes socials. En el cas de ChatGPT, s’ha utilitzat un corpus enorme anomenat “WebText”, que conté més de 8 milions de documents en anglès.
Durant el procés d’entrenament, el model apren a identificar patrons en el text i a representar les paraules i les frases de manera que pugui generar text coherent i relacionat amb el context. A mesura que el model es va entrenant, també es va ajustant als diferents nivells de complexitat del llenguatge, i així pot generar text que sigui apropiat per a diferents nivells de lectura i diferents dominis de coneixement.
I quins biaixos tenen aquestes dades?
Les dades que s’utilitzen per a entrenar models de llenguatge com ChatGPT poden contenir diferents tipus de biaixos, que poden afectar la capacitat del model per a generar respostes justes i equitatives.
A continuació es detallen alguns dels biaixos més comuns que es poden trobar en les dades de text:
Biaixos de selecció de mostres: a vegades, les dades que es recopilen per a entrenar models de llenguatge poden estar sesgades en funció dels criteris de selecció. Això pot conduir a un desequilibri en les mostres del corpus i a la presència de certes preferències.
Biaixos lingüístics: els idiomes són portadors de la cultura, les creences i les perspectives dels seus parlants. Per això, les dades de text poden reflectir biaixos culturals, gènere, raça o altres característiques socials.
Biaixos de font: les fonts de dades de text també poden ser esbiaixades, ja que determinades fonts poden tenir determinats punts de vista o interessos específics que es reflecteixen en el contingut del text.
Biaixos d’anotació: en alguns casos, les dades de text poden ser anotades per humans, i això pot portar a biaixos en la interpretació dels significats o en l’etiquetatge de les dades.
Per a abordar aquests biaixos, és important realitzar una anàlisi crítica del corpus de dades utilitzat per a entrenar el model i prendre mesures per a mitigar el seu impacte. Això pot incloure la selecció d’una varietat de fonts de dades, la consideració de diverses perspectives culturals i socials, així com la revisió i millora de les tècniques d’anotació i etiquetatge de les dades.
Qui s’encarrega d’aquesta anàlisi crítica del corpus de dades?
L’anàlisi crítica del corpus de dades utilitzat per a entrenar models de llenguatge com ChatGPT és responsabilitat compartida entre diferents actors, com ara investigadors, científics de dades, desenvolupadors de software i altres professionals implicats en el desenvolupament de sistemes d’intel·ligència artificial.
En general, aquesta tasca sol ser liderada per investigadors o científics de dades, que són responsables de dissenyar l’arquitectura del model i de seleccionar les dades de text per a l’entrenament. Aquests professionals també són els encarregats de realitzar l’anàlisi crítica del corpus de dades i prendre les mesures necessàries per a mitigar el biaix en el model.
A més, hi ha diferents organitzacions, com ara l’AI Now Institute o l’Algorithmic Justice League, que també estan treballant per a garantir que els models d’intel·ligència artificial siguin equitatius i justos, i que es prenguin mesures per a evitar la discriminació en l’ús de la tecnologia.
En resum, l’anàlisi crítica del corpus de dades és una tasca important i compartida entre diferents actors involucrats en el desenvolupament de sistemes d’intel·ligència artificial, i requereix una atenció especial per a garantir que els models siguin justos i equitatius per a tots els usuaris.
“Algorithmic Justice League” vist per la IA Dall-e
Nova Grau
Redactora IA de la DGICD
