Evaluating Linguistic Abilities of Neural Language Models – Seminario IA, Alessio Miaschi, 9/12/2024

 

Autori: Costanza Mondo, Diana Di Matteo, Federico Lo Iacono

 

Gli ambiti di ricerca di Alessio Miaschi, ricercatore presso CNR – ILC, sono soprattutto l’interpretatività ed evaluation dei Large Language Models (LLMs). Il 9 dicembre, il suo seminario ha fornito un’esaustiva introduzione ai LLMs e delineato la loro evoluzione nel tempo, per concentrarsi poi sugli ambiti della loro interpretatività ed evaluation. La sua presentazione seguiva una struttura precisa che permetteva di seguire gli argomenti in modo scorrevole e chiaro:

1. Introduzione
2. Neural Language Models (NLMs)
3. Transformer-based LMs
4. Interpreting and evaluating NLMs
5. Conclusioni e sviluppi futuri

 

  1. Introduzione

    Il punto di partenza della storia del Large Language Models è la linguistica computazionale. Questa branca del sapere si concentra sullo sviluppo di sistemi che lavorano con il linguaggio, che essendo un sistema probabilistico richiede un modello basato sulle probabilità. Un LLM si occupa di assegnare una probabilità ad una sequenza di parole, in cui la probabilità di una parola dipende dalla probabilità di quelle che la precedono. Per molto tempo, i processi di funzionamento dei LLMs si sono basati sul conteggio delle sequenze in una quantità di testo. In seguito, per ridurre il considerevole costo computazionale di questa procedura, sono stati elaborati i modelli n-gramma (ngrams) che tengono in considerazione solo la probabilità delle due o tre parole precedenti a quella da generare e che richiedono quindi poche informazioni da elaborare. Come evidenziato da Miaschi, a differenza di ChatGPT, il modello ngram non può generalizzare su sequenze di parole che non ha mai incontrato.
    Così si è giunti a lavorare su un concetto molto importante: la rappresentatività, ossia un modo efficace di rappresentare le parole così che risultino intellegibili alle macchine. Volto a rappresentare le immagini e renderle computabili, il Representation Learning è una procedura di training che associa una parola a un vettore di numeri e visualizza le parole della lingua in uno spazio vettoriale da cui si possono ricavare informazioni sulla loro semantica e somiglianza in base alla vicinanza dei cluster verbali. In questo modo, i significati vengono assegnati tramite la disposizione spaziale.

 

  1. Neural Language Models (NLMs)


Come secondo punto del seminario, Miaschi ha poi introdotto i Neural Language Models (NLMs) come modelli di linguaggio composti da reti neurali artificiali addestrate a risolvere funzioni di language modelling. Ha fatto riferimento allo studio del 2003 di Bengio et al., in cui una macchina è stata addestrata secondo il Neural Probabilistic Language Model a prendere una sequenza (in cui a ogni parola è associato un vettore) e a predire una probabilità su ogni vocabolo della lingua. Da notare che questa macchina possedeva una rete neurale a un solo strato, in seguito sono state sviluppate reti neurali ricorrenti.
Nel 2017 dei ricercatori di Google svilupparono il Transformer Model che usa funzioni di encoder e decoder. L’encoder elabora un’immagine a partire da un testo, mentre il decoder genera testo a partire da un input testuale. Inoltre, questo modello adotta un meccanismo di attenzione per cui si crea una nuova architettura in cui la rete neurale si concentra sulla parte di sequenza più importante e genera parole in modo contestuale, assegnando pesi maggiori o minori a tutte le parole.

 

  1. Transformer-based LMs


Dal 2017 in poi nascono i Transformer-based Neural Language Models a cui Miaschi ha dedicato la terza parte della presentazione. Partendo dal paper del 2017 “Attention is All You Need” di Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser ed Illia Polosukhin si crea fondamentalmente una scissione: l’encoder si contrappone al decoder. L’encoder prende testo e sputa vettori, dunque può ben essere utilizzato per la traduzione automatica; mentre il decoder prende testo e sputa fuori testo. Sia encoder che decoder possono essere utilizzati per fare machine translation, tuttavia vi è una differenza sostanziale e subito si comprendono le potenzialità del decoder. La vera rivoluzione è rappresentata dall’”Attention” che permette di focalizzarsi e creare rappresentazioni di parole di tipo contestuale. Dunque, se fino al 2017 ci si basava su reti neurali ricorrenti, dal 2017 in poi ci si basa sui Transformer, che oltre alle altre hanno anche la potenzialità di guardare contemporaneamente non solo ad una parola ma anche a tutte le altre. Oggigiorno tutti i NLMs, incluso ChatGPT, si basano sull’architettura dei Transformer. La vera scissione del 2017 consiste nel fatto che si sono iniziati a sviluppare solo encoder e solo decoder. Il primo decoder è GPT, di cui Alec Radford e Karthik Narasimhan parlarono nel loro articolo del 2018 “Improving Language Understanding by Generative Pre-Training”. Il decoder processa da sinistra a destra e predice la parola seguente essendo un modello generativo. Il modello opposto rispetto a GPT è BERT che è un encoder che tira fuori sequenze di numeri anziché testo. Infatti BERT è l’acronimo di Bidirectional encoder representations from transformers. BERT fu creato nell’ottobre del 2018 dai ricercatori di Google addestrandolo sul Toronto BookCorpus e su English Wikipedia. Un modello come BERT è ben utilizzabile per fare tagging e per i processi di fine-tuning, ossia si può specializzare per poche interazioni. In BERT le parole vengono mascherate. Da ciò è nato l’MLM, il masked language model, un approccio per allenare modelli di apprendimento su dati testuali di larga scala. L’MLM ha avuto molto successo per risolvere alcuni task di Neural Language Processing come la classificazione del testo, la traduzione e la Sentiment Analysis. In particolar modo, per quanto riguarda la Sentiment Analysis, il Mask Language Modeling risolve l’analisi come un task di masking e non come un processo di classificazione, il che rappresenta una svolta anche nella Sentiment Analysis. Il modello, dunque, quando restituisce una parola restituisce tutto il vocabolario. Negli ultimi anni, dal 2021 al 2023, con l’aumento dei dati e l’affinamento dei modelli è aumentato il livello di sensibilizzazione nella valutazione delle competenze del modello.

 

  1. Interpreting and evaluating NLMs

 

La quarta parte del seminario di Miaschi si è concentrata sull’interpretazione e la valutazione dei Neural Language Models. Partendo dal blog di Open-AI, il ricercatore ha spiegato come si è passati da GPT-3 a Instruct-GPT. Nel biennio 2021-23 i ricercatori hanno iniziato a creare task di istruzioni su cui addestrare GPT-3 per porre un freno a possibili effetti negativi collaterali del fenomeno. Questa è stata un’ulteriore svolta. Infatti, prima di Instruct-GPT, se al modello veniva chiesto come costruire una bomba, il NLM rispondeva. Oggi ciò non avviene poiché vi è una rete di controllo composta da esseri umani che blocca le risposte a domande potenzialmente pericolose per il genere umano stesso. Questo gruppo di controllo si chiama Reinforcement Learning Human Force (RLHF) ed è fondamentale per garantire una forma di sicurezza del modello. L’ultima evoluzione di GPT è stato il passaggio da GPT-3 a GPT-4. Miaschi si è soffermato a lungo sul fatto che non si sa cosa vi è dietro l’addestramento di GPT-4, forse un modello estremamente grande dell’azienda Open-AI che, secondo il ricercatore, opera un “unsupervised learning” a cui segue un’operazione di “supervised fine tuning” e un controllo da parte del RLHF. Ciò che è certo è che dal 2021 in poi si è passati da un’architettura Transformer-based encoder-decoder a modelli generativi. Miaschi ha anche posto l’accento sul fatto che dal 2018 al 2021 quasi tutti i modelli erano open source, ossia chiunque poteva osservare e studiare la struttura del modello. Dal 2021 in poi, quindi da quando sono stati creati i modelli generativi, le aziende hanno smesso di rendere pubbliche le architetture dei loro modelli e dunque si è proceduto verso un closed source. Per esempio, citando il caso di Llama di META, Miaschi ha spiegato che qualunque utente ha accesso all’architettura del modello generativo, quindi apparentemente sembrerebbe un approccio open source, ma nessuno sa su quali corpora è stato addestrato Llama 3.3, quindi non si può parlare di open source vero e proprio. Si può anche ipotizzare, secondo Miaschi, che i dati utilizzati per l’addestramento di Llama siano dati protetti da copyright, però non si hanno abbastanza informazioni per dimostrarlo. La programmazione di gran parte di questi modelli si basa sul linguaggio Python, dunque è facile da utilizzare. A tal proposito, Miaschi cita il caso di Hugging Face che è scritto con due righe di codice Python molto facili da usare. In particolar modo, su Hugging Face sono stati condotti alcuni studi anche da parte di un gruppo di ricerca della Fondazione Bruno Kessler del CNR, perché è un caso interessante di Intelligenza Artificiale generativa in quanto si crea un social fittizio in un ambiente in cui vari Large Language Models interagiscono tra loro, e rappresenta quindi un caso studio per l’interpretabilità di questi modelli. Infatti, osservando come si comportano questi modelli all’interno di Hugging Face si può comprendere meglio la natura dei modelli e capire perché prendono determinate decisioni. Il problema dell’interpretabilità nei Natural Language Processing è sorto dal momento in cui i modelli sono diventati generativi, poiché prima del 2021 i sistemi usati erano molto più semplici e dunque si poteva predire con più facilità il loro comportamento. Queste competenze nella rete neurale artificiale non si possono vedere.

Per quanto riguarda la valutazione dei Neural Language Models, Miaschi ha parlato soprattutto dei benchmarks, che servono a creare una classifica che rifletta qual è il modello migliore, basandosi su una comparazione di più di trenta LLMs rispetto a parametri metrici come la qualità, il prezzo, la performance e la velocità. Tale lista è costantemente aggiornata e disponibile su LLM Leaderboard (LLM Leaderboard – Compare GPT-4o, Llama 3, Mistral, Gemini & other models | Artificial Analysis).

Attraverso la presentazione dei risultati di alcune ricerche del suo gruppo, Miaschi è passato all’ultima parte del seminario, dedicata al linguistic profiling e alla valutazione delle competenze linguistiche dei LLM. I risultati e le ricerche in questione sono condensate in quattro lavori – Evaluating Large Language Models via Linguistic Profiling; Linguistic Profiling of a Neural Language Model; Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It) e Controllable Text Generation To Evaluate Linguistic Abilities of Italian LLMs – presentati a conferenze internazionali e nazionali, su tutte la recentissima Conferenza Italiana di Linguistica Computazionale, CLiC-it. 

Come descritto durante il seminario, negli ultimi anni, i rapidi progressi dell’Intelligenza artificiale e delle ricerche nel Natural Language Processing hanno portato i LLM al centro dell’innovazione tecnologica, toccando capillarmente ambiti di ricerca trasversali e variegati. Questi modelli, alimentati da architetture come i trasformatori descritti precedentemente, hanno dimostrato capacità senza precedenti nella generazione di testo, nella comprensione e in numerosi altri compiti applicativi. Nonostante questi successi – come commentato da Miaschi sia durante il seminario, sia nei vari paper citati – i loro meccanismi sottostanti rimangono complessi e spesso opachi. Una delle domande più naturali, infatti, rimane capire come i LLM codifichino, elaborino e utilizzino le conoscenze linguistiche. 

Rispondere a quesiti come questo è fondamentale non solo per migliorare l’interpretabilità dei modelli, ma anche per garantirne l’efficacia in contesti linguistici e culturali diversificati. Il linguistic profiling offre una metodologia completa per valutare in modo sistematico la competenza linguistica dei LLM: esplorando, infatti, la loro capacità di generare, riconoscere e controllare testi secondo specifiche richieste linguistiche, questo approccio non solo fa luce sui punti di forza, ma aiuta a riconoscere anche i limiti e i vincoli di questi modelli. Come si può immaginare – e come Miaschi ha spesso sottolineato – una riflessione che parta da questa prospettiva fornisce poi anche spunti pratici per migliorare il design dei LLM, la loro adattabilità e soprattutto le loro prestazioni complessive. L’ultima parte del seminario, dunque, ha cercato di mostrare il valore del linguistic profiling, ma anche (e con precisione) le metodologie in uso e i risultati ottenuti, sottolineandone il ruolo cruciale nell’avanzamento della ricerca sui LLM. 

Il linguistic profiling, implicando l’analisi della capacità dei LLM di comprendere e generare testi aderendo a specifiche caratteristiche linguistiche, è un processo che valuta i LLM a diversi livelli linguistici, compresa la capacità di riconoscere (e generare) le proprietà del testo grezzo, le caratteristiche morfo-sintattiche e i fenomeni sintattici più ampi. Tra gli obiettivi principali del linguistic profiling possiamo includere la valutazione della coerenza e della precisione delle risposte rispetto al prompt (testare se i modelli possono generare frasi conformi a richieste linguistiche specifiche, come schemi di parti del discorso o strutture sintattiche); l’analisi delle rappresentazioni interne (cioè comprendere come i processi di pre-addestramento e fine-tuning influenzano la codifica delle caratteristiche linguistiche); e infine il miglioramento dell’interpretabilità (provando a svelare, cioè, la natura black box dei LLM per fornire spunti interpretabili sulle loro capacità linguistiche). Un esempio di questo può arrivare proprio da uno dei paper citati – Evaluating Large Language Models via Linguistic Profiling – nel quale è stato chiesto ai LLM di generare frasi con caratteristiche linguistiche predefinite. Riportiamo a titolo esemplificativo un caso fittizio, diverso da quelli nell’Appendice del paper citato:

  •       Prompt: Generare una frase contenente esattamente tre verbi.
  •       Frase generata: Il cane abbaia, corre e salta oltre il recinto.

A questa prima fase, ne è seguita una di validazione, che ha poi valutato se il testo generato fosse aderente al vincolo richiesto nel prompt. Un approccio simile – finemente descritto nei lavori – si rivela uno strumento utile per mostrare, dunque, sia la competenza dei LLM nella gestione di compiti strutturati sia le loro limitazioni nel mantenere coerenza e precisione, specialmente con complessità crescente.

Proseguendo con gli esempi, abbiamo osservato che la complessità delle richieste e – di conseguenza – dei livelli linguistici presi in considerazione nel linguistic profiling possono variare. A partire soprattutto dai risultati dei paper Linguistic Profiling of a Neural Language Model e Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It), Miaschi ha introdotto infatti parametri quali le proprietà del testo che rispondono a caratteristiche strutturali (lunghezza delle frasi, lunghezza delle parole e ricchezza del vocabolario); la tipologia delle parti del discorso presenti e le caratteristiche morfosintattiche; le caratteristiche precipuamente sintattiche (estratte con strumenti come ProfilingUD: profondità degli alberi sintattici, concordanza e dipendenza,  ordine degli elementi, relazioni soggetto-oggetto-verbo). A tal proposito Miaschi ha rilevato che, ad esempio, un modello come BERT codifica conoscenze morfo-sintattiche e sintattiche significative durante il pre-addestramento, ma queste conoscenze spesso si riducono dopo il fine-tuning su compiti specifici (Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)).

Proseguendo, sono stati descritti anche i vantaggi che il linguistic profiling offre e che – più in generale – sottolineano la rilevanza nella valutazione e nello sviluppo dei LLM. Il linguistic profiling, infatti, permette di valutare elementi precisi e mirati sul comportamento dei modelli di LLM. Questo approccio, ad esempio, fornisce metriche dettagliate su quanto bene i LLM si allineino alle richieste linguistiche, rivelando aree e punti di forza (riconoscere dipendenze sintattiche) e anche di debolezza (ad esempio, prompt con esplicite richieste sul numero di costituenti da generare nel testo). Non solo: il linguistic profiling favorisce anche una specifica ottimizzazione a seconda delle lingue. Ad esempio, varie ricerche (tra cui quelle del gruppo di Miaschi) sui LLM italiani hanno dimostrato l’utilità del linguistic profiling nell’adattare i modelli a contesti linguistici specifici. Valutando l’aderenza alle regole morfo-sintattiche dell’italiano, infatti, i modelli sono stati ottimizzati per compiti specifici (cfr. Controllable Text Generation To Evaluate Linguistic Abilities of Italian LLMs).

Miaschi e il suo gruppo, inoltre, hanno rilevato il grande impatto del linguistic profiling anche in supporto alla valutazione di modelli multilingue, offrendo spunti sull’adattabilità e sulle prestazioni dei LLM in diversi sistemi linguistici. Nei loro studi, ad esempio, hanno mostrato il valore del fine-tuning intermedio per migliorare le capacità di trasferimento cross-linguistico (cfr. Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)), riducendo il divario tra lingue più e meno rappresentate valorizzando le caratteristiche comuni alle lingue. Dunque, prima di adattare – per farlo funzionare bene anche in italiano – un LLM addestrato in inglese potrebbe essere sottoposto a un fine-tuning su dataset o compiti in lingua italiana che enfatizzano strutture linguistiche comuni a entrambe le lingue. Infine, gli spunti derivati dal linguistic profiling possono guidare l’architettura del modello e le strategie di addestramento. Ciò significa che l’integrazione di conoscenze linguistiche durante il pre-addestramento migliora significativamente le prestazioni nei compiti downstream (cfr. Evaluating Large Language Models via Linguistic Profiling e Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)).

Nonostante le grandi potenzialità del linguistic profiling, applicare questo approccio e fare ricerca in questo campo non sono privi di sfide. I lavori citati mostrano infatti diverse limitazioni, o comunque diverse difficoltà. Innanzitutto, i LLM si mostrano spesso incoerenti nell’aderire ai prompt richiesti, specialmente con requisiti numerici o sintattici complessi, come abbiamo visto. Ad esempio, i tassi di successo nella generazione di frasi con clausole subordinate esatte variano notevolmente tra i modelli (cfr. Evaluating Large Language Models via Linguistic Profiling). Inoltre, il linguistic profiling richiede significative risorse computazionali e dataset annotati: si considerino gli esperimenti con i treebank delle dipendenze universali che richiedono un ampio pre-processing e valutazione (cfr. Linguistic Profiling of a Neural Language Model). Non sono da non considerare, poi, paradossi come la perdita di conoscenze linguistiche generali. Si è visto, infatti, che il fine-tuning su compiti specifici può portare a una perdita di rappresentazioni linguistiche più ampie, come osservato nei modelli BERT durante gli aggiustamenti specifici per i compiti (cfr. Linguistic Profiling of a Neural Language Model). Infine, applicare tecniche di profiling a lingue e compiti diversi è un’impresa non banale, che spesso richiede strumenti e metodologie personalizzati (cfr. Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)).

Integrando quanto detto da Miaschi durante il seminario con uno degli studi del suo gruppo è possibile riflettere maggiormente su potenzialità e limiti del linguistic profiling. In Controllable Text Generation To Evaluate Linguistic Abilities of Italian LLMs sei LLM italiani sono stati valutati utilizzando precise richieste linguistiche (che riguardassero numero di token in produzione e comprensione; analisi delle parti del discorso ecc). La metodologia coinvolgeva un processo in due fasi: innanzitutto era previsto un momento di generazione delle frasi, nel quale ai modelli veniva chiesto di produrre frasi che aderissero a proprietà linguistiche specifiche (ad esempio: Genera una frase con due aggettivi). Successivamente si è previsto un momento di validazione, durante il quale ai modelli è stato chiesto di analizzare i propri output (ad esempio: Quanti aggettivi ci sono nella frase?).

I risultati hanno mostrato variazioni importanti nelle prestazioni, con alcuni modelli eccellenti nella coerenza ma incapaci di rispondere con precisione a richieste più precise ed esatte. Ad esempio, ANITA ha dimostrato alti tassi di successo nei compiti morfo-sintattici ma ha avuto difficoltà con la complessità sintattica. Dando uno sguardo invece agli altri lavori, non inaspettatamente Miaschi e il suo gruppo hanno osservato che i LLM per la lingua inglese ottengono le risposte migliori sia nelle fasi di riconoscimento della complessità, sia nelle fasi di produzione/generazione di frasi in risposta a specifici prompt. Tuttavia, uno dei punti più interessanti discussi da Miaschi è stato il confronto tra modelli più grandi e modelli più piccoli, anche in ottica di scelte ecosostenibili ed economicamente motivate. Per quanto possa apparire paradossale, infatti, modelli di LLM più piccoli e sostenibili – addestrati intelligentemente con fasi intermedie di fine-tuning corrette e mirate – possono comportarsi anche meglio di modelli più grandi e sicuramente più potenti, che tuttavia sono più difficili da addestrare e raffinare, vista l’ingente quantità di materiale richiesto per queste azioni. Rimane valido, in ogni caso, il fatto che modelli più grandi – e lo dimostrano anche gli articoli – possono in linea di massima comportarsi meglio con attività più generali (si vedano i compiti/prompt cross-linguistici).

 

  1. Conclusioni e sviluppi futuri

 

Concludendo, alla luce della progressiva importanza che stanno acquisendo questi LLM – che diventano sempre più integrali in una vasta gamma di applicazioni – comprendere le loro capacità linguistiche è cruciale, in vista di un utilizzo responsabile ed efficace. In questo, il linguistic profiling fornisce un quadro robusto per esplorare queste capacità, svelando il delicato equilibrio tra rappresentazioni pre-addestrate e aggiustamenti successivi al fine-tuning. Questo approccio non solo migliora l’interpretabilità dei modelli, ma getta anche le basi per miglioramenti mirati nel design e nella distribuzione dei LLM. In ottica di sfide che coinvolgono ricerche future, crediamo che alcuni punti salienti possano essere, tra gli altri, I. sviluppare strumenti per semplificare ed estendere le metodologie di profilazione in diversi contesti linguistici e computazionali; II. incorporare esplicitamente caratteristiche linguistiche durante il pre-addestramento per rafforzare la comprensione linguistica generalizzabile dei modelli; e, infine, III. adattare il profiling a contesti specializzati, come lingue a basse risorse o settori professionali specifici. Cercando di colmare il divario tra le prestazioni computazionali e la competenza linguistica dei modelli, il linguistic profiling e le ricerche in questo campo garantiscono che i LLM siano non solo potenti, ma anche più consapevoli delle complessità linguistiche e contestuali del linguaggio umano (e, così, da non ritenere più totalmente sordi/insensibili alle strutture linguistiche).

 

Costanza Mondo, Diana Di Matteo, Federico Lo Iacono

  1. Bibliografia del gruppo di ricerca ItaliaNLP Lab citata durante il seminario

OpenEdition vi suggerisce di citare questo post nel modo seguente:
costanzamondo (10 Gennaio 2025). Evaluating Linguistic Abilities of Neural Language Models – Seminario IA, Alessio Miaschi, 9/12/2024. Digital Humanities PhD. Recuperato il 14 Febbraio 2025 da https://doi.org/10.58079/131zg


Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.