La personalizzazione delle intelligenze artificiali – Come usare l’IA per liberarci tempo

A cura di Eliana Bergaglio, Giovanni Mantegazza, Lorenzo Natali, Emiliano Pino, Ludovica Pinzone, Salvatore Varriale 

Alberto Puliafito, giornalista, produttore e fondatore di Slow News –  testata che promuove un approccio sostenibile e innovativo all’informazione – opera dal 2004 nell’ecosistema digitale, facendo delle intelligenze artificiali generative il fulcro del suo lavoro. Durante il seminario “La personalizzazione delle intelligenze artificiali: come usare l’IA per liberarci tempo”, tenutosi martedì 21 gennaio 2025 presso il Dipartimento di Lingue e Culture Moderne dell’Università di Genova, l’esperto ha offerto una panoramica pratica su come le IA siano uno strumento efficace per alleggerire attività ripetitive e time-consuming. Per approcciarsi all’argomento, Puliafito ha ritenuto doveroso partire da una premessa circa la recente svolta nazionalista e opportunista di OpenAI, che evidenzia come lo sviluppo dell’IA sia sempre più influenzato da fattori politici ed economici.

Immagine generata con ChatGPT 4o mini

La OpenAI, infatti, nelle prime settimane di gennaio 2025, ha pubblicato un documento (disponibile al seguente link) sullo sviluppo delle intelligenze artificiali che rappresenta, in realtà, l’escalation di una lobby, la quale intende favorire le grandi aziende tech statunitensi. Inoltre, il documento mostra come la OpenAI sia pronta a prendere una posizione netta presentando un’analisi che contrappone gli Stati Uniti alla Cina, mentre Europa e Regno Unito vengono considerati solo marginalmente come partner. 

Si tralascia, dunque, una visione più ampia, un’analisi che consideri l’impatto delle IA sul bene comune o sulle dinamiche globali. Il mondo viene, così, meramente semplificato in una lotta tra due superpotenze.

INTELLIGENZE ARTIFICIALI: UN’ARMA A DOPPIO TAGLIO?

Le IA – sarebbe meglio usare il plurale – rappresentano una delle più grandi rivoluzioni tecnologiche del nostro tempo, specialmente considerato l’enorme impatto da queste già esercitato in molteplici settori. Tuttavia, queste macchine pongono anche sfide complesse, paragonabili come sono  a “scatole nere” per l’opacità dei loro processi decisionali interni; difatti, possono essere utilizzate in modi estremamente diversi sfruttando progettazione e addestramenti mirati all’ottenimento di risultati ad hoc. Sebbene offrano vantaggi innumerevoli, dalla generazione di contenuti creativi all’assistenza medica, è fondamentale riconoscere come le IA non siano però strumenti neutri. Come sottolineato da Badino e colleghi (2024), «ChatGPT funziona come specchio amplificatore di disuguaglianze strutturali che trova disseminate nella rete». Altro aspetto cruciale, in tal senso, è l’accessibilità a queste tecnologie: di fatto è sempre più spiccato l’enorme divario competitivo tra chi è in grado di sviluppare e utilizzare le IA e chi, invece, tende e tenderà ad avere un ruolo sempre più marginale

Nonostante le suddette sfide, le IA generative continuano a evolvere rapidamente e a permeare sempre più aspetti della vita quotidiana. Ne è un chiaro esempio il settore editoriale ove le intelligenze artificiali, tra le tante possibilità offerte, potrebbero snellire il processo di valutazione delle opere proposte dagli autori offrendo poi ad essi, inoltre, feedback approfonditi, chiari ed “empatici”.

Insomma, i benefici offerti dalle IA sono innumerevoli; tuttavia ogni uso che se ne fa, come evidenziato da Quintarelli (2020), ha un impatto sociale e, pertanto, è fondamentale sviluppare un approccio etico e responsabile, affinché queste tecnologie siano uno strumento utilizzato a beneficio dell’umanità.

CONSIGLI PER UN USO EFFICACE E CONSAPEVOLE DELLE IA

Immagine dell’assistente di OpenAI tratta da Tratta da Weetech Solution, What Is OpenAI’s ChatGPT, And How Can You Use It?, 2024

Puliafito ha presentato, infine, quattro possibili esempi applicativi di personalizzazione delle IA utili  per risparmiare tempo nello svolgimento di compiti quotidiani e/o ripetitivi: 

  1. la personalizzazione dell’account grazie alla quale è possibile programmare il comportamento dell’IA fornendole informazioni sugli utenti. Ad esempio, le si possono fornire  dettagli precisi su come si vuole che risponda o si comporti durante lo svolgimento di determinati compiti. Questa funzionalità aiuta a risparmiare tempo adattando le risposte alle preferenze personali; 
  2. l’uso della memoria, che avviene su specifica richiesta dell’utente, per permettere all’IA di ricordare eventi o informazioni circa i suoi interessi o lavori. In questo caso, è  importante effettuare una revisione periodica di quanto salvato in memoria, al fine di eliminare informazioni obsolete o non più utili, mediante la funzione “forget”; 
  3. l’organizzazione delle chat in cartelle tematiche al fine di raccogliere tutte le conversazioni relative a uno specifico argomento. Tale funzione fornisce indicazioni aggiuntive sulle modalità che l’IA deve adottare per la produzione delle risposte all’interno di un determinato progetto;
  4. la creazione di assistenti dedicati a compiti specifici come un assistente per LinkedIn che aiuti a scrivere e pubblicare post o un assistente per le call che generi sintesi di quanto emerso eliminando le parti ritenute non rilevanti. 

Le funzionalità precedentemente esplicate mostrano l’assoluto potenziale offerto dalle IA generative, strumenti in grado di semplificare e personalizzare i più disparati processi della nostra routine giornaliera. Non bisogna però dimenticare i limiti, non solo tecnologici, e i rischi da esse rappresentati. Tolta la già citata non neutralità degli strumenti e, non meno importante, la loro “imprecisione” (le allucinazioni non sono rare e diventano tanto più frequenti, quanto più specifiche sono le richieste), le IA portano enormi cambiamenti capaci di stravolgere lo scenario economico-politico. Basti pensare alla trasformazione radicale che sta prendendo piede nel mondo del lavoro e che richiederà, quantomeno, il ripensamento del rapporto tra capitale umano e attività lavorativa.


In conclusione, l’intervento di Puliafito ha sottolineato come le IA rappresentino un’opportunità straordinaria per accelerare l’ormai inevitabile cambiamento sociale. Ciononostante, risulta necessario mantenere un approccio critico e responsabile,  attento ai  processi di progettazione, ai materiali di addestramento e ai futuri utilizzi. Il tutto, sempre considerando che i loro “addestratori” (tutti noi, in un certo senso) sono influenzati da bias sociali, rischiosi per l’individuo e la società.

Tenendo in considerazione quanto asserito nei paragrafi precedenti, l’utilizzo delle IA richiede molta consapevolezza critica e altrettanta responsabilità.

BIBLIOGRAFIA

Badino M., D’Asaro F. A., Pedrazzoli F., 2024, Educare all’IA. La sfida didattica dell’Intelligenza Artificiale: Chat GPT e Gemini, Sanoma

Quintarelli S. (a cura di), 2020, Intelligenza Artificiale: Cos’è davvero, come funziona, che effetti avrà, Bollati Boringhieri.

Seminario sulla pubblicazione accademica in Open Access – J. Ingrin

A cura di Eliana Bergaglio, Giovanni Mantegazza, Giada Pantana

In data 24/01/2025 si è svolto presso il DISTAV di UniGE il seminario “ Pubblicare nel XXI secolo e diventare agenti di cambiamento” tenuto dal Prof. Jannick Ingrin dell’Université de Lille.
Il seminario si è aperto con un interrogativo, ovvero: “Qual è il motivo per cui si sceglie di partecipare a un convegno, una conferenza, un seminario, ecc.?”.
Si tratta di un quesito che prevede molteplici risposte, fra le quali la principale, almeno secondo il pensiero del professore è il fatto di presentare i propri risultati per verificarne la correttezza, la credibilità e la coerenza all’interno della comunità di riferimento.

Introduzione e Obiettivi

La presentazione ha avuto scopo di fornire una panoramica sulle opzioni di pubblicazione accademica oggi disponibili, con particolare attenzione al modello Open Access (OA). È stata enfatizzata da parte del docente l’importanza di scegliere consapevolmente dove pubblicare.
L’Open Access è descritto come la disponibilità gratuita e immediata online degli articoli di ricerca, con pieni diritti di riutilizzo. Si tratta innanzitutto di rendere il contenuto disponibile per chiunque, ovunque si trovi nel mondo, per permettere di leggere, accedere e costruire su di esso. Questo approccio consente alle persone di lavorare in modi nuovi con il materiale, aumentando così il valore della letteratura scientifica.

Origine e Evoluzione dell’Open Access


L’Open Access nasce come risposta a inefficienze e disuguaglianze del modello tradizionale di pubblicazione accademica. Il modello tradizionale ha comportato l’accesso limitato agli articoli scientifici, diversi problemi di copyright e la crescita dei costi di pubblicazione.
Dal 2000, l’OA ha visto una crescita significativa, affermandosi come alternativa dominante, con oltre il 56% delle pubblicazioni nel 2020 anche grazie alla digitalizzazione. Pur non producendo più materialmente gli articoli, le riviste scientifiche che ancora non usano l’OA come modello, hanno cominciato ad aumentare esponenzialmente i prezzi delle sottoscrizioni, ponendo ostacoli significativi all’accesso alle informazioni.

Modelli di Open Access

I tre modelli principali di OA che sono stati presentati sono i seguenti:
Green OA: pubblicazione gratuita tramite archiviazione secondaria in repository istituzionali o tematici. Non sempre include licenze di riutilizzo;
Gold OA: accesso gratuito al momento della pubblicazione, spesso tramite pagamento di Article Processing Charges (APC). L’APC è una tassa che gli autori devono pagare per pubblicare un articolo in una rivista ad accesso aperto al fine di coprire i costi associati al processo editoriale, come la revisione tra pari, l’editing, la gestione dei dati e la diffusione dell’articolo online. Il Gold OA include licenze di riutilizzo;
Diamond OA: modello senza APC, che garantisce accesso libero sia per gli autori che per i lettori. La sostenibilità di questo modello è tuttavia una sfida.
Importanza dell’Open Access nel XXI secolo
L’Open Access sta crescendo rapidamente, con un incremento maggiore nei modelli Gold. Disparità significative esistono tra discipline e regioni geografiche. Europa e Stati Uniti sono leader nella trasformazione verso l’OA, contribuendo alla diffusione globale delle conoscenze e alla riduzione delle disuguaglianze relative all’accesso all’informazione.

Dove Pubblicare: come scegliere

I parametri chiave da considerare nella scelta di una rivista esposti da Ingrin Jannick sono i seguenti:
Fattore di impatto (I.F. o impact factor): indice che valuta la rilevanza e visibilità della rivista. Si tratta di un indice sintetico riferito al numero medio di citazioni ottenute dagli articoli di una determinata rivista nei due anni precedenti rispetto all’anno di riferimento. È doveroso sottolineare che un alto fattore d’impatto non garantisce un’alta visibilità dell’articolo.
Costo (APC): i costi di pubblicazione variano significativamente da una rivista all’altra.
Tempistiche: la velocità di revisione e pubblicazione è molto variabile (es. da 30 a 340 giorni). Bisogna considerare che alcune riviste non indicano in maniera precisa i tempi di pubblicazione, bensì solo quelli previsti per la prima revisione.
Tasso di accettazione: metrica utile per valutare la probabilità di accettazione.
Qualità editoriale: assicurarsi che la rivista aderisca alle best practices (es. verifica nel DOAJ).

Conclusione

L’Open Access rappresenta il futuro della pubblicazione accademica, ma non tutti i modelli sono uguali in termini di sostenibilità, qualità e accessibilità. È cruciale scegliere attentamente dove pubblicare, considerando non solo l’APC e il fattore di impatto, ma anche la qualità della revisione e la velocità del processo editoriale.
Anche gli autori sono fondamentali nel processo di miglioramento del sistema editoriale globale poiché sono responsabili non solo di ciò che scrivono in prima persona, ma anche per quanto riguarda la scelta ponderata delle riviste su cui pubblicare.
L’OA è un modello gratuito, accessibile, immediato, online, che consente il riutilizzo del materiale, come affermato nel video proposto dal docente Ingrin. Questi aspetti permettono quindi alla conoscenza scientifica di diffondersi e crescere più velocemente.
Al contrario, l’accesso a pagamento agli articoli scientifici rappresenta un ostacolo enorme, non solo per i ricercatori in paesi meno sviluppati, ma anche per chi ha avuto difficoltà ad accedere a articoli scientifici per problemi pratici. Questo evidenzia la necessità di modelli alternativi, come l’Open Access, per garantire che la conoscenza sia fruibile e spendibile per chiunque ne abbia bisogno.
Un ultimo punto di riflessione proposto riguarda l’utilizzo consapevole dell’Open Access. Grazie alla facilità di pubblicazione del modello si è assistito alla proliferazione massiva delle pubblicazioni, sestuplicate negli ultimi quarant’anni, nonostante il numero dei ricercatori non sia proporzionalmente cresciuto. Ingrin conclude sottolineando l’importanza di portare avanti una ricerca scientifica responsabile e basata sulla qualità piuttosto che sulla quantità.

Evaluating Linguistic Abilities of Neural Language Models – Seminario IA, Alessio Miaschi, 9/12/2024

 

Autori: Costanza Mondo, Diana Di Matteo, Federico Lo Iacono

 

Gli ambiti di ricerca di Alessio Miaschi, ricercatore presso CNR – ILC, sono soprattutto l’interpretatività ed evaluation dei Large Language Models (LLMs). Il 9 dicembre, il suo seminario ha fornito un’esaustiva introduzione ai LLMs e delineato la loro evoluzione nel tempo, per concentrarsi poi sugli ambiti della loro interpretatività ed evaluation. La sua presentazione seguiva una struttura precisa che permetteva di seguire gli argomenti in modo scorrevole e chiaro:

1. Introduzione
2. Neural Language Models (NLMs)
3. Transformer-based LMs
4. Interpreting and evaluating NLMs
5. Conclusioni e sviluppi futuri

 

  1. Introduzione

    Il punto di partenza della storia del Large Language Models è la linguistica computazionale. Questa branca del sapere si concentra sullo sviluppo di sistemi che lavorano con il linguaggio, che essendo un sistema probabilistico richiede un modello basato sulle probabilità. Un LLM si occupa di assegnare una probabilità ad una sequenza di parole, in cui la probabilità di una parola dipende dalla probabilità di quelle che la precedono. Per molto tempo, i processi di funzionamento dei LLMs si sono basati sul conteggio delle sequenze in una quantità di testo. In seguito, per ridurre il considerevole costo computazionale di questa procedura, sono stati elaborati i modelli n-gramma (ngrams) che tengono in considerazione solo la probabilità delle due o tre parole precedenti a quella da generare e che richiedono quindi poche informazioni da elaborare. Come evidenziato da Miaschi, a differenza di ChatGPT, il modello ngram non può generalizzare su sequenze di parole che non ha mai incontrato.
    Così si è giunti a lavorare su un concetto molto importante: la rappresentatività, ossia un modo efficace di rappresentare le parole così che risultino intellegibili alle macchine. Volto a rappresentare le immagini e renderle computabili, il Representation Learning è una procedura di training che associa una parola a un vettore di numeri e visualizza le parole della lingua in uno spazio vettoriale da cui si possono ricavare informazioni sulla loro semantica e somiglianza in base alla vicinanza dei cluster verbali. In questo modo, i significati vengono assegnati tramite la disposizione spaziale.

 

  1. Neural Language Models (NLMs)


Come secondo punto del seminario, Miaschi ha poi introdotto i Neural Language Models (NLMs) come modelli di linguaggio composti da reti neurali artificiali addestrate a risolvere funzioni di language modelling. Ha fatto riferimento allo studio del 2003 di Bengio et al., in cui una macchina è stata addestrata secondo il Neural Probabilistic Language Model a prendere una sequenza (in cui a ogni parola è associato un vettore) e a predire una probabilità su ogni vocabolo della lingua. Da notare che questa macchina possedeva una rete neurale a un solo strato, in seguito sono state sviluppate reti neurali ricorrenti.
Nel 2017 dei ricercatori di Google svilupparono il Transformer Model che usa funzioni di encoder e decoder. L’encoder elabora un’immagine a partire da un testo, mentre il decoder genera testo a partire da un input testuale. Inoltre, questo modello adotta un meccanismo di attenzione per cui si crea una nuova architettura in cui la rete neurale si concentra sulla parte di sequenza più importante e genera parole in modo contestuale, assegnando pesi maggiori o minori a tutte le parole.

 

  1. Transformer-based LMs


Dal 2017 in poi nascono i Transformer-based Neural Language Models a cui Miaschi ha dedicato la terza parte della presentazione. Partendo dal paper del 2017 “Attention is All You Need” di Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser ed Illia Polosukhin si crea fondamentalmente una scissione: l’encoder si contrappone al decoder. L’encoder prende testo e sputa vettori, dunque può ben essere utilizzato per la traduzione automatica; mentre il decoder prende testo e sputa fuori testo. Sia encoder che decoder possono essere utilizzati per fare machine translation, tuttavia vi è una differenza sostanziale e subito si comprendono le potenzialità del decoder. La vera rivoluzione è rappresentata dall’”Attention” che permette di focalizzarsi e creare rappresentazioni di parole di tipo contestuale. Dunque, se fino al 2017 ci si basava su reti neurali ricorrenti, dal 2017 in poi ci si basa sui Transformer, che oltre alle altre hanno anche la potenzialità di guardare contemporaneamente non solo ad una parola ma anche a tutte le altre. Oggigiorno tutti i NLMs, incluso ChatGPT, si basano sull’architettura dei Transformer. La vera scissione del 2017 consiste nel fatto che si sono iniziati a sviluppare solo encoder e solo decoder. Il primo decoder è GPT, di cui Alec Radford e Karthik Narasimhan parlarono nel loro articolo del 2018 “Improving Language Understanding by Generative Pre-Training”. Il decoder processa da sinistra a destra e predice la parola seguente essendo un modello generativo. Il modello opposto rispetto a GPT è BERT che è un encoder che tira fuori sequenze di numeri anziché testo. Infatti BERT è l’acronimo di Bidirectional encoder representations from transformers. BERT fu creato nell’ottobre del 2018 dai ricercatori di Google addestrandolo sul Toronto BookCorpus e su English Wikipedia. Un modello come BERT è ben utilizzabile per fare tagging e per i processi di fine-tuning, ossia si può specializzare per poche interazioni. In BERT le parole vengono mascherate. Da ciò è nato l’MLM, il masked language model, un approccio per allenare modelli di apprendimento su dati testuali di larga scala. L’MLM ha avuto molto successo per risolvere alcuni task di Neural Language Processing come la classificazione del testo, la traduzione e la Sentiment Analysis. In particolar modo, per quanto riguarda la Sentiment Analysis, il Mask Language Modeling risolve l’analisi come un task di masking e non come un processo di classificazione, il che rappresenta una svolta anche nella Sentiment Analysis. Il modello, dunque, quando restituisce una parola restituisce tutto il vocabolario. Negli ultimi anni, dal 2021 al 2023, con l’aumento dei dati e l’affinamento dei modelli è aumentato il livello di sensibilizzazione nella valutazione delle competenze del modello.

 

  1. Interpreting and evaluating NLMs

 

La quarta parte del seminario di Miaschi si è concentrata sull’interpretazione e la valutazione dei Neural Language Models. Partendo dal blog di Open-AI, il ricercatore ha spiegato come si è passati da GPT-3 a Instruct-GPT. Nel biennio 2021-23 i ricercatori hanno iniziato a creare task di istruzioni su cui addestrare GPT-3 per porre un freno a possibili effetti negativi collaterali del fenomeno. Questa è stata un’ulteriore svolta. Infatti, prima di Instruct-GPT, se al modello veniva chiesto come costruire una bomba, il NLM rispondeva. Oggi ciò non avviene poiché vi è una rete di controllo composta da esseri umani che blocca le risposte a domande potenzialmente pericolose per il genere umano stesso. Questo gruppo di controllo si chiama Reinforcement Learning Human Force (RLHF) ed è fondamentale per garantire una forma di sicurezza del modello. L’ultima evoluzione di GPT è stato il passaggio da GPT-3 a GPT-4. Miaschi si è soffermato a lungo sul fatto che non si sa cosa vi è dietro l’addestramento di GPT-4, forse un modello estremamente grande dell’azienda Open-AI che, secondo il ricercatore, opera un “unsupervised learning” a cui segue un’operazione di “supervised fine tuning” e un controllo da parte del RLHF. Ciò che è certo è che dal 2021 in poi si è passati da un’architettura Transformer-based encoder-decoder a modelli generativi. Miaschi ha anche posto l’accento sul fatto che dal 2018 al 2021 quasi tutti i modelli erano open source, ossia chiunque poteva osservare e studiare la struttura del modello. Dal 2021 in poi, quindi da quando sono stati creati i modelli generativi, le aziende hanno smesso di rendere pubbliche le architetture dei loro modelli e dunque si è proceduto verso un closed source. Per esempio, citando il caso di Llama di META, Miaschi ha spiegato che qualunque utente ha accesso all’architettura del modello generativo, quindi apparentemente sembrerebbe un approccio open source, ma nessuno sa su quali corpora è stato addestrato Llama 3.3, quindi non si può parlare di open source vero e proprio. Si può anche ipotizzare, secondo Miaschi, che i dati utilizzati per l’addestramento di Llama siano dati protetti da copyright, però non si hanno abbastanza informazioni per dimostrarlo. La programmazione di gran parte di questi modelli si basa sul linguaggio Python, dunque è facile da utilizzare. A tal proposito, Miaschi cita il caso di Hugging Face che è scritto con due righe di codice Python molto facili da usare. In particolar modo, su Hugging Face sono stati condotti alcuni studi anche da parte di un gruppo di ricerca della Fondazione Bruno Kessler del CNR, perché è un caso interessante di Intelligenza Artificiale generativa in quanto si crea un social fittizio in un ambiente in cui vari Large Language Models interagiscono tra loro, e rappresenta quindi un caso studio per l’interpretabilità di questi modelli. Infatti, osservando come si comportano questi modelli all’interno di Hugging Face si può comprendere meglio la natura dei modelli e capire perché prendono determinate decisioni. Il problema dell’interpretabilità nei Natural Language Processing è sorto dal momento in cui i modelli sono diventati generativi, poiché prima del 2021 i sistemi usati erano molto più semplici e dunque si poteva predire con più facilità il loro comportamento. Queste competenze nella rete neurale artificiale non si possono vedere.

Per quanto riguarda la valutazione dei Neural Language Models, Miaschi ha parlato soprattutto dei benchmarks, che servono a creare una classifica che rifletta qual è il modello migliore, basandosi su una comparazione di più di trenta LLMs rispetto a parametri metrici come la qualità, il prezzo, la performance e la velocità. Tale lista è costantemente aggiornata e disponibile su LLM Leaderboard (LLM Leaderboard – Compare GPT-4o, Llama 3, Mistral, Gemini & other models | Artificial Analysis).

Attraverso la presentazione dei risultati di alcune ricerche del suo gruppo, Miaschi è passato all’ultima parte del seminario, dedicata al linguistic profiling e alla valutazione delle competenze linguistiche dei LLM. I risultati e le ricerche in questione sono condensate in quattro lavori – Evaluating Large Language Models via Linguistic Profiling; Linguistic Profiling of a Neural Language Model; Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It) e Controllable Text Generation To Evaluate Linguistic Abilities of Italian LLMs – presentati a conferenze internazionali e nazionali, su tutte la recentissima Conferenza Italiana di Linguistica Computazionale, CLiC-it. 

Come descritto durante il seminario, negli ultimi anni, i rapidi progressi dell’Intelligenza artificiale e delle ricerche nel Natural Language Processing hanno portato i LLM al centro dell’innovazione tecnologica, toccando capillarmente ambiti di ricerca trasversali e variegati. Questi modelli, alimentati da architetture come i trasformatori descritti precedentemente, hanno dimostrato capacità senza precedenti nella generazione di testo, nella comprensione e in numerosi altri compiti applicativi. Nonostante questi successi – come commentato da Miaschi sia durante il seminario, sia nei vari paper citati – i loro meccanismi sottostanti rimangono complessi e spesso opachi. Una delle domande più naturali, infatti, rimane capire come i LLM codifichino, elaborino e utilizzino le conoscenze linguistiche. 

Rispondere a quesiti come questo è fondamentale non solo per migliorare l’interpretabilità dei modelli, ma anche per garantirne l’efficacia in contesti linguistici e culturali diversificati. Il linguistic profiling offre una metodologia completa per valutare in modo sistematico la competenza linguistica dei LLM: esplorando, infatti, la loro capacità di generare, riconoscere e controllare testi secondo specifiche richieste linguistiche, questo approccio non solo fa luce sui punti di forza, ma aiuta a riconoscere anche i limiti e i vincoli di questi modelli. Come si può immaginare – e come Miaschi ha spesso sottolineato – una riflessione che parta da questa prospettiva fornisce poi anche spunti pratici per migliorare il design dei LLM, la loro adattabilità e soprattutto le loro prestazioni complessive. L’ultima parte del seminario, dunque, ha cercato di mostrare il valore del linguistic profiling, ma anche (e con precisione) le metodologie in uso e i risultati ottenuti, sottolineandone il ruolo cruciale nell’avanzamento della ricerca sui LLM. 

Il linguistic profiling, implicando l’analisi della capacità dei LLM di comprendere e generare testi aderendo a specifiche caratteristiche linguistiche, è un processo che valuta i LLM a diversi livelli linguistici, compresa la capacità di riconoscere (e generare) le proprietà del testo grezzo, le caratteristiche morfo-sintattiche e i fenomeni sintattici più ampi. Tra gli obiettivi principali del linguistic profiling possiamo includere la valutazione della coerenza e della precisione delle risposte rispetto al prompt (testare se i modelli possono generare frasi conformi a richieste linguistiche specifiche, come schemi di parti del discorso o strutture sintattiche); l’analisi delle rappresentazioni interne (cioè comprendere come i processi di pre-addestramento e fine-tuning influenzano la codifica delle caratteristiche linguistiche); e infine il miglioramento dell’interpretabilità (provando a svelare, cioè, la natura black box dei LLM per fornire spunti interpretabili sulle loro capacità linguistiche). Un esempio di questo può arrivare proprio da uno dei paper citati – Evaluating Large Language Models via Linguistic Profiling – nel quale è stato chiesto ai LLM di generare frasi con caratteristiche linguistiche predefinite. Riportiamo a titolo esemplificativo un caso fittizio, diverso da quelli nell’Appendice del paper citato:

  •       Prompt: Generare una frase contenente esattamente tre verbi.
  •       Frase generata: Il cane abbaia, corre e salta oltre il recinto.

A questa prima fase, ne è seguita una di validazione, che ha poi valutato se il testo generato fosse aderente al vincolo richiesto nel prompt. Un approccio simile – finemente descritto nei lavori – si rivela uno strumento utile per mostrare, dunque, sia la competenza dei LLM nella gestione di compiti strutturati sia le loro limitazioni nel mantenere coerenza e precisione, specialmente con complessità crescente.

Proseguendo con gli esempi, abbiamo osservato che la complessità delle richieste e – di conseguenza – dei livelli linguistici presi in considerazione nel linguistic profiling possono variare. A partire soprattutto dai risultati dei paper Linguistic Profiling of a Neural Language Model e Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It), Miaschi ha introdotto infatti parametri quali le proprietà del testo che rispondono a caratteristiche strutturali (lunghezza delle frasi, lunghezza delle parole e ricchezza del vocabolario); la tipologia delle parti del discorso presenti e le caratteristiche morfosintattiche; le caratteristiche precipuamente sintattiche (estratte con strumenti come ProfilingUD: profondità degli alberi sintattici, concordanza e dipendenza,  ordine degli elementi, relazioni soggetto-oggetto-verbo). A tal proposito Miaschi ha rilevato che, ad esempio, un modello come BERT codifica conoscenze morfo-sintattiche e sintattiche significative durante il pre-addestramento, ma queste conoscenze spesso si riducono dopo il fine-tuning su compiti specifici (Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)).

Proseguendo, sono stati descritti anche i vantaggi che il linguistic profiling offre e che – più in generale – sottolineano la rilevanza nella valutazione e nello sviluppo dei LLM. Il linguistic profiling, infatti, permette di valutare elementi precisi e mirati sul comportamento dei modelli di LLM. Questo approccio, ad esempio, fornisce metriche dettagliate su quanto bene i LLM si allineino alle richieste linguistiche, rivelando aree e punti di forza (riconoscere dipendenze sintattiche) e anche di debolezza (ad esempio, prompt con esplicite richieste sul numero di costituenti da generare nel testo). Non solo: il linguistic profiling favorisce anche una specifica ottimizzazione a seconda delle lingue. Ad esempio, varie ricerche (tra cui quelle del gruppo di Miaschi) sui LLM italiani hanno dimostrato l’utilità del linguistic profiling nell’adattare i modelli a contesti linguistici specifici. Valutando l’aderenza alle regole morfo-sintattiche dell’italiano, infatti, i modelli sono stati ottimizzati per compiti specifici (cfr. Controllable Text Generation To Evaluate Linguistic Abilities of Italian LLMs).

Miaschi e il suo gruppo, inoltre, hanno rilevato il grande impatto del linguistic profiling anche in supporto alla valutazione di modelli multilingue, offrendo spunti sull’adattabilità e sulle prestazioni dei LLM in diversi sistemi linguistici. Nei loro studi, ad esempio, hanno mostrato il valore del fine-tuning intermedio per migliorare le capacità di trasferimento cross-linguistico (cfr. Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)), riducendo il divario tra lingue più e meno rappresentate valorizzando le caratteristiche comuni alle lingue. Dunque, prima di adattare – per farlo funzionare bene anche in italiano – un LLM addestrato in inglese potrebbe essere sottoposto a un fine-tuning su dataset o compiti in lingua italiana che enfatizzano strutture linguistiche comuni a entrambe le lingue. Infine, gli spunti derivati dal linguistic profiling possono guidare l’architettura del modello e le strategie di addestramento. Ciò significa che l’integrazione di conoscenze linguistiche durante il pre-addestramento migliora significativamente le prestazioni nei compiti downstream (cfr. Evaluating Large Language Models via Linguistic Profiling e Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)).

Nonostante le grandi potenzialità del linguistic profiling, applicare questo approccio e fare ricerca in questo campo non sono privi di sfide. I lavori citati mostrano infatti diverse limitazioni, o comunque diverse difficoltà. Innanzitutto, i LLM si mostrano spesso incoerenti nell’aderire ai prompt richiesti, specialmente con requisiti numerici o sintattici complessi, come abbiamo visto. Ad esempio, i tassi di successo nella generazione di frasi con clausole subordinate esatte variano notevolmente tra i modelli (cfr. Evaluating Large Language Models via Linguistic Profiling). Inoltre, il linguistic profiling richiede significative risorse computazionali e dataset annotati: si considerino gli esperimenti con i treebank delle dipendenze universali che richiedono un ampio pre-processing e valutazione (cfr. Linguistic Profiling of a Neural Language Model). Non sono da non considerare, poi, paradossi come la perdita di conoscenze linguistiche generali. Si è visto, infatti, che il fine-tuning su compiti specifici può portare a una perdita di rappresentazioni linguistiche più ampie, come osservato nei modelli BERT durante gli aggiustamenti specifici per i compiti (cfr. Linguistic Profiling of a Neural Language Model). Infine, applicare tecniche di profiling a lingue e compiti diversi è un’impresa non banale, che spesso richiede strumenti e metodologie personalizzati (cfr. Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)).

Integrando quanto detto da Miaschi durante il seminario con uno degli studi del suo gruppo è possibile riflettere maggiormente su potenzialità e limiti del linguistic profiling. In Controllable Text Generation To Evaluate Linguistic Abilities of Italian LLMs sei LLM italiani sono stati valutati utilizzando precise richieste linguistiche (che riguardassero numero di token in produzione e comprensione; analisi delle parti del discorso ecc). La metodologia coinvolgeva un processo in due fasi: innanzitutto era previsto un momento di generazione delle frasi, nel quale ai modelli veniva chiesto di produrre frasi che aderissero a proprietà linguistiche specifiche (ad esempio: Genera una frase con due aggettivi). Successivamente si è previsto un momento di validazione, durante il quale ai modelli è stato chiesto di analizzare i propri output (ad esempio: Quanti aggettivi ci sono nella frase?).

I risultati hanno mostrato variazioni importanti nelle prestazioni, con alcuni modelli eccellenti nella coerenza ma incapaci di rispondere con precisione a richieste più precise ed esatte. Ad esempio, ANITA ha dimostrato alti tassi di successo nei compiti morfo-sintattici ma ha avuto difficoltà con la complessità sintattica. Dando uno sguardo invece agli altri lavori, non inaspettatamente Miaschi e il suo gruppo hanno osservato che i LLM per la lingua inglese ottengono le risposte migliori sia nelle fasi di riconoscimento della complessità, sia nelle fasi di produzione/generazione di frasi in risposta a specifici prompt. Tuttavia, uno dei punti più interessanti discussi da Miaschi è stato il confronto tra modelli più grandi e modelli più piccoli, anche in ottica di scelte ecosostenibili ed economicamente motivate. Per quanto possa apparire paradossale, infatti, modelli di LLM più piccoli e sostenibili – addestrati intelligentemente con fasi intermedie di fine-tuning corrette e mirate – possono comportarsi anche meglio di modelli più grandi e sicuramente più potenti, che tuttavia sono più difficili da addestrare e raffinare, vista l’ingente quantità di materiale richiesto per queste azioni. Rimane valido, in ogni caso, il fatto che modelli più grandi – e lo dimostrano anche gli articoli – possono in linea di massima comportarsi meglio con attività più generali (si vedano i compiti/prompt cross-linguistici).

 

  1. Conclusioni e sviluppi futuri

 

Concludendo, alla luce della progressiva importanza che stanno acquisendo questi LLM – che diventano sempre più integrali in una vasta gamma di applicazioni – comprendere le loro capacità linguistiche è cruciale, in vista di un utilizzo responsabile ed efficace. In questo, il linguistic profiling fornisce un quadro robusto per esplorare queste capacità, svelando il delicato equilibrio tra rappresentazioni pre-addestrate e aggiustamenti successivi al fine-tuning. Questo approccio non solo migliora l’interpretabilità dei modelli, ma getta anche le basi per miglioramenti mirati nel design e nella distribuzione dei LLM. In ottica di sfide che coinvolgono ricerche future, crediamo che alcuni punti salienti possano essere, tra gli altri, I. sviluppare strumenti per semplificare ed estendere le metodologie di profilazione in diversi contesti linguistici e computazionali; II. incorporare esplicitamente caratteristiche linguistiche durante il pre-addestramento per rafforzare la comprensione linguistica generalizzabile dei modelli; e, infine, III. adattare il profiling a contesti specializzati, come lingue a basse risorse o settori professionali specifici. Cercando di colmare il divario tra le prestazioni computazionali e la competenza linguistica dei modelli, il linguistic profiling e le ricerche in questo campo garantiscono che i LLM siano non solo potenti, ma anche più consapevoli delle complessità linguistiche e contestuali del linguaggio umano (e, così, da non ritenere più totalmente sordi/insensibili alle strutture linguistiche).

 

Costanza Mondo, Diana Di Matteo, Federico Lo Iacono

  1. Bibliografia del gruppo di ricerca ItaliaNLP Lab citata durante il seminario