Per Clone 2.0 (Samuele Editore-Pordenonelegge, 2023, collana Gialla), la tua ultima pubblicazione in versi, ti sei avvalso dell’utilizzo dell’intelligenza artificiale, in particolar modo di GPT-2.

Vorrei ci raccontassi da dove è nata questa idea e ci accompagnassi passo passo nelle tappe che hanno condotto alla realizzazione del libro così come noi oggi lo leggiamo.

Sono professore di Informatica, se non lo faccio io chi lo fa? A parte gli scherzi, parte del mio lavoro come ricercatore nell’ambito dell’informatica medica si basa sulla sperimentazione di sistemi di intelligenza artificiale (o più propriamente di machine learning) per il supporto alla decisione in ambito medico. Io mi occupo prevalentemente di due aree: le immagini di anatomia patologica, che sono ottenute tramite microscopio, e la codifica di documenti clinici con classificazioni biomediche (grossomodo, dei dizionari di termini specialistici standardizzati). Nel primo caso, l’obiettivo principale è classificare: capire per esempio quale diagnosi è ottenibile da un’immagine, o che tipo di cellula è ritratta in una porzione di immagine; e compiti derivati, quali per esempio la segmentazione (delineare tutti i nuclei in un’immagine, o le tipologie di tessuti presenti, eccetera). Nel secondo caso, l’obiettivo è tipicamente identificare quali entità (diagnostiche, procedurali, anatomiche, eccetera) sono identificabili dentro un testo clinico, e possibilmente anche a quali sequenze di caratteri corrispondono.

Anche se apparentemente il secondo caso d’uso, relativo al testo, è più vicino all’ambito poetico, l’origine dei miei primi esperimenti di generazione di versi è dovuta alle immagini da microscopio. Infatti erano comparsi i primi sistemi in grado di produrre immagini verosimili, le cosiddette Reti Generative Avversariali (GAN). All’epoca si trattava di immagini relativamente grezze, con numerose allucinazioni, cani e gatti con più di due occhi o mani con sei dita. Così nel 2019, assieme ad un tesista ed un paio di colleghi, ho addestrato una di queste reti su immagini istopatologiche di metastasi, e poi mostrate ad un patologo per vedere se erano realistiche (e lo erano).

Io avevo pubblicato da relativamente poco tempo la raccolta di tutte le mie poesie (Storie Naturali, Raffaelli Editore 2016), con cui avevo deciso di chiudere con un certo tipo di scrittura, e non avevo ancora trovato una strada nuova. Ma esistevano già da un po’ alcuni modelli di reti neurali fatte per generare testo, e anche a seguito dell’esperimento sulle immagini, ho deciso di sperimentare uno di questi modelli, in particolare le Reti Neurali Ricorrenti. Poiché avevo bisogno di testi, ho iniziato a fare a mano ciò che fanno i motori di ricerca automaticamente: ho setacciato il Web, ovviamente sapendo dove andare a parare, per raccogliere poesie di autori italiani, e qualcosa in traduzione. Ad un certo punto ho raccontato del mio esperimento a Mario Turello, un critico letterario udinese appassionato di combinatoria ed altre cose peculiari che mi ha accompagnato negli anni nelle mie incursioni tra poesia e informatica, e mi ha regalato una collezione di CD di poesie usciti molti anni fa con il Corriere della Sera. Ho dovuto fare lavoro di reverse engineering per capire come erano codificate nel CD ed ho estratto pure quelle. Con un training set di circa 12000 poesie ho quindi fatto i miei primi addestramenti utilizzando un software open source che semplifica le varie operazioni [https://github.com/minimaxir/textgenrnn/].

Avendo stabilito fin dall’inizio di non ritoccare il prodotto della rete, prima di tutto ho dovuto fare in modo che l’a-capo dei versi e l’a-capo delle strofe fossero presenti e distinti, perché volevo che fossero parte di ciò che la rete doveva apprendere e non qualcosa da determinare a posteriori. Questo l’ho fatto codificando opportunamente i testi con un programmino scritto apposta.

L’esito di quel primo esperimento era molto grezzo: erano versi che presentavano spesso errori sintattici, o anche ortografici. Per gli ultimi ho realizzato un programma che confrontava tutto con un vocabolario italiano, scartando i tesi con errori evidenti. Quelle poesie le ho comunque presentate pubblicamente in un paio di occasioni nel 2019 e 2020 come “Clone 0.9”, ma nel frattempo era comparsa GPT-2, con grande impatto mediatico perché pareva generare testo di ottima qualità.

Diversamente dai modelli più recenti, GPT-2 era addestrata solo inglese, ma era open source, per cui un gruppo di ricercatori pisani aveva riaddestrato la stessa architettura su documenti italiani, ottenendo quindi un modello usabile nella nostra lingua [https://huggingface.co/LorenzoDeMattei/GePpeTto/]. Si noti che i modelli del linguaggio come GPT-2 non sono fatti per rispondere a domande come ChatGPT: sono in grado di generare testo a completamento di un incipit fornito dall’utente, prendendo come contesto ciò che è stato fornito e prodotto in precedenza. Poiché anche il modello italiano era stato messo a disposizione, ho raffinato il suo addestramento sottoponendogli lo stesso training set che avevo usato per il primo esperimento, sempre con un software dello stesso autore del precedente [https://github.com/minimaxir/aitextgen]. L’esito è stato immediatamente superiore, perlomeno dal punto di vista ortografico e sintattico, a meno di qualche errore di concordanza di genere e di tempo. Ho però ripetuto l’addestramento più volte variando la composizione del training set e iterando l’addestramento con sottoinsiemi più ridotti perché, con un contenuto iniziale dominato da poesie relativamente antiche, il linguaggio riprodotto era antiquato. Inoltre, avendo in mente già quella che poi sarebbe diventata la prima sezione del libro, ho anche introdotto testi non poetici relativi a neuroscienze e reti neurali, in modo da introdurre anche del linguaggio relativo all’esperimento stesso.