La voracità dell’IA: un’analisi dell’addestramento attraverso i libri

C’è una frase del poeta e scrittore tedesco Heinrich Heine che rappresenta un vero e proprio monito. Compare in una tragedia pubblicata nel 1823, l’Almasor, e recita così: “là dove si bruciano i libri si finisce per bruciare anche gli uomini.”

Un’affermazione potente, spesso utilizzata per descrivere i periodi bui della storia in cui tale gesto è stato compiuto, ma che risulta attuale alla luce di un fenomeno che riguarda l’intelligenza artificiale generativa.

Siamo infatti giunti a una fase in cui i contenuti “senza AI” disponibili online sono una rarità, motivo per cui, per migliorare l’addestramento, le società stanno ricorrendo a informazioni sofisticate: quelle prodotte dalla mente dell’uomo nei libri cartacei, in anni e anni di storia.

Dati “puliti”, con una qualità elevata, prelevati da volumi spesso rari e fuori catalogo: una rarità proprio come i contenuti cui accennavamo. Tutto questo con un prezzo non irrilevante, a livello umano, simbolico, culturale e materiale.

Il dataset di libri reso pubblico da Harvard

La ricerca di fonti accurate e di qualità appare da sempre uno degli aspetti centrali nell’addestramento dell’AI.

Ed è in questo contesto che l’Università di Harvard si è mossa in maniera gratuita tra la fine del 2024 e giugno 2025 e dunque ben prima (seppur non in ordine temporale) che fosse divulgata la notizia che tanto sta facendo discutere: l’utilizzo dei libri cartacei.

L’ha fatto rilasciando un dataset di dimensioni degne di nota, per una somma superiore a 1 milione di volumi, resi di pubblico dominio tanto a favore di professionisti e persone, quanto dei voracissimi modelli di intelligenza artificiale.

Una mole imponente, superiore a quella di altri dataset, variegata tanto per lingue quanto per argomenti, erogata senza alcuna violazione del diritto d’autore.

Sono trascorsi quasi due anni. Da allora l’IA ha fatto passi da gigante. Quei libri non sono bastati ed è qui che si inserisce l’uso dei libri cartacei da parte delle società specializzate. Vediamo come.

Dietro l’uso dei libri cartacei da parte dell’AI

E pensare che Amazon è nata come e-commerce per la vendita di libri. Chi l’avrebbe detto che, per implementare il suo business, si sarebbe trovata a distruggerli, quegli stessi testi?

È quanto sta accadendo oggi ed è forse il paradosso che più sta facendo discutere in merito all’adozione dei volumi cartacei per l’addestramento dei modelli di intelligenza artificiale.

A evidenziare la questione sono un articolo apparso sul portale di Focus nonché le principali testate giornalistiche, che citano a loro volta diverse inchieste, in primis quella che ha fatto da apripista conseguita dal Washington Post.

I volumi acquisiti dalle aziende dell’IA verrebbero infatti “smembrati, scansionati e infine distrutti”, per citare le precise parole dell’articolo di Focus. Una pratica consolidata e documentata, confermata dalle principali multinazionali del settore come Anthropic e OpenAI.

Un modus operandi che sta facendo riflettere sia per via delle conseguenze pratiche a livello culturale, etico e giuridico, sia in quanto sta portando alla sparizione di diversi volumi che fino a poco tempo fa erano oggetto di studio e ricerca presso piccole librerie, collezionisti e biblioteche.

E che ha un nome preciso: Project Panama.

Cos’è il Panama Project: quando è cominciato e in cosa consiste

Avviato all’inizio del 2024 - prima che Harvard rendesse pubblico il suo dataset - il Project Panama è stato concepito con l’intento di ottenere quantità abnormi di libri per avere nuovi dati per addestrare i modelli dell’AI.

Inutile dire che i libri reputati più interessanti sono quelli che risalgono a prima dell’avvento della nuova tecnologia, i più preziosi perché il web, oggi come oggi - ma vale anche per le nuove uscite delle case editrici - è saturo di testi sintetici.

Tra i volumi più ambiti si annoverano:

• Libri di storia locale.
• Libri in lingue rare.
• Libri di diritto ed economia.
• Libri di linguistica.
• Libri di saggistica e manualistica.

La tecnica di destructive scanning del Panama Project

La tecnica utilizzata alla base del Panama Project fin dai suoi inizi è quella del cosiddetto destructive scanning e consiste nella scansione e digitalizzazione di milioni di libri.

A fare da apripista è stato, come già accennato, il Washington Post, che ha menzionato in particolare Anthropic per tale pratica, precisando che la multinazionale dei fratelli Amodei avrebbe provato, per preservare la propria immagine, a rendere riservata l’operazione.

Ecco una sintesi dei passaggi che stanno dietro il destructive scanning:

1. Acquisizione di un set di libri rari/fuori catalogo o non conosciuti, comunque precedenti all’avvento dei testi sintetici.
2. Rimozione della rilegatura.
3. Taglio del dorso, così da “liberare le pagine”.
4. Una volta che le pagine risultano separate, sono pronte per passare all’interno di potenti scanner industriali.
5. Si ottiene così un volume 100% digitalizzato, un formato funzionale affinché venga dato in pasto ai modelli di intelligenza artificiale.
6. Il volume cartaceo, non essendo più riutilizzabile (ricomporlo costerebbe uno sproposito rispetto alla sua demolizione), viene destinato allo smaltimento oppure, nel migliore dei casi, al riciclo.

Il destructive scanning è legale?

Negli USA al momento sembra proprio di sì e a confermare la legalità del destructive scanning è stata una sentenza che ha dato ragione ad Anthropic, in virtù del principio noto come “fair use” (in italiano uso legale).

C’è comunque da dire che la scorsa estate in tribunale si è giunti a un accordo finale che ha visto il conferimento di 1,5 miliardi di dollari per un totale di oltre 480 mila volumi. Quindi no, nemmeno nei liberalissimi Stati Uniti è lecito al 100% utilizzare un libro nel modo che si preferisce.

Il tema appare invece più complesso nel contesto europeo, dove nonostante risultino in vigore misure quali AI Act e la direttiva 2019/790, al momento il comportamento attuato dalle aziende dell’intelligenza artificiale è tollerato.

Perché la scelta è ricaduta sui libri

I modelli di AI generativa hanno, in termini di data quality, due criticità storiche:

• Le risposte che assomigliano a delle allucinazioni e dunque non sempre rispondenti al vero.
• Una scrittura spesso piatta, buona ma didascalica, senza anima. Non a caso una delle criticità del content marketing attuale risiede in una diffusa uniformazione dei contenuti.

La scelta dei libri vede alla base tali aspetti: la possibilità di esercitare i chatbot a conseguire una scrittura migliore, più accurata e più autentica; più umana.

C’è poi un altro fattore da considerare ed è il cosiddetto model collapse: addestrando l’IA con testi sintetici le aziende del settore temono che possa prodursi un peggioramento della qualità. Sarebbe quindi più un tornare indietro che un andare avanti.

Nota finale: l’uso dei libri in chiave data poisoning

Concludiamo con una nota in merito a un fenomeno di cui si parla già da un po’ a proposito di AI, ovvero il data poisoning o AI poisoning: in italiano, avvelenamento dei dati.

Si tratta di una tipologia sofisticata di attacco informatico che ha al centro la manipolazione/corruzione dei dati utilizzati per l’addestramento dei modelli. Funziona attraverso l’inserimento di “dati avvelenati” e tende a confondere il modello durante la fase di training.

Inoltre, i libri cartacei sono fonti privilegiate perché meno soggette ad AI poisoning: anche per questo appaiono particolarmente preziosi.

Al di là del business per le piccole librerie e dell’apparente salvataggio di diversi volumi dal macero - una pratica diffusa in editoria e di cui si parla troppo poco - tanto le notizie sul Panama Project quanto quelle sul data poisoning sono ancora da conoscere e analizzare.

La direzione futura non è chiara, ma una cosa è certa: le AI hanno fame di dati puri. Basteranno i soli libri cartacei?