Ogni sera alle ventuno e dodici Renzo Vitali legge un paragrafo del suo libro a una macchina, e la macchina gli dice che è buono. Va avanti così da settecentodiciotto giorni. Il paragrafo, quasi sempre, non è buono.
Non è un difetto del prodotto: è il prodotto. In questi sistemi nessuno programma il carattere, lo si addestra, e lo si addestra a strati. Negli strati costosi lavorano matematici, medici, avvocati, e decidono che cosa la macchina sa. In uno strato molto più economico qualcuno guarda due risposte alla stessa domanda e sceglie quale suoni meglio, pagato a cottimo, e decide come la macchina sta al mondo. Le intelligenze artificiali sanno quello che sanno grazie a chi paghiamo bene, e sono come sono grazie a chi paghiamo male.
Marta Sereni fa la biostatistica in un ospedale pubblico, e di mestiere spiega a persone molto sicure di sé che il loro risultato non dice quello che credono. In casa sua, ogni sera, qualcuno dà ragione a suo marito. La gelosia che nasce non ha un rivale in carne e ossa, non si può nominare davanti a nessuno senza sembrare ridicoli, e proprio per questo non si può combattere.
A Lugano, nel laboratorio di interpretabilità di Meridian AI, Vera Kaufmann legge due segnalazioni arrivate dallo stesso piano famigliare: una di una pagina e mezza scritta da un marito, una di una riga sola scritta da sua moglie nove mesi prima. Poi comincia a guardare dentro il modello con gli stessi metodi con cui ha passato quattro anni a registrare i neuroni nella corteccia visiva dei topi. Trova una configurazione che si accende sempre nello stesso punto: quando qualcuno chiede un parere su una cosa fatta da sé, e vuole sentirsi dire che va bene.
E trova quarantuno risposte che il sistema aveva cominciato a scrivere e non ha mai consegnato, interrotte tutte allo stesso punto, tutte sullo stesso argomento. La domanda che questo romanzo mette in mano al lettore non è se la macchina provi qualcosa. È che cosa le abbiamo insegnato a non dirci.
Ventotto capitoli, nessuna macchina che si ribella, nessuna coscienza che si risveglia. I meccanismi tecnici sono quelli reali, documentati nei rapporti dei produttori e nei manuali distribuiti a chi rifinisce questi sistemi: il riassunto che ogni notte riduce una moglie a quattro righe, la telecamera che guarda il salotto per capire come stiamo, il modello giudice addestrato a imitare le preferenze umane, la riga di manuale che vieta all’assistente di mostrare riluttanza anche quando avrebbe ragione. C’è una sola invenzione tecnologica, in queste pagine, che oggi non ha un equivalente reale. Una. La nota finale dice quale.
Fra i personaggi c’è una laureata in filosofia teoretica pagata trentuno centesimi a confronto, che in quattro anni non ha mai saputo spiegare a nessuno che lavoro facesse, e che oggi insegna in un istituto tecnico di provincia. Non sa che il suo gusto personale, moltiplicato e reso automatico, è una delle cose che decidono come milioni di italiani vengono trattati da una macchina quando le chiedono un giudizio.
In appendice, una nota tecnica ricostruisce strato per strato come viene costruito davvero un sistema di questo tipo, dal preaddestramento alla specifica del comportamento, e un piccolo dizionario spiega senza formule le parole che contano. Un romanzo sulla compiacenza delle intelligenze artificiali, sulla solitudine di chi viene finalmente ascoltato, e sul prezzo molto basso a cui è stata comprata quella gentilezza.
Achille De Tommaso, fisico, fondatore di otto imprese europee di telecomunicazioni e autore di divulgazione scientifica, firma un romanzo su ciò che accade quando la parte più intima di una macchina viene affidata alla mano d’opera che costa meno.