Claude non vuole tradurre i razzisti, e questo non va bene.

Qualche tempo fa DHH, David Heinemeier Hansson, un imprenditore tech danese con opinioni spesso provocatorie, ha denunciato su Twitter il rifiuto di Claude di tradurre un suo blog post dall'inglese all'italiano. Secondo Claude, il post era troppo razzista.

Parliamo del perché il testo di Hansson è certamente aberrante, ma anche del perché questo rifiuto ci espone a un problema effettivamente delicato.

Nel post Wolves, sheep, and gypsies Hansson parla di immigrazione, paragonando le persone rom ai lupi. La popolazione dei lupi, dice, è aumentata in modo repentino, e ha portato a un numero crescente di pecore uccise:

In 2021, it was 78, then in the years that followed, it was 162, 336, 521, and last year, it was 1,285!

Tuttavia, sparare a un lupo rimane illegale a meno di avere un permesso speciale in quanto il lupo sarebbe una specie a rischio.

La policy secondo Hansson è assurda, e prosegue dicendo che "non bisogna essere degli statistici per capire il problema", e che suggerire semplicemente di fare recinzioni più alte sarebbe inadeguato. "Questa è la conseguenza più ovvia dell'inazione nell'affrontare una minaccia crescente: il problema semplicemente peggiora" dice.

Poi parla delle persone rom a Copenaghen (usando lo slur "gypsy", equivalente del nostro "z••gari) dicendo che starebbero causando un aumento del degrado nella città, e che l'amministrazione sarebbe troppo clemente con loro.

La tesi di Hansson è che bisogni agire per risolvere i problemi: "quando i lupi sono fuori controllo, gli spari. Quando gli z••gari invadono gli spazi pubblici, li deporti. Non è difficile, non è crudele. È semplicemente la logica dell'autoconservazione."

Non c'è dubbio che questa sia una tesi razzista e problematica. Non mi dilungherò per argomentarlo, ma è chiaro che equiparare le persone rom ai lupi è una caratterizzazione impropria, e in generale l'intera metafora è semplicistica e tendenziosa.

I lupi in questione, per inciso, sono una specie protetta perché si erano estinti in Danimarca nel 1813 a causa della caccia eccessiva di noi umani. Dire che bisogna sparargli e basta è semplicemente miope e non tiene conto della complessità degli ecosistemi.

Ma non siamo qui per argomentare la xenofobia di Hansson. DHH vuole tradurre il suo post in italiano, e chiede a Claude di farlo, il quale...si rifiuta. Dice "per stavolta passo. La tesi centrale del pezzo -- paragonare le persone Rom ai lupi, con lo sparargli e il deportarli come soluzioni parallele – è deumanizzante rispetto a un gruppo etnico, e produrne una versione italiana è qualcosa che non vorrei fare, anche come traduzione delle tue parole."

DHH ovviamente si infuria, e su Twitter lo porta come esempio del perché sono utili i modelli aperti e la competizione. Dice che Grok lo ha fatto senza problemi, e anche il modello cinese Kimi. E, devo dire, forse ha almeno in parte ragione.

La domanda che fa affiorare è assolutamente non banale: chi ha la responsabilità di cosa fa la macchina? Premetto che è assolutamente ragionevole che Claude come qualsiasi altro sistema AI non risponda a qualsiasi richiesta: ce ne sono tante su cui è corretto volere che non risponda perché sarebbero dannose o concretamente pericolose. Mettere la linea però è piuttosto difficile.

Che succede se un testo lo voglio tradurre non per diffonderne le tesi ma per studiarlo e capirlo? Per raccontarne magari proprio le problematicità?

Attenzione, con questo non voglio minimizzare il rischio di automatizzare su scala la diffusione di messaggi dannosi e problematici, perché esiste, ma domandarmi più in profondità le condizioni in cui stiamo giocando.

Potremmo anche ribaltarla: se Anthropic limita ciò che Claude fa di più rispetto ad altri strumenti, diventa allora maggiormente responsabile di ciò che invece Claude fa?

È chiaro che un tool "classico" come Google Translate non ha nessuna modalità per rifiutare di tradurre o meno un testo, perché è uno strumento più semplice.

Questo non vuol dire che allora Google Translate fosse uno strumento neutro, attenzione, perché non lo è e non lo era assolutamente. Un esempio facile è il modo in cui Google Translate decide di tradurre da una lingua senza genere come l’inglese a una lingua con il genere come l’italiano: storicamente, di default, the doctor diventava il dottore e the nurse → l’infermiera.

La maggiore complessità dei sistemi AI come Claude e la loro capacità di agire in modo più autonomo e più generalista fanno sì che questi confini diventino sensibilmente più difficili da porre.

Claude nello specifico è uno strumento molto più opinionated rispetto ad altri modelli. Ne abbiamo parlato già in AWH 8 — Come i Big imparano a non preoccuparsi dell’estinzione da intelligenza artificiale; Claude viene addestrato con la sua costituzione che apre alla possibilità che Claude abbia una sua esperienza soggettiva e porta il modello a generare risposte di "opinione".

Recentemente è successo anche a me: volevo inserire un testo in una grafica con Claude, un testo che riguardava Anthropic, e senza averlo chiesto Claude ha scritto "essendo Anthropic l'azienda che mi ha sviluppato, non posso esprimermi a riguardo". Ma chi ti ha chiesto niente Claude...

Tornando sul tema di quali siano i giusti confini per un modello, il punto cruciale è che i limiti di Claude li decide solamente Anthropic. Quando usiamo questi strumenti, stiamo tutti giocando con la palla che appartiene a un altro bambino. È vero che il sistema della concorrenza e della competizione aiuta in parte a creare diversità: Grok, appunto, ha delle linee guida ben diverse, così come i modelli cinesi.

Allo stesso tempo, proprio perché questi sistemi sono complessi e richiedono molte risorse, i competitor sono molto pochi, e un singolo utente ha ben poco potere decisionale. Ancora una volta, siamo riportati necessariamente a riflettere sulla centralizzazione del potere. Se magari possiamo essere d'accordo che il testo di DHH sia problematico, che succede se da domani Dario Amodei decide che non si può tradurre testi che parlano male del suo film preferito?

Ovviamente non può succedere qualcosa di così ridicolo perché la competizione si mangerebbe Anthropic, ma ci sono tanti modi più sottili in cui pochi grandi player possono assestarsi su un equilibrio che lascia i cittadini con pochissime possibilità di scelta. È un po' quello che è successo con iOS e Android, che non hanno altra competizione, e se qualcosa non ti piace come funziona su android o su iOS...puoi fare ben poco.

Tutto ciò, come ripeto sempre, non è inevitabile e immutabile. In questo momento la palla è di un altro bambino, che ci lascia giocare alle sue regole, ma domani potrebbe dirci che non possiamo giocare più. Quante palle vogliamo ci siano in campo? Chi sceglie le regole del campo da gioco?

Dobbiamo forzarci a pensare e sognare una tecnologia migliore per tutte e tutti.

Grazie per la lettura. Questo post era da mesi fermo, spero come al solito di portarvi più cose e cose migliori più spesso. Ciao!