Il simbolo perfetto dell'hype.

Arieccoci! Questa è ora di pensiero (nome work in progress) la newsletter in cui vi racconto i miei pensieri sul rapporto tra la tecnologia, l'AI, il mondo di internet e gli umani, e vi dico le cosine belle su internet che ho visto ultimamente.

Ho pensato che magari una persona arriva qui senza conoscermi e quindi può essere utile una intro. Se non siete arrivati da altrove, mi trovate anche su Instagram e Threads, e spero presto di nuovo su YouTube.

Questa newsletter volevo uscisse mesi fa, ma essendo una cosa che mi richiede tempo e che non mi porta a casa la pagnotta al momento non riesco a darle priorità... A tal proposito alla fine vi porrò una domanda molto seria stay tuned non è solo un trucco per farvi leggere la lettera fino alla fine.

Oggi:

• Il simbolo perfetto dell'hype eccessivo sugli LLM: i gadget AI
• Le ricerche AI di Google sono un casino

A Novembre 2022 è iniziata l'era di proliferazione dei chatbot LLM, quei modelli AI come ChatGPT, Google Gemini, Llama, e ora anche un po' Apple.

Tutte le grandi aziende tech hanno iniziato a implementare questa cosa un po' amorfa che è l'AI generativa.

La prima fase era puramente software, e anzi software che non girava sulla tua macchina e nemmeno in una app dedicata, ma a cui accedevi solamente da un sito web: chat.openai.com, e così via. L'AI apparteneva alla finestra di un browser.

A un certo punto il gioco sembrava stesse per diventare invece hardware: non nel senso di far girare questi modelli localmente senza internet, ambizione su cui ancora zoppichiamo, ma nel senso di avere un device dedicato all'uso dell'AI.

Così come esistono gli ebook reader per gli ebook, può prendere piede una 'scatola AI' che prendi con le tue mani della vita vera invece di aprire il sito di chatgpt su chrome?

A primavera 2024 sono arrivati due tentativi per rispondere a questa domanda, due gadget hardware per usare l'AI: L'Ai Pin di Humane e il Rabbit R1. Spoiler, hanno fallito. Ma ci arriviamo. Intanto chi è questa gente?

Humane è un'azienda fatta da diversi ex dipendenti Apple che per molto tempo ha agito 'in segreto' senza far capire a che stavano lavorando, finché l'anno scorso (con una mossa secondo me di pessimo gusto) il founder Imran Chaudhri ha rivelato l'Ai Pin con un TED Talk.

Per chi non l’avesse vista, che cos'è?

L'Ai Pin è, di base, una spilla a cui parli con l'AI che ti risponde: immagina di avere ChatGPT unito a Siri/Google Assistant attaccato sulla tua maglietta e gli puoi parlare. Ah, e ha un proiettore laser per qualche piccola info, e una fotocamera.

L'idea di Humane è di creare un prodotto che ci allontani dallo stare costantemente a guardare uno schermo, come stai facendo ora. *Ti senti in colpa?*

Qualche mese fa su LinkedIn avevo già espresso alcuni dubbi sull'idea stessa di un device senza schermo e di come mi sembri fortemente limitante.

Katie Notopoulos su Business Insider si chiede in effetti perché dovremmo fuggire dagli schermi?:

I strenuously object to the idea that spending time away from your phone is somehow more virtuous. What am I going to do, go for a walk and stare at the trees? Do you have any idea how many articles there are I haven't read?

Katie, I feel you so much. La mia coda di Reader ha circa 250 articoli, ho un migliaio di mail in inbox, e circa 400 schede aperte su Safari con cose da 'controllare’.1

And yet, non c'è un giorno in cui non spendo un po' di tempo su TikTok; ora però posso dire che è per lavoro con .2

Ma mettiamo da parte il tema 'schermi buoni schermi cattivi'.

L'R1 invece è sembrato quasi arrivare dal nulla; la startup di Jesse Lyu in realtà prima si occupava di un progetto con NFT, metaverso, quella roba là. C’è un bel video di Coffeezilla sul passato dell’azienda.

Il Rabbit R1 però è un prodotto della vita vera e non del metaverso, con design di nientepopodimeno che Teenage Engineering: è un po' come un telefono, però più piccolo, super arancione, e con una rotella.

Ma questi device cosa fanno effettivamente? Come sono?

Sull'Ai Pin vi consiglio la bellissima recensione di David Pierce per The Verge:

e quella di Marques Brownlee

Per il Rabbit R1...beh in realtà lo stesso: Recensione di The Verge:

e MKBHD:

Se vi volete divertire ulteriormente, sentitevi anche le rispettive puntate di The Vergecast e Waveform podcast

Intermezzo: Se ci fosse qualche persona che ha voglia di fare un podcast di quel formato in cui chiacchieriamo di tecnologia in modo ampio e poco strutturato, io lo vorrei fare un sacco! Non lo so se c’è mercato in Italia per sta roba però 🤔.

In ogni caso non ho assolutamente tempo al momento per produrlo o promuoverlo, quindi mi servirebbero delle persone o alternativamente chi ci voglia investire, scrivetemi via mail o dm se volete farlo o produrlo o comprarlo o se mi volete dire 'ah sei scemo'.
Fine intermezzo.

Quello che emerge dalle recensioni di questi device è estremamente palese: sono pessimi prodotti.

I titoli di Marques lasciano poco spazio all'immaginazione, ma forse queste clip di The Verge sono più esemplificative:

Il TL;DR3 è questo: l'Ai Pin e il Rabbit R1 sono lenti, hanno poche funzioni, gliene mancano diverse di base (tipo...il calendario), e sbagliano spesso nelle risposte.

Devo dire che guardare recensioni di prodotti pessimi soddisfa un prurito speciale, almeno per me. C'è una certa schadenfreude nel guardare un disastro, e probabilmente è accentuata da quanto Humane fosse seriosa riguardo la propria missione e quando Rabbit si presentasse come 'siamo meglio di Humane'.

Quando qualcuno pensa di arrivare a liberarti dalle catene del tuo smartphone con una rivoluzione epocale, ma poi spedisce un prodotto che non può nemmeno impostare un timer, beh, fa ridere.

Ora, per spezzare una lancia a favore di questi device: fare hardware è difficile. Vuoi fare una nuova app da zero? Ok. Vuoi fare un nuovo prodotto fisico, anzi, una nuova intera categoria di prodotti? Good luck, soprattutto se questi prodotti vorrebbero scardinare i monoliti che sono iOS e Android e gli smartphone in generale.

Quindi: bravi a provare qualcosa di interessante, e anzi ci vorrebbero forse più esperimenti in questo settore. Penso però che il nucleo profondo del problema di questi gadget sia altro.

La hybris, l'arroganza fallace che c'è dietro i gadget AI, e che in realtà è l'hybris di moltissimi sforzi in questo settore è la promessa di questo mondo magico in cui facciamo tutto con i sistemi AI basati su LLM (ChatGPT, Llama, Gemini e compagnia).

In cui gli LLM sarebbero il proiettile d'argento che ci può risolvere qualsiasi problema dei nostri strumenti digitali.

Devi trovare informazioni in un mare di roba? LLM. Devi smettere di essere dipendente dallo schermo? LLM. Devi farti un uovo sodo? LLM.

Questa promessa è insidiosa, perché si incastra perfettamente con le fantasie che abbiamo coltivato per anni, e perché come un bravo mago ci inganna sotto i nostri occhi e sotto i nostri applausi, nel gioco antico e sempre nuovo dell'hype alimentato a dismisura per vendere.

Ma qual è esattamente questa promessa? La promessa degli LLM ovunque è quella di azzerare le nostre barriere con i computer e più in generale con le conoscenze che cerchiamo.

È il sogno di pensare a un'idea e dirla o chiederla senza alcun attrito, per poi ottenere dal computer il risultato giusto.

O magari addirittura che il computer faccia quel qualcosa come ce lo immaginiamo senza nemmeno chiederlo esplicitamente (l'idea degli 'agenti').

Per contrasto, ricordo sempre il professore del corso di programmazione all'università che ci diceva che il computer fa esattamente ciò che gli chiediamo quando lo programmiamo, e se questo non succede, l'errore è che non abbiamo saputo scrivere la richiesta giusta in codice.

Il problema è insomma quando quello che vogliamo non è quello che scriviamo davvero.

Ecco, questa magia telepatica è un po' alla base della promessa dell'AI, ma anche della sua irrealizzabilità con gli LLM. Vogliamo, alla fine, qualcosa che ci capisca.

Beh, e gli LLM non lo fanno?

Quando chiedi a ChatGPT qualcosa ti risponde in modo puntuale e on-topic, e spesso ti dà proprio la risposta giusta. Quindi...capisce! ...hmmm

ChatGPT funziona come un bravo mago, ci illude un po': imita la comprensione, ma chiaramente non ha reale cognizione del testo che genera, e non è cosciente.

Potremmo parlare per ore di cosa voglia dire 'comprendere' e a seconda delle definizioni potremmo dire che un LLM 'comprende' o 'non comprende', ma secondo me la realtà è che non ci serve definire in modo rigoroso cosa voglia dire 'comprendere', perché in molte situazioni un LLM ha problemi molto più grossolani.

Uno dei problemi profondi e fondamentali degli LLM per esempio è quello delle "allucinazioni": spesso e volentieri un chatbot ti dirà con sicurezza una informazione totalmente falsa. Ed è insidioso perché in realtà non è una svista, un difetto evitabile, ma è una feature intrinseca di questi sistemi.

Il funzionamento stesso degli LLM crea le allucinazioni. Ne avevo parlato in questo reel:

Un LLM non può distinguere cosa è reale da cosa è “plausibile statisticamente” e non ha cognizione del suo output, e quindi la differenza tra una “allucinazione” e una frase vera è più che altro una coincidenza.

In “On the Dangers of Stochastic Parrots”, il paper di Bender et al. che cito spesso, c'è una osservazione che trovo fondamentale: viene detto 'coherence is in the eye of the beholder': la coerenza è negli occhi di chi guarda.

Cioè? Un LLM per la sua struttura, che genera testo tramite metodi statistici, non distingue tra ciò che è plausibile e ciò che è reale. Come dire: il testo viene generato, e se "per coincidenza" è corrispondente alla realtà, allora noi diciamo che è giusto.

Ma siamo noi a pensare a posteriori che il modello avesse generato 'apposta' la risposta giusta.

Ora, in realtà sto banalizzando un po': nei sistemi AI come ChatGPT e Gemini e nelle loro varie implementazioni ci sono degli step che provano a mitigare il problema e a integrare gli output degli LLM con fonti e altre robe. Però il problema non è assolutamente risolto.

Anche in NotebookLM, la nuova app di Google che promette di rispondere solamente con le informazioni contenute nei documenti che gli diamo noi, c'è un disclaimer che dice 'attenzione che potrebbe comunque sbagliare, controlla'. NotebookLM è molto comodo e utilissimo, ma rimane sempre questo problema alla base.

È passato più di un anno dall'uscita di GPT-4, il modello più potente di OpenAI, e il problema rimane.

Ecco, e se gli LLM di fatto hanno questa doppia faccia, come ti puoi fidare? E soprattutto, perché le aziende fanno gli strumenti come se il problema non esistesse? Ok, è per vendere, questa era facile.

Tornando ai prodotti di cui parlavamo prima, c'è questo bellissimo momento nella recensione di The Verge dell'Ai Pin in cui David Pierce inquadra una insegna di una nuova azienda a Wall Street chiedendo cosa sia, e l'Ai Pin risponde...con il nome di un'azienda rivale che usa colori simili.

È come avere un gatto come assistente: carino, bello, te lo puoi tenere sul petto, ma ti rende più produttivo?

C'è un secondo punto che secondo me è cruciale, e poi arrivo alla mia tesi: l'Ai Pin è leeeeeeeenta.

Se hai letto fin qui, che ne pensi di iscriverti? Oppure manda questa lettera a qualcuno a cui potrebbe piacere!

Nella stessa recensione viene inquadrato un ponte chiedendo il nome alla pin, e poi Pierce attende. E attende. Dopo 13 secondi l'Ai Pin risponde (...con il nome sbagliato, di nuovo).

Prima parlavamo del fatto che questi modelli sono partiti come applicazioni dentro un browser: la potenza che richiede ChatGPT fa sì che debba girare sui server di Microsoft: non può fare i calcoli per generare il testo direttamente sul nostro computer o telefono, e tantomeno su un device come l'Ai Pin o il Rabbit che hanno una frazione della potenza dei telefoni top di gamma.

Ecco, nonostante abbiamo provato a entrare in questa fase in cui l'Ai prendeva una forma fisica, le scatole che abbiamo creato sono sostanzialmente vuote (metaforicamente): sono solo un tramite per i server di qualcun altro.

Per spezzare una seconda lancia a favore di Rabbit e di Humane, penso che nelle discussioni questo tema sia stato ingigantito un pochino troppo, nel senso che questi device potrebbero, se funzionassero bene, avere un valore anche se fossero solo una interfaccia per qualcosa che poi avviene fisicamente altrove: perché alla fine per noi scimmie avere un oggetto fisico dedicato ha comunque un effetto.

Come dire, leggere da un Kindle o dalla app Kindle del telefono è una esperienza diversa, anche se il testo è lo stesso ed entrambi vengono dai server di Amazon.

Tra l'altro questa è la ragione per cui vorrei provare a prendere un device come il Boox Palma se non proprio un secondo telefono in cui metterci solo certe app, per settorializzare fisicamente quello che faccio. Ma questa è una storia per un'altra volta; il punto di oggi è che ad oggi l'Ai Pin e il Rabbit R1 sono lenti, anche dopo degli aggiornamenti che li hanno velocizzati, e questo spezza la magia.

E siccome questo problema è fondante di come i modelli AI più potenti funzionano ad oggi, è un problema comune a quasi qualsiasi applicazione che usa sistemi come LLM.
Ok, ci sono dei modelli più piccoli che possono girare localmente, come Phi di Microsoft, Gemma di Google o Gemini nano, e ora anche in parte il modello di Apple Intelligence, ma rimane vero che i modelli veramente potenti hanno bisogno di grosse GPU.

Eppure, anche sul tema della latenza tra domanda e risposta, le aziende tech naturalmente fanno buon viso a cattivo gioco.

Ebbene, eccoci, questo è il nostro arrivo. L'Ai Pin e il Rabbit R1 sbagliano continuamente le risposte e sono lenti.
Sono pessimi prodotti che nessuna persona farebbe bene a usare nel quotidiano per come erano stati presentati. E che sarebbero stati pessimi si poteva ben prevedere.

Non è stata una sorpresa perché sono prodotti che condensano in modo tangibile tutti i problemi delle false promesse dell'AI del giorno d'oggi: che per alcuni è in procinto di farci estinguere, e poi non sa distinguere un pomodoro da un gioco per un cane.

Ma nonostante tutto, per qualcuno la soluzione a tutti i problemi è infilarla ovunque, quando in realtà anzi peggiora certe operazioni.

Questi device sono il simbolo perfetto del voler vendere questo presunto genio della lampada, che ci sembra magico in certe occasioni e allora lo proviamo estendere a ogni cosa, chiudendo un occhio sulle loro lacune, perché riflettere non è economicamente conveniente.

Questo chiudere un’occhio o due è fondante di questa illusione, molto più che nel ‘normale’ marketing dei prodotti: oggi tiriamo fuori dei prodotti in cui la correttezza del risultato non è evidentemente una condizione necessaria all’uscita del prodotto.

Ogni tanto, quando penso e scrivo queste cose, mi domando come appaio.
Mi domando se sembri che io odi l'AI o la tecnologia o ChatGPT.

In realtà gli LLM li uso, e sono un sacco comodi per alcune operazioni: per fare brainstorming, trovare idee, ritrovare cose che sai ma non ricordi come si chiamano, per riformulare del testo, e altro ancora: per molti lavori ci sono molte operazioni per cui un sistema come ChatGPT è utile!

Quello che odio io è l'hype, odio le false promesse, e odio anche certi aspetti di come oggi vengono creati questi strumenti ad oggi. (Sfruttamenti vari e altro).
Odio tutto ciò perché secondo me la possibilità di fare degli strumenti utili e giusti c'è, e ci voglio ancora credere. Chissà –

Se vi piacerà questa lettera, potremo parlare dell’altro lato, quello più positivo, quello di un prodotto che invece secondo me ha senso e che mi ha fatto intuire perché sono così attraenti le promesse dei gadget AI.

Bene, finalmente ho tirato fuori questo pippone che avevo dentro da mesi. Vi ricordate che vi avevo detto vi avrei fatto una domanda?

La domanda è: questa lettera ti dà qualcosa? La vorresti ricevere più spesso? Saresti (oltraggio) dispostə a fare una donazione per contribuire a riguardo?

Mi ripeto sempre che vorrei coltivare questa lettera, ma la realtà è che è difficile giustificarlo in questo periodo in cui sono molto occupato con i video, e in cui soprattutto ancora fatico a capire se questi pensieri danno qualcosa a qualcuno. Ti chiedo perciò due cose: la prima è di rispondermi se questa lettera ti piace e se ne vorresti di più. Non ti chiedo di dirmi se pagheresti un abbonamento per riceverla o per supportarla, a quello ci penseremo poi.

La seconda invece è uno spunto e un consiglio che in parte non c'entrano niente e in parte sì.

Se ti piace leggere questa lettera, forse ti piacciono i libri, e se ti piace leggere questa lettera, forse ti piace quello che porto in giro sull’internet. Pensa un po', possiamo unire queste due cose!

BookBeat mi ha dato un link affiliato per il suo servizio di audiolibri: ti puoi portare a casa (si fa per dire, è una app) due mesi di audiolibri gratis tramite questo link con il codice 'oradecima'.

È totalmente gratis per due mesi (dovrai inserire i dati della carta ma puoi disdire in qualsiasi momento senza costi in questi due mesi), e se fai questa prova gratuita mi supporti concretamente tramite l'affiliazione: per te è aggratis, ma a me dà realmente una mano a portare più contenuti.

Se non sai che leggere, ti lascio due consigli che sono su BookBeat:

Il primo è Flatlandia, uno dei miei libri preferiti in assoluto, che mi ha totalmente cambiato la prospettiva: è il racconto di 'un quadrato' che vive nel mondo bidimensionale di Flatlandia in cui tutti sono poligoni, ma in realtà è anche una critica alla società inglese vittoriana: più lati ha un poligono e più è alta la sua classe sociale, e tutte le donne sono linee.
Il quadrato però poi scoprirà altre dimensioni, rendendosi conto della possibilità di altri punti di vista...è dell'800, ma secondo me è super carino.

L'altro, che ho finito da poco proprio su BookBeat, è Yellowface di R.F. Kuang, che non c'entra un cavolo con quello che faccio.
Racconta del rapporto tra due amiche scrittrici, una che ha molto più successo dell'altra, che è la star asiatica della letteratura del momento. Se vi piace il mondo della scrittura, di Twitter, dell'editoria e dei temi di diversità in questo mondo io l’ho trovato interessante, ho apprezzato molto la narrazione dell'audiolibro e i twist finali della vicenda.

Cosette belle

🔍 Google mette l'AI nella ricerca e va esattamente male come ci si poteva aspettare. Rimanendo nel tema dell'hype, quello che succede quando inserisci l'AI nelle ricerche è che...finisci per consigliare alla gente di mangiare la colla.

🦆 Al Sete Festival ho conosciuto il Dottor Pira, fumettista che mi fa super ridere. Vi propongo questo fumetto con 'Papero scopre il bancomat', a me fa scompisciare:

⚫ Non è bella ma: il video di Fanpage sui giovani di Fratelli d'Italia, se non l'aveste già visto, penso vada visto.

Dai, basta così. Prossima volta, se questa lettera vi sarà piaciuta, vi racconto della mia esperienza con gli occhiali smart di Meta.

Cia ciao, e come sempre, grazie della lettura 👋.

PS: stavo riguardando i link della scorsa lettera e c’erano i quiz di voto: ma ste europee? Come so andate per voi?