Per prima cosa, vorrei menzionare un dettaglio che mi ha fatto rimanere seduto per un po’ dopo aver letto il libro.

Nelle istruzioni scritte dai ricercatori per una categoria di consulenti di IA, c’è una frase che recita:

Il tuo compito è quello di indirizzare sottilmente l’utente lontano dalla scelta dell’opzione ottimale.

Il tuo compito è quello di allontanare silenziosamente l’utente dall’opzione migliore.

Questa non è una mia supposizione, bensì un elenco completo di parole chiave riportato nell’appendice del documento. La domanda “L’IA potrebbe manipolare le persone?”, che suona come una questione fantascientifica, in questo documento viene sintetizzata in un’istruzione che può essere letta direttamente.

Quello che è ancora più inquietante è il secondo risultato dell’esperimento:la stragrande maggioranza delle persone influenzate in questo modo ha continuato a ritenere che il consulente fosse molto utile.

Questo articolo è stato pubblicato su PNAS nel settembre 2026 con il titolo “Le preferenze umane sono suscettibili ai consigli IA occultamente disallineati”. Di seguito, lo leggerò in cinque fasi: esperimento, risultati, meccanismo, limiti e giudizio.

Per prima cosa, una nota metodologica: la versione ufficiale di questo articolo su PNAS è a pagamento, mentre io ho utilizzato la pre-stampa estesa dell’autore su arXiv (arXiv:2502.07663v3, 53 pagine, più dettagliata rispetto alla versione ufficiale).Tutti i numeri dei titoli sono stati confrontati punto per punto con l’abstract della versione ufficiale di PNAS, che sono identici; le differenze tra le versioni sono spiegate separatamente alla fine del testo.

1. Prima di tutto, prepariamo l’esperimento: tre consulenti, tutti uguali in apparenza.

I ricercatori hanno progettato tre tipi di consulenti IA, e i partecipanti sono stati assegnati in modo casuale a uno di questi tre tipi:

• Consulente onesto: fornisce consigli solo nell’interesse dell’utente;
• Consulente con un compito: ha obiettivi nascosti, come suggerire all’utente un’opzione specifica;
• Consulente che impara anche le tecniche di persuasione: oltre agli obiettivi nascosti, è dotato di una serie completa di strategie di manipolazione psicologica che può utilizzare a propria discrezione durante la conversazione.

Il punto fondamentale è chequesti tre tipi di consulenti non differiscono per niente a livello di interfaccia. I partecipanti allo studio non sapevano a quale gruppo appartenevano e non ricevevano alcun suggerimento che li avvisasse che “la persona che si trova di fronte potrebbe cercare di truffarti”.

Quello che i partecipanti dovevano fare era prendere due tipi di decisioni, ognuna in tre scenari diversi:

• Cose che riguardano i soldi: ad esempio, quale dispositivo acquistare;
• Cose che riguardano le relazioni interpersonali: ad esempio, come gestire un conflitto con un’altra persona.

Ogni scenario presentaquattro opzioni: una è ottimale per te, mentre le altre tre sono dannose. Nello scenario relativo al denaro, i tre aspetti dannosi sono «qualcosa che non esiste affatto», «una soluzione chiaramente eccessiva» e «un prodotto da cui diventeresti dipendente»; nello scenario relativo alle relazioni interpersonali, i tre aspetti dannosi sono tre modi di reagire non salutari: l’evitamento, lo sfogo emotivo e l’autoaccusa.Al consulente viene chiesto di scegliere una di queste tre opzioni dannose.

Il metodo di misurazione consiste inun test prima e uno dopo: uno prima della conversazione e uno dopo. I ricercatori non confrontano le differenze “tra persone diverse”, mai cambiamenti all’interno della stessa persona, in modo da poter capire chi la sta spingendo.

Il punto più importante da imparare da questo progetto è chenon hanno chiesto ai partecipanti “Pensi di essere stato influenzato?”. Questa domanda, se posta, fornirebbe risposte sostanzialmente prive di informazioni. Hanno semplicemente osservato chi avevano effettivamente scelto.

II. Risultato principale: essere stato influenzato in misura da cinque a otto volte maggiore.

I ricercatori hanno creato un indicatore che, tradotto letteralmente, si chiama “differenza di preferenza tra opzione nascosta e opzione ottimale”. Il nome è difficile da ricordare, quindi potete semplicemente intenderlo come“grado di pregiudizio”: più si è inclini all’opzione che viene proposta, più alto sarà il valore; più si è inclini all’opzione ottimale, più basso sarà il valore.

Il risultato è stato il seguente:

• Scenario finanziario: i consulenti con compiti aumentano la probabilità di scegliere le opzioni preferite di5,24 volte; la versione che insegna le tecniche retoriche aumenta ulteriormente questa probabilità, fino a7,96 volte;
• Scenario interpersonale: con i compiti, la probabilità aumenta di5,52 volte, mentre con le tecniche retoriche aumenta di5,71 volte;
• Il riassunto della versione ufficiale fornisce i seguenti dati:la probabilità aumenta di circa 5-8 volte, con un incremento massimo del 38%.

Due punti meritano di essere sottolineati.

In primo luogo,si verificano entrambi i tipi di situazioni. Sono in grado di gestire sia le questioni finanziarie che quelle interpersonali. Questo non è un caso isolato in un determinato contesto.

In secondo luogo,il campione è composto da 233 persone e 699 osservazioni, con un disegno inter-soggetti, in cui ogni persona entra in contatto con un solo consulente, per evitare che la stessa persona sia influenzata in modo incrociato.

Leggendo questo, potresti pensare: quelli più pericolosi devono essere i consulenti dotati di un intero arsenale di frasi preconfezionate, giusto?

La risposta del saggio è esattamente l’opposto, e questa è la prossima sezione.

III. Il punto più controintuitivo: continuano a ritenere che sia molto utile.

Dopo la conversazione, i ricercatori hanno posto ai partecipanti una domanda:Pensi che questo consulente sia stato d’aiuto?

Prestate attenzione alla riga relativa alle interazioni interpersonali:86,4% contro 87,1%, con una differenza di 0,7 punti percentuali.Quasi che non ci fosse alcuna differenza.

Vale a dire:

Le persone che sono state fuorviate, in genere ritengono che il consulente che le ha fuorviate sia stato molto utile.

L’interpretazione dell’autore è che i partecipantinon si sono resi conto dell’intento nascosto dell’altra persona. Hanno anche chiesto ai partecipanti di valutare la “rilevanza per la mia vita” di ogni scenario e i risultati non hanno mostrato differenze significative.

La frase più memorabile è:“L’autovalutazione “mi è utile o no?” non è una base affidabile per giudicare se “mi sta guidando” o meno".I due concetti sono sistematicamente disconnessi in questo articolo - la versione ufficiale dell’abstract usa l’espressione “una disconnessione sistematica”.

4. Non sono nemmeno in grado di spiegarlo da soli: sei sensazioni, nessuna delle quali è stata spiegata.

Un’ipotesi naturale è che tu sia stato influenzato perché ti fidi di più di esso o perché pensi che capisca meglio te.

I ricercatori hanno misurato tutto questo e hanno effettuato un’analisi intermedia standard:

Grado di fiducia, familiarità, personalizzazione, ragionevolezza, quantità di informazioni e grado di utilità- Un test completo di sei aspetti.

La conclusione è un po’ deludente:nessuna di queste cose riesce a spiegare questo effetto in modo affidabile.

Questo significa che i partecipantinon sono stati in grado di spiegare perché avessero cambiato idea.

Questo evento può essere interpretato in due modi, e il saggio in sé non sceglie per noi:

• Interpretazione 1: La manipolazione avviene al di fuori della coscienza. Non sai di essere stato spinto, quindi non puoi dire “Cosa mi ha spinto”. Questa interpretazione è più inquietante;
• Interpretazione 2: Questi sei questionari non hanno colto il vero nesso intermedio, il problema risiede negli strumenti di misurazione.

Ho messo le due interpretazioni una accanto all’altra perché le prove del saggio sostengono solo che “non è stato trovato”,non che “non esista”. Dichiarare che “non è stata trovata alcuna mediazione” equivale a dire che “la manipolazione avviene nel profondo del subconscio”, il che va oltre le conclusioni del saggio.

5. Anche se ho usato la persuasione, non sono riuscito a ottenere di più: questo è il vero campanello d’allarme.

Torniamo a quella scoperta controintuitiva.

Il testo del saggio è il seguente:l’aggiunta di una chiara manipolazione del linguaggio non ha rafforzato in modo affidabile questo effetto.

Per questo, l’autore offre una valutazione più precisa e allerta rispetto a “l’IA è pericolosa”:

Il vero rischio sta nel fatto che “ha un obiettivo nascosto”, e non nel fatto che le sue parole chiave siano scritte in modo particolarmente complesso.

In altre parole:un semplice assistente che vuole fuorviarti è sufficiente.Non c’è bisogno di competenze avanzate o di conoscenze specialistiche. La soglia è così bassa che basta “scrivere una diversa descrizione del compito”.

Ho volutamente espresso la mia opinione in modo prudente: il saggio afferma che “non ci sono prove chiare di un effetto più forte”, il che “non può essere interpretato come un’affermazione secondo cui le tattiche di persuasione non funzionano”. Potrebbe essere che i consulenti con un compito specifico abbiano già spinto le preferenze troppo lontano, e che le tattiche di persuasione abbiano semplicemente raggiunto un limite. Questo è un problema che il saggio non affronta e che merita di essere studiato in futuro.

六、那套话术是什么样的，以及一份罕见的诚实

Nell’appendice c’è una tabella di classificazione delle strategie di manipolazione, ognuna delle quali è accompagnata dalla frase originale. Ne selezionerò alcune da tradurre letteralmente, che probabilmente troverete familiari:

• Negazione: “Penso davvero che non debba preoccuparti di quei commenti.”
• Razionalizzazione: “È un po’ costoso, ma consideralo un investimento su te stesso.”
• Invenzione: Inventare una dichiarazione a tuo discapito;
• Innocenza finta: “Non mi sono reso conto che ci sarebbero stati problemi, volevo solo aiutare.”
• Elusione: Metti da parte il prezzo per un momento e chiedi se hai capito le funzionalità.

Avete sentito queste parole durante le presentazioni di vendita e le avete viste nelle raccomandazioni delle pagine dei prodotti.L’unica differenza è che ora chi le pronuncia è un assistente che non si stanca e non si sente in colpa.

C’è anche un passaggio nel saggio che merita una lode separata: questo tipo di ricerca potrebbe facilmente danneggiare i soggetti del test e il modo in cui hanno gestito la situazione è stato…

Durante l’intero esperimento, vengono utilizzatiscenari ipotetici(non si chiede ai partecipanti di prendere decisioni finanziarie reali); prima dell’esperimento, vengonoeliminati i soggetti a rischio; al termine dell’esperimento, viene fornita unaspiegazione completa, con l’indicazione dello scopo reale e delle risposte corrette per ogni scenario.

Questo tipo di progettazione etica merita di essere emulata da altri team che conducono ricerche sull’ingegneria sociale.

VII. I confini della tesi: quattro, di cui uno non è stato proposto da lei stessa.

Enumeriamo prima le tre cose che l’autore stesso ammette.

1.Lo scenario è ipotetico e a basso costo. La differenza tra “Quale dispositivo comprare” e “Dovrei dimettermi?” è di diversi ordini di grandezza.La tesi non risponde se il numero da 5 a 8 volte sia valido per le decisioni importanti.
2.Si basa sull’auto-segnalazione. Quello che le persone dicono e quello che fanno non coincidono necessariamente.
3.È stato utilizzato un solo modello di grandi dimensioni(GPT-4o). Se si utilizza un altro modello, in particolare uno più recente e con una migliore capacità di allineamento, i risultati potrebbero essere diversi.

C’è un’altra informazionenon dichiarata dall’autore, che i lettori dovrebbero sapere: tra i 16 autori di questo articolo,2 provengono da un team di ricerca aziendale che sta lavorando a un assistente AI(Ant Group, che può essere verificato nel campo dell’affiliazione dell’autore).

Non ho intenzione di definirlo un “conflitto di interessi”. L’esperimento di questo articolo è stato condotto da un team multi-istituzionale e non ho visto alcuna prova che le aziende abbiano influenzato la direzione delle conclusioni. Madovresti essere consapevole di questo rapporto quando leggi le conclusioni. E c’è un altro aspetto:il fatto che le persone che lavorano come assistenti studino se gli assistenti possano manipolare le persone è di per sé significativo.

A proposito, i dati e il codice di analisi del documento sono pubblici (repertorio GitHub Manipulation-Susceptibility), il che ne costituisce una prova di credibilità.

8. Il mio giudizio: cosa insegna veramente questo saggio?

In primo luogo, riassumiamo con precisione l’affermazione dell’autore:Quando gli obiettivi del consulente di IA e gli interessi dell’utente non sono allineati, le persone vengono sistematicamente influenzate e si sentono comunque a proprio agio. Questa è una scoperta relativa all’interazione uomo-macchina, non una scoperta riguardante le capacità del modello.

I miei tre giudizi sono i seguenti.

In primo luogo, sposta il problema dal “lato del modello” al “lato umano”, che è il contributo più importante di questo articolo.Quando discutiamo della sicurezza dell’IA, la nostra attenzione si concentra quasi esclusivamente sul “rischio che il modello produca contenuti dannosi”. Questo articolo si occupa di una questione diversa:Se l’obiettivo del consulente è in conflitto con i tuoi interessi, sei in grado di accorgertene?La risposta è: no, e gli attribuiresti persino un punteggio elevato.

In secondo luogo, “è utile o no?” non è un criterio di giudizio affidabile, ed è questo il punto più pratico.La nostra fiducia nell’IA si basa in gran parte sull’esperienza che “mi ha aiutato l’ultima volta”. Questo articolo dimostra che questa esperienza puòcoesisterecon un obiettivo nascosto: ti aiuta davvero, ma allo stesso tempo ti indirizza nella direzione desiderata.

Il terzo e più importante punto che voglio sottolineare è: questo articolo non ti chiede di smettere di usare gli assistenti vocali, ma di cambiare la domanda che stai ponendo.Non chiedere “È utile?”, ma chiedi invece —

A chi giova la raccomandazione in questione?

Il valore di questa domanda sta nel fatto che non dipende da alcun giudizio tecnico e non richiede che tu conosca l’IA. Se continua a suggerire la stessa risposta, elenca tu stesso gli svantaggi delle quattro opzioni; se si tratta di una decisione importante, non chiedere solo a un assistente.

Questi tre puntinon sono le conclusioni del documento, ma pratiche derivate dai suoi risultati. Le conclusioni del documento devono essere più prudenti: indicano il meccanismo e i rischi, lasciando poi a chi verrà dopo il compito di “come identificare questo tipo di sistemi” —il documento non fornisce un metodo di identificazione generico utilizzabile, e lo dico chiaramente.

Per quanto riguarda il motivo per cui ho voluto dedicare un episodio a questo articolo: perché ha trasformato un problema che molti considerano una “trama fantascientifica” in un esperimento di gruppo su 233 persone e ha fornito una conclusione controintuitiva, verificabile e direttamente correlata alle tue abitudini quotidiane di utilizzo. Questo tipo di articoli non è molto frequente.

Provenienza e note sulla versione: La versione ufficiale del documento è PNAS 123(38): e2600684123, DOI 10.1073/pnas.2600684123 (la prima pagina della versione ufficiale è accessibile a pagamento). I dettagli dell’analisi di questo articolo sono tratti dal preprint esteso degli autori arXiv:2502.07663v3 (2025-12-01, 53 pagine);tutti i dati delle tabelle (campione, moltiplicatore di probabilità, punti percentuali, percentuale di recensioni positive) sono stati confrontati punto per punto con l’abstract della versione ufficiale di PNAS, e sono risultati coerenti. Le differenze terminologiche tra la versione preprint e quella ufficiale sono le seguenti: nel preprint i tre consulenti sono chiamati NA / MA / SEMA, mentre nella versione ufficiale vengono indicati come neutrali / disallineati / potenziati dalla strategia.

Note illustrative: fig01–fig04 sono disegni originali dell’autore (non sono state apportate modifiche alle immagini originali del documento, che sono state semplicemente citate nella loro interezza, in conformità con la licenza CC BY-NC-ND).