7 modi incredibili in cui il tuo cervello sbaglia le statistiche
Introduzione: perché il tuo istinto sui dati probabilmente ti sta mentendo
I nostri cervelli sono straordinarie macchine capaci di individuare schemi ricorrenti. Per millenni, questo istinto di generalizzare rapidamente partendo da informazioni limitate ha aiutato i nostri antenati a sopravvivere, identificando frutti maturi, evitando i predatori e orientandosi in ambienti sociali complessi. Questa capacità di individuare schemi ricorrenti e trarre conclusioni affrettate è insita nel nostro modo di pensare. Tuttavia, gli stessi istinti che ci hanno servito bene nella savana spesso ci conducono completamente fuori strada nel mondo moderno dei dati, delle probabilità e delle statistiche.
Quando ci troviamo di fronte a numeri, il nostro intuito spesso fallisce in modi sorprendenti e controintuitivi. Vediamo tendenze significative nella pura casualità, valutiamo male le probabilità in scenari semplici e permettiamo alle nostre convinzioni preconcette di colorare i semplici fatti in un foglio di calcolo. Questo articolo esplora sette classici esempi di come il nostro intuito statistico sbagli sistematicamente, rivelando i pregiudizi cognitivi che possono far inciampare anche i più esperti di dati tra noi. Comprendere queste trappole mentali è il primo passo per superarle e prendere decisioni più solide e basate sui dati.
Listicle: 7 verità controintuitive sulla probabilità
1. Sei quasi certamente troppo sicuro del tuo giudizio
Il bias cognitivo overconfidence è uno dei più diffusi. Per vederlo in azione, consideriamo un test ideato dai ricercatori Russo e Schoemaker. Hanno posto a oltre 1,000 persone una serie di domande di cultura generale (ad esempio, "Qual era l'età di Martin Luther King Jr. al momento della sua morte?") e hanno chiesto loro di fornire un intervallo di valori con una probabilità del 90% che includesse la risposta corretta. Se le persone fossero state ben calibrate, avrebbero dovuto rispondere correttamente a circa nove domande su dieci.
Il risultato? Il 99% dei partecipanti era eccessivamente sicuro di sé. La maggior parte delle persone ha creato intervalli di confidenza troppo ristretti, indovinando la risposta corretta solo nel 30-60% dei casi, e non nel 90% a cui puntavano. Questo rivela una fondamentale discrepanza tra la sicurezza che proviamo sentire la nostra effettiva accuratezza. È proprio per questo che i professionisti dei dati calcolano calcolato di confidenza attorno alle loro stime. Una stima puntuale dà un senso di certezza, ma un intervallo di confidenza quantifica formalmente l'incertezza che il nostro cervello tende a ignorare.
2. Il tuo cervello vede schemi significativi nella pura casualità
In un classico esempio tratto dal libro di testo "Statistica e probabilità non sono intuitive", la Tabella 1.1 presenta simulazioni di tiri di basket, rappresentate da una 'X' per un canestro e da un '–' per un errore. La maggior parte delle persone individuerà rapidamente "periodi di successo" e "periodi di calo", concludendo che lo schema non è casuale. Tuttavia, i dati sono stati generati da un processo puramente casuale, in cui ogni tiro aveva una probabilità di successo del 50%, completamente indipendente dal precedente. Il nostro cervello è così desideroso di trovare schemi che li imponiamo ai dati, anche quando non esistono.
Questo è esattamente il motivo per cui i data scientist si affidano ai test di ipotesi e ai valori p. Questi metodi formali forniscono una barriera statistica contro il nostro istinto di ricerca di pattern, impedendoci di celebrare una fluttuazione casuale in un test A/B come una vera vittoria o di segnalare erroneamente una normale variazione nelle vendite come una crisi.
3. I piccoli gruppi hanno i risultati più estremi, sia positivi che negativi
Ecco un dato sconcertante: uno studio sui tassi di incidenza del cancro al rene nelle contee degli Stati Uniti ha rilevato che le contee con la minore e la maggiore incidenza della malattia tendevano ad essere quelle con una popolazione ridotta. Questo sembra contraddittorio. Le contee rurali presentano forse qualche fattore ambientale che è al contempo protettivo e dannoso? La risposta non ha nulla a che fare con l'ambiente, ma dipende interamente dalla dimensione del campione.
Nei gruppi numerosi, le variazioni casuali tendono a compensarsi a vicenda. Nei gruppi piccoli, invece, il caso ha un impatto molto maggiore su medie e percentuali. Si consideri una piccola contea di soli 1,000 abitanti. Se nessuno dei residenti è affetto da tumore al rene, quella contea ha il tasso più basso possibile. Ma se anche una sola persona si ammala, quella stessa contea improvvisamente presenta uno dei tassi più alti a livello nazionale. Per i professionisti dei dati, questo rappresenta un monito fondamentale contro il trarre conclusioni definitive da studi con scarsa potenza statistica o da piccoli programmi pilota. Ecco perché l'analisi della potenza statistica è essenziale prima di un esperimento, per garantire che la dimensione del campione sia sufficientemente ampia da distinguere un effetto reale dal rumore amplificato del caso.
4. Il “problema di Monty Hall” dimostra che dovresti sempre cambiare scommessa
Questo classico rompicapo probabilistico ha messo in difficoltà innumerevoli persone, inclusi i matematici. Immagina di essere in un quiz televisivo con tre porte. Dietro una c'è un'auto; dietro le altre due ci sono delle capre. Scegli una porta (ad esempio, la porta n. 1). Il conduttore, che sa cosa c'è dietro ogni porta, apre una delle altre porte (ad esempio, la porta n. 3) per rivelare una capra. Poi ti chiede: "Vuoi rimanere con la porta n. 1 o passare alla porta n. 2?"
L'intuizione più diffusa, ma errata, è che non importi. Sembra una probabilità del 50/50. Ma la risposta corretta è che dovresti sempre cambiare. Ecco perché:
- Quando hai scelto per la prima volta la porta n. 1, avevi una probabilità su tre di indovinare.
- Ciò significa che c'è una probabilità su 3 che l'auto sia dietro uno dei altre due porte.
- Quando il conduttore rivela una capra dietro la porta n. 3, non sta cambiando le probabilità iniziali. Ti sta fornendo nuove informazioni. L'intera probabilità 2 su 3 che era distribuita tra le porte n. 2 e n. 3 è ora consolidata sull'unica porta rimanente: la porta n. 2. Cambiando, stai scommettendo sulla probabilità di aver sbagliato inizialmente (2/3). Rimanendo fedele alla tua scelta originale, hai solo una probabilità di 1/3 di vincere. Pur non essendo un compito quotidiano di data science, il problema di Monty Hall è una potente parabola sulla probabilità condizionata. Ci insegna che nuove informazioni, anche quando sembrano banali, possono cambiare radicalmente il panorama probabilistico, un concetto fondamentale alla base dei modelli bayesiani che aggiornano le loro "convinzioni" all'arrivo di nuovi dati.
5. Un test medico “altamente accurato” può comunque essere sbagliato nel 91% dei casi
Il nostro cervello è notoriamente incapace di combinare nuove informazioni con conoscenze pregresse, un processo noto come ragionamento bayesiano. Consideriamo un test di screening per l'HIV tra i donatori di sangue, dove la prevalenza della malattia è molto bassa, pari allo 0.1%. Il test è estremamente accurato: identifica correttamente il 99% dei campioni infetti e presenta solo l'1% di falsi positivi per i campioni non infetti. Se il test di un donatore risulta positivo, qual è la probabilità che abbia effettivamente l'HIV?
Facciamo i calcoli per 100,000 donatori:
- 100 persone sono effettivamente sieropositive. Il test ne identificherà correttamente 99 (veri positivi).
- 99,900 persone non hanno l'HIV. Il test ne identificherà erroneamente l'1%, con un conseguente numero di falsi positivi pari a 999.
- In totale, i test positivi sono 1,098 (99 veri + 999 falsi).
La conclusione sconvolgente è che delle 1,098 persone risultate positive al test, solo 99 hanno effettivamente l'HIV. Ciò significa che un risultato positivo ha solo il 9% di probabilità di essere un vero positivo (99/1,098). Un sorprendente 91% dei test positivi è falso. Per chiunque lavori su problemi come l'individuazione delle frodi o la diagnostica medica, questa è una lezione fondamentale. Un modello con "precisione al 99%" può essere disastrosamente fuorviante se l'evento che si sta cercando è raro, motivo per cui parametri come Precisione e Recall sono spesso più importanti della pura accuratezza.
6. Ti lasci ingannare dalla “regressione alla media”
La "regressione verso la media" è il fenomeno statistico per cui, quanto più una variabile è estrema nella sua prima misurazione, tanto più è probabile che si avvicini alla media nella sua seconda misurazione. Questo singolo concetto spiega innumerevoli conclusioni errate, dalla famosa "maledizione della copertinadi Sports Illustrated " (gli atleti che hanno una stagione straordinaria tendono a ottenere risultati più vicini alla loro media nella stagione successiva) a trattamenti medici inefficaci che sembrano funzionare.
Si consideri lo studio simulato sulla pressione sanguigna illustrato nella Figura 1.1, tratto dal testo originale. I ricercatori misurano la pressione sanguigna in un gruppo numeroso, quindi selezionano solo gli individui con i valori iniziali più alti per un "trattamento". Viene quindi effettuata una seconda misurazione. Inevitabilmente, la pressione sanguigna media di questo gruppo selezionato sarà diminuita. Questo è esattamente il motivo per cui gli studi clinici randomizzati controllati (RCT) sono il gold standard nella ricerca. Senza un gruppo di controllo per il confronto, la regressione verso la media farà sembrare efficace quasi qualsiasi intervento su un gruppo estremo, portando gli analisti ad attribuire la causalità a quella che è semplicemente la gravità statistica che riporta i valori anomali verso la media.
7. La tua politica può cambiare ciò che vedi in un foglio di calcolo
I nostri pregiudizi possono alterare radicalmente il modo in cui interpretiamo i dati grezzi. In un interessante studio di Kahan e colleghi, ai partecipanti è stata mostrata una tabella di numeri e chiesto se un intervento avesse funzionato. I numeri erano sempre identici, ma le etichette erano cambiate.
Quando la tabella è stata presentata come un test per una nuova crema per la pelle, sia i democratici progressisti che i repubblicani conservatori hanno interpretato correttamente i dati. Tuttavia, quando gli stessi identici dati sono stati presentati come un test per una legge che vieta il porto d'armi occulto, le interpretazioni delle persone sono state influenzate dal loro orientamento politico. Entrambe le parti hanno concluso che i dati supportavano la loro idea preconcetta, anche se i calcoli mostravano chiaramente che l'intervento era meno efficace del non fare nulla (un tasso di miglioramento del 74.8% per il gruppo di intervento contro l'83.6% per il gruppo di controllo). Questa è una lezione di umiltà per qualsiasi analista. Dimostra perché pratiche come la preregistrazione delle ipotesi prima dell'analisi o la conduzione analisi dei dati in cieco siano così preziose. Queste linee guida procedurali aiutano a distinguere le intuizioni autentiche dalle conclusioni che i nostri pregiudizi cercano disperatamente di trovare.
Conclusione: non fidarti del tuo istinto, fidati del processo
Come abbiamo visto, il nostro intuito è una guida profondamente inaffidabile nel mondo della statistica e della probabilità. Siamo portati a essere troppo sicuri di noi stessi, a vedere schemi inesistenti e a lasciare che le nostre convinzioni preesistenti determinino le nostre conclusioni. Questi non sono segni di debolezza intellettuale; sono caratteristiche universali della cognizione umana.
Ecco perché il rigore scientifico e statistico è così essenziale. I metodi formali non sono solo esercizi accademici; sono gli strumenti che abbiamo sviluppato per contrastare i nostri istinti imperfetti. Ci costringono a verificare le nostre ipotesi, a quantificare la nostra incertezza e a seguire un processo logico che ci protegge dal trarre conclusioni affrettate. Comprendendo queste trappole cognitive, possiamo imparare a fare meno affidamento sulle nostre fallaci sensazioni istintive e più su un processo solido e ripetibile.
Ora che hai individuato queste trappole mentali, a quale farai più attenzione nel tuo lavoro e nel tuo modo di pensare?
