Il tuo cervello sbaglia sui dati: una lezione dagli intervalli di confidenza
Introduzione: Oltre la media
Sullo schermo compare un sondaggio: un candidato ha ottenuto il 33% dei voti. Un commentatore sportivo annuncia che un giocatore di basket ha una percentuale di successo dell'85% nei tiri liberi. Vediamo queste stime puntuali ovunque, ma quanto possiamo esserne davvero certi? Il valore reale è esattamente il 33% o l'85%? O potrebbe essere più alto? Più basso?
L'intervallo di confidenza (IC) è lo strumento statistico progettato per rispondere a questa domanda. Fornisce un intervallo di valori plausibili per il numero reale, non solo una singola ipotesi. Ma, come vedremo, la comune interpretazione di ciò che rappresenta un intervallo di confidenza spesso tralascia alcune verità sorprendentemente profonde e controintuitive sui dati e incertezza.
Il primo principio è che non devi ingannare te stesso, e tu sei la persona più facile da ingannare.
1. La tua intuizione sull'incertezza è probabilmente sbagliata
Il nostro cervello non è naturalmente attrezzato per stimare il reale intervallo di incertezza a partire da una piccola quantità di dati. Tendiamo ad avere troppa fiducia nei numeri che vediamo.
Considera questo esempio: un giocatore di basket professionista realizza 17 tiri liberi su 20, ottenendo una percentuale di successo dell'85% per quel campione. Prima di continuare, fermati e fai una supposizione. Qual è, secondo te, l'intervallo plausibile per la reale abilità a lungo termine di questo giocatore? Scrivilo. Aspettiamo.
La maggior parte delle persone ipotizza un intervallo piuttosto ristretto. L'intervallo di confidenza effettivo al 95%, tuttavia, va dal 63.1% al 95.6%.
Questo intervallo è molto più ampio di quanto la maggior parte delle persone si aspetti intuitivamente. Emerge una lezione fondamentale: campioni di piccole dimensioni comportano un'enorme incertezza. Affidarsi alla stima puntuale dell'85% è pericolosamente fuorviante senza il contesto del suo intervallo di confidenza. Questo ci dice cosa è successo, ma l'intervallo di confidenza ci dice quanto (o quanto poco) possiamo generalizzare da esso.
2. "Sicuro al 95%" non significa quello che pensi
Questo è il malinteso più comune e critico riguardo agli intervalli di confidenza. L'espressione "confidenza al 95%" non non che vi sia una probabilità del 95% che il vero valore della popolazione si trovi all'interno dello specifico intervallo appena calcolato (ad esempio, dal 63.1% al 95.6%).
L'interpretazione corretta è più sottile. Riguarda il processo, non il risultato. Se si ripetesse l'esperimento molte volte e si calcolasse ogni volta un intervallo di confidenza al 95%, ci si aspetterebbe che il 95% di questi intervalli calcolati contenga il vero valore della popolazione. In altre parole, la "fiducia" risiede nell'affidabilità del metodo nel lungo periodo, non nella certezza di un singolo intervallo prodotto.
Immaginate una grande ciotola contenente 100 palline, di cui 25 rosse e 75 nere. Il vero "valore della popolazione" delle palline rosse è del 25%. Ora, immaginate di estrarre ripetutamente un campione casuale di 15 palline, calcolare la proporzione di palline rosse nel campione e quindi calcolare un intervallo di confidenza al 95% a partire da tale campione. A lungo termine, il 5% di questi intervalli, per puro caso, non includerà il vero valore del 25%. Non saprete mai se l' intervallo che avete calcolato rientra nel 95% che ha avuto successo o nel 5% che ha fallito.
Questa distinzione è fondamentale per l'onestà intellettuale nelle statistiche.
L'intervallo è soggetto a variazioni casuali, quindi è corretto chiedere la probabilità che l'intervallo includa il valore della popolazione. Il valore della popolazione non è soggetto a variazioni casuali, quindi non è corretto chiedere la probabilità che il valore della popolazione sia compreso nell'intervallo.
3. Le tue ipotesi sono più importanti dei tuoi calcoli
Un intervallo di confidenza è il prodotto di una formula matematica. Tale formula, tuttavia, è valida solo se le ipotesi di base sui dati sono vere. Se il processo di raccolta dati è difettoso, la matematica non ha senso.
Ecco i presupposti chiave:
- Campione casuale (o rappresentativo): I dati devono rappresentare in modo imparziale e imparziale la popolazione più ampia su cui si vogliono trarre conclusioni.
- Osservazioni indipendenti: Ogni punto dati deve essere selezionato indipendentemente dagli altri. Interrogare marito e moglie, ad esempio, violerebbe questa regola.
- Dati accurati: I dati devono essere conteggiati, registrati e tabulati correttamente, senza errori o manipolazioni deliberate.
La storia offre esempi lampanti di cosa accade quando queste ipotesi falliscono.
- In the Elezioni Roosevelt-Landon del 1936, i sondaggisti avevano previsto una vittoria schiacciante per Landon. Il loro campione di sondaggio, tuttavia, era stato estratto da elenchi telefonici e registri di immatricolazione delle automobili. Nel 1936, le persone più ricche avevano molte più probabilità di possedere telefoni e automobili, e si dava il caso che favorissero Landon, creando un campione distorto. Ma c'era un secondo problema: i sostenitori di Landon erano molto più propensi a rispondere al sondaggio rispetto ai sostenitori di Roosevelt. Il sondaggio era affetto sia da distorsione di campionamento che da distorsione di mancata risposta, rendendolo catastroficamente errato.
- In the elezioni Dewey-Truman del 1948, i sondaggi prevedevano con sicurezza una vittoria di Dewey. I giornali addirittura prestamparono il titolo "Dewey batte Truman". I sondaggi stessi erano probabilmente accurati per l'epoca, ma furono condotti settimane prima delle elezioni. L'ipotesi che l'opinione degli elettori sarebbe rimasta statica era falsa; molti elettori cambiarono idea nelle ultime settimane.
La lezione è chiara: un intervallo di confidenza può solo quantificare l'incertezza derivante dall'errore di campionamento casuale. Non può rilevare o correggere distorsioni sistemiche nella raccolta dati. Garbage in, garbage out, non importa quanto sofisticata sia la formula.
4. La “Regola del Tre”: un semplice trucco per quando non vedi nulla
Come si calcola un intervallo di confidenza quando si osserva zero occorrenze di un evento in un campione? Ad esempio, se un nuovo trattamento medico non mostra effetti collaterali nel suo primo studio, possiamo concludere che è perfettamente sicuro? Ovviamente no.
La “regola del tre” è una scorciatoia semplice e utile per questa precisa situazione.
La regola afferma: se si osservano zero eventi in 'n' prove, l'intervallo di confidenza approssimativo del 95% per la frequenza di tale evento si estende da 0 a 3/n.
Questo è incredibilmente pratico. Se un nuovo farmaco non mostra alcuna reazione avversa nei primi 250 pazienti, la regola del tre ci consente di avere una sicurezza del 95% che il tasso effettivo di reazioni avverse sia compreso tra lo 0% e l'1.2% (poiché 3/250 = 0.012). Fornisce un limite superiore ragionevole per il rischio, anche quando non si è ancora verificato alcun evento avverso.
Conclusione: abbraccia l'intervallo
Un singolo numero – una media, una percentuale, un tasso – non è mai la risposta definitiva. È una stima puntuale, un'ipotesi in un mare di incertezze.
Gli intervalli di confidenza ci costringono a confrontarci con questa incertezza. Forniscono una visione cruciale, umiliante e più onesta di ciò che i nostri dati possono effettivamente dirci sul mondo. Mostrandoci la gamma di verità plausibili, ci impediscono di essere ingannati dall'illusione della certezza.
La prossima volta che vedi una statistica, ti chiederai del numero o dell'incertezza che lo circonda?
