4 verità controintuitive sulla deviazione standard
Introduzione: Oltre la media
L'essere umano medio ha un seno e un testicolo.
Questa citazione illustra vividamente il pericolo di affidarsi esclusivamente alla media per comprendere un insieme di dati. Sebbene tecnicamente vero, l'"essere umano medio" che descrive non esiste e non ci dice nulla sull'effettiva distribuzione dei tratti nella popolazione. La media può essere un riassunto fuorviante in presenza di variazioni significative.
Per avere un quadro più chiaro, abbiamo bisogno di un modo per quantificare questa "dispersione" o "variabilità". Lo strumento più comune a questo scopo è la deviazione standard (DS). Essa misura quanto i punti dati sono dispersi rispetto alla media. Sebbene molti di noi imparino a calcolare la deviazione standard in un corso introduttivo di statistica, la sua interpretazione nasconde diverse sfumature sorprendenti, cruciali per una corretta analisi dei dati.
Listicle: quattro intuizioni chiave
1. Perché dividiamo per n-1: il puzzle dei “gradi di libertà”
Una delle domande più comuni nelle statistiche introduttive è perché la formula per la deviazione standard del campione divide la somma delle differenze al quadrato per n-1 (the number of data points minus one) instead of just n. The reason is subtle but important.
Quando analizziamo i dati, il nostro obiettivo è solitamente quello di utilizzare un piccolo campione per stimare le caratteristiche di una popolazione molto più ampia. La deviazione standard che calcoliamo dal nostro campione è una stima della vera deviazione standard dell'intera popolazione.
L'intuizione chiave è questa: i punti dati in un dato campione saranno, in media, più vicini al media del campione di quanto lo siano al vero (e sconosciuto) media della popolazioneCiò rende la somma delle differenze al quadrato rispetto alla media campionaria leggermente inferiore a quella che sarebbe se fosse possibile calcolarla a partire dalla media reale della popolazione. Per correggere questa sottostima sistematica, dividiamo per un numero leggermente inferiore, n-1, which makes the final result a bit larger and a better estimate of the population’s true standard deviation.
Gli statistici si riferiscono a questo concetto come "gradi di libertà". Poiché la media campionaria è un valore calcolato e fisso, solo n-1 of the data points are “free” to vary before the last one is determined. While the theory can be complex, a deep understanding is not critical for most practical applications.
2. La stima “migliore” è in realtà distorta
Ecco un vero e proprio paradosso statistico: la deviazione standard del campione calcolata utilizzando il n-1 formula is considered the “best possible estimate” for statistical inference, yet it is also a parziale stima della deviazione standard della popolazione.
Tuttavia, la deviazione standard calcolata con n – 1 come denominatore non è la stima più accurata della deviazione standard della popolazione. Al contrario, è una stima distorta della deviazione standard della popolazione. "Distorta" significa che, in media, la deviazione standard calcolata non sarà uguale (in questo esempio, sarà inferiore) alla deviazione standard della popolazione, soprattutto con campioni di piccole dimensioni.
Come può la stima “migliore” essere distorta? Il paradosso si risolve quando consideriamo non la deviazione standard, ma la varianza—che è semplicemente la deviazione standard al quadrato. La formula che utilizza n-1 produces an imparziale stima della popolazione varianzaQuesto è fondamentale perché le inferenze statistiche come gli intervalli di confidenza e i valori P derivano dalle proprietà della varianza. Assicurandoci che la stima della varianza sia imparziale, garantiamo che i calcoli successivi, che costituiscono l'obiettivo finale dell'analisi, siano statisticamente validi. Pertanto, accettiamo una deviazione standard leggermente distorta per garantire una base imparziale per le nostre inferenze.
3. Campioni più grandi non ridurranno la deviazione standard
È un errore comune pensare che raccogliere più dati porti a una deviazione standard minore. Questa idea sembra intuitiva: più dati significano meno incertezza, giusto? Ma è sbagliato.
La deviazione standard quantifica la variabilità intrinseca all'interno di una popolazione. La temperatura corporea di una persona, ad esempio, fluttua naturalmente. Raccogliere dati da un numero maggiore di persone non cambia il fatto biologico di tale fluttuazione. Ciò che un campione più ampio does , è di misurare la deviazione standard della popolazione con maggiore precisione.
Questo è un punto che spesso genera confusione, poiché si contrappone a un'altra statistica comune, l'errore standard della media (SEM). Il SEM does con campioni più grandi perché misura con quanta precisione la media campionaria stima la media della popolazione. Al contrario, la deviazione standard (SD) misura la dispersione all'interno della popolazione stessa. Una maggiore quantità di dati fornisce una stima migliore della media (SEM più piccolo) e una stima più precisa della dispersione (una SD più stabile), ma non modifica la dispersione stessa.
Il contesto di origine fornisce un esempio perfetto utilizzando i dati sulla temperatura corporea. Un piccolo campione di 12 persone presentava una deviazione standard di 0.40 °C. Un campione molto più ampio di 130 persone presentava una deviazione standard quasi identica di 0.41 °C. La dispersione di base nella popolazione è rimasta la stessa; il campione più ampio ha semplicemente confermato il suo valore con maggiore sicurezza.
4. La pericolosa trappola della pseudoreplicazione
L'interpretazione valida della deviazione standard – e di quasi tutti i calcoli statistici – si basa sul presupposto che ogni dato fornisca informazioni indipendenti. L'errore di trattare misurazioni non indipendenti come se fossero indipendenti è chiamato pseudoreplicazione e porta a risultati statistici ingannevolmente piccoli e imprecisi.
Ecco due esempi comuni tratti dal materiale di partenza:
- Repliche tecniche vs. biologiche: Immagina di effettuare cinque misurazioni della pressione sanguigna su tre animali. Hai un totale di 15 misurazioni, ma non hai
n=15independent samples. The five measurements from a single animal are not independent; if that animal has naturally high blood pressure, all five of its readings will likely be higher. These are repliche tecnicheLe vere fonti di variazione indipendente sono i tre diversi animali (repliche biologiche). L'approccio corretto è quello di calcolare prima la media delle cinque misurazioni per ciascun animale e poi analizzare le tre medie risultanti conn=3. - Misurazioni accoppiate: Se si misura una variabile in entrambi gli occhi di 10 persone, si ottengono 20 punti dati. Tuttavia, trattando questo come
n=20is incorrect. The two measurements from one person are not independent because they are influenced by the same genetics, diet, and overall health. The variation tra le persone è in genere molto maggiore della variazione tra i due occhi di una singola persona. La soluzione più semplice è fare la media delle misurazioni per ogni persona e utilizzaren=10for your analysis.
In entrambi i casi, non riconoscere la mancanza di indipendenza porterebbe a un calcolo e a un'interpretazione errati della deviazione standard.
Conclusione: vedere la dispersione
La deviazione standard è molto più di un semplice passaggio in una formula; è un concetto complesso che richiede un'attenta riflessione. Dalla sottile correzione di n-1 to the critical importance of data independence, understanding these truths helps us avoid common analytical pitfalls.
Questo ci riporta all'inizio: l'essere umano medio con un seno e un testicolo. Il problema di questa media non è la matematica; è che nasconde la vera natura bimodale dei dati. Una semplice media e deviazione standard non possono catturare questa storia, ma un grafico che mostri la dispersione dei punti dati la rivelerebbe all'istante.
In definitiva, sebbene la deviazione standard sia una potente statistica riassuntiva, il modo migliore per apprezzare la variabilità è osservarla direttamente. Mostra i tuoi dati. Osserva la dispersione. Ora che hai visto le sfumature, in quale punto della tua analisi dei dati un'analisi più approfondita della dispersione potrebbe rivelare una storia completamente diversa?
