06 dicembre 2011

Higgs?

Da qualche giorno circolano voci su un imminente annuncio del CERN a proposito del bosone di Higgs. Ha cominciato il Guardian, hanno continuato i soliti noti (Woit e Dorigo, tra gli altri) e ieri ne accennava Peppe Liberti sul suo nuovo blog.

Quello che è certo è che il 13 dicembre ci sarà un seminario pubblico dei portavoce degli esperimenti Atlas e CMS, i due esperimenti che stanno cercando di inchiodare la particella (e che negli ultimi mesi hanno già ristretto parecchio il campo delle possibilità, come raccontava di recente Marco Delmastro). È ovvio prevedere che, quali che siano le novità, verranno rese note in quell'occasione.

Aspettiamo il giorno della verità, quindi. O meglio, il giorno del dubbio, dal momento che la certezza assoluta in fisica non esiste e, come diceva Feynman, "quando uno scienziato non conosce la risposta a un problema, ignora. Quando ha un'idea del risultato, è incerto. E quando è parecchio sicuro del risultato, dubita." A questo proposito, visto che la significatività del risultato (qualunque esso sia) sarà espressa in termini di un numero di "sigma", se volete farvi un'idea del grado di certezza (o di dubbio) dei fisici a proposito della faccenda potrebbe tornarvi utile sapere che cosa significa.

Immaginate di misurare una qualche quantità fisica. Lo strumento non avrà una precisione infinita e quindi, se ripetete la misura, il risultato non sarà sempre esattamente lo stesso. Potete però fare la media tra le misure e, se le misure sono veramente tante, potete essere abbastanza sicuri che questo valore medio sia vicino al "vero" valore della quantità che volete misurare. Quanto sicuri? Un modo intuitivo per capirlo è osservare quanto i valori misurati volta per volta fluttuano rispetto al valore medio.

Solitamente, noterete che le misure saranno per la maggior parte concentrate entro un certo intervallo attorno alla media, e che solo raramente se ne discosteranno di molto. Per esempio, la media delle vostre misure potrebbe essere esattamente 1 (non molto realistico, ma è solo un esempio), e le singole misure essere roba del tipo 1.3, 0.8, 0.7, 1.2, e così via. Una buona misura dell'intervallo entro cui cade la maggior parte dei dati è fornita da una quantità statistica chiamata "deviazione standard", che si indica con il simbolo σ: sigma, appunto.

Se volete sapere come calcolare σ, ecco la ricetta (se invece non vi interessano i dettagli, passate al paragrafo successivo): sottraete la media alle singole misure, ottenendo gli scarti (nell'esempio di prima, 0.3, -0.2, -0.3, 0.2, e così via); poi prendete il quadrato degli scarti, fatene la media e infine la radice quadrata.

Bene. Continuando con l'esempio, supponiamo che abbiate trovato che il σ delle vostre misure è 0.3. La cosa importante è che, se le fluttuazioni della vostra misura sono dovute solo al caso, la statistica vi dice che il valore "vero" della quantità che cercate ha il 68% di probabilità di essere compreso in un intervallo di più o meno un σ attorno alla media dei dati (ovvero, nel nostro caso, tra 0.7 e 1.3) [*]. Se volete essere ancora più sicuri potete allargare l'intervallo, arrivando fino a due σ dalla media (ovvero tra 0.4 e 1.6): in questo caso la probabilità che il valore "vero" cada lì dentro diventa del 95.5%. Se passate a tre σ (tra 0.1 e 1.9), la probabilità cresce ancora e arriva al 99.7%.

Insomma, non siete mai completamente certi, ma la vostra confidenza che la misura sia contenuta entro un certo intervallo aumenta se ampliate l'intervallo di sigma. Detto così sembra la scoperta dell'acqua calda, ma guardiamo la cosa da un altro punto di vista.

Supponiamo che vogliate decidere se una certa ipotesi è falsa. L'ipotesi potrebbe essere, per esempio, "esiste una certa particella X". Il vostro modello prevede che, se la particella non esiste — ovvero nella cosiddetta ipotesi nulla — i vostri dati dovrebbero avere una certa media e un certo σ. I dati che avete raccolto, invece, hanno una media diversa, cosa che potrebbe essere spiegata dalla presenza della particella che state cercando disperatamente, ma anche semplicemente da una fluttuazione casuale dei dati. Come fate a decidere tra i due casi? Be', potete essere ragionevolmente confidenti che, se la media dei dati raccolti si allontana da quella prevista nell'ipotesi nulla di un numero di σ abbastanza grande, la probabilità che la cosa sia dovuta a un colpo di sfortuna è molto bassa. Per esempio, se siete lontani 3 σ dall'ipotesi nulla avete solo lo 0.3% di probabilità che la cosa si sia verificata per accidente: in altre parole, ripetendo l'esperimento 1000 volte, otterreste quel risultato solo 3 volte, se fosse prodotto dal caso. Se siete lontani solo 1 σ, avete invece ben il 32% per cento di probabilità che la cosa sia casuale. (Naturalmente, tutto ciò assume che la vostra stima di sigma sia corretta e che nei vostri dati non si nascondano errori sistematici, ovvero errori non casuali, che alterano la media delle misure.)

Ecco spiegato perché i risultati vengono presentati dichiarando di quanti sigma si allontanano dall'ipotesi nulla. Maggiore è il numero di sigma, maggiore la confidenza di aver fatto una scoperta. In genere, i fisici non considerano nemmeno un risultato a meno di 3 sigma, e iniziano a parlare di scoperta solo da 5 sigma in poi (quando la probabilità che il risultato sia dovuto al caso è meno di una su un milione). La recente misura della velocità dei neutrini, per esempio, si allontana di ben 6 sigma da quanto previsto nell'ipotesi che essi viaggino a velocità uguali o minori a quella della luce. Il che significa che è difficilissimo che sia dovuta a qualche effetto casuale, ma lascia ovviamente aperta la possibilità di errori sistematici.

Ad ogni modo, quando tra pochi giorni arriveranno notizie da LHC, spero che avrete qualche elemento in più per farvi un'idea.

---

[*] Più correttamente, se il valore "vero" fosse quello stimato, una misura successiva della stessa quantità avrebbe il 68% di probabilità di cadere nell'intervallo di più o meno un sigma attorno alla media.

37 commenti:

  1. pochi paragrafi per spiegare un concetto che il mio Prof. di Fisica dell'università rese inutilmente più complicato (e di conseguenza molto oscuro) ... complimenti!

    RispondiElimina
  2. Se i rumors si riveleranno esatti, l'Higgs dovrebbe essere a 125 GeV, il punto più atteso dal modello standard. Questo dovrebbe anche implicare che la massa delle eventuali particelle supersimetriche debba essere relativamente bassa ed accessibile ad LHC.

    Come dici tu la differenza tra errore sistematico e statistico è fondamentale: si può misurare qualcosa con una precisione estrema (basso errore statistico) ma sbagliare quello che si sta misurando (errore sistematico). Nel neutrino cern-gran sasso hanno ridotto ulteriormente la sorgente di errori sistematici, ma la conferma definitiva può venire solo da un altro esperimento completamente indipendente.

    RispondiElimina
  3. Ho a che fare per lavoro tutti i giorni con misure e relative incertezze (a volte a troppi "sigma" da quanto si vorrebbe!). Una cosa poco percepita dai "non addetti ai lavori" è che la scienza è molto spesso "gestione dell'incertezza" piuttosto che precisione assoluta. E' come giocare al tirassegno al luna park: tanto più è difficile colpire il bersaglio in movimento, tanto più grande è il premio. E se davvero ci fosse in palio il bosone di Higgs?
    :-D Come sempre, complimenti per la chiarezza.

    RispondiElimina
  4. Ottimo post! Aggiungo, per gli interessati, questo mio contributo (http://www.gravita-zero.org/2009/10/stima-del-rischio-tramite-il-valore.html) e segnalo il tutto ai miei studenti di calcolo delle probabilità e statistica.

    RispondiElimina
  5. Grazie per l'ottimo post.
    E' molto eccitante questo momento che sta attraversando la fisica: già abbiamo risultati inattesi e forse presto ne avremo altri che permetteranno di uscire dalle secche attuali.
    Anni fa le novità scientifiche raggiungevano il grande pubblico solo dopo tempi lunghi, oggi con i post tuoi, di Marco Delmastro, Gravità zero, e tanti altri, anche un provinciale può vivere l'attualità della ricerca. E' un grande piacere.
    A me questo serve la scienza, a farmi entusiasmare!

    RispondiElimina
  6. Buon post, meriterebbe la vetrina "al posto" di Codogno. Pero' ... uhmmm!
    "... in altre parole, ripetendo l'esperimento 1000 volte, otterreste quel risultato solo 3 volte, se fosse prodotto dal caso."

    C'e' un errore innocente nella affermazione sopra che potrebbe traviare qualche studente in cerca di poteri profetici da acquisire con la statistica: non c'e' alcuna certezza sul numero di volte che quel risultato si ripetera' su 1000 misure. 3 e' solo una previsione, che sara' affetta anche essa da un certo margine.

    Se l'effetto e' casuale, 3 volte e' il valore medio che ci possiamo "aspettare" in uscita per quel particolare risultato nel caso potessimo ripetere non 1000 volte l'esperimento bensi "tante volte 1000 volte".
    O no?
    Con stima.

    RispondiElimina
  7. Hai perfettamente ragione: nel modo in cui l'ho scritto potrebbe essere frainteso. Con la statistica non ci si può mai distrarre!

    RispondiElimina
  8. nicola farina10/12/11 11:20

    Salve,

    sono un ex-ricercatore che si e' occupato anche di divulgazione. Leggo con enorme piacere (anche se non ho mai commentato) il suo blog che ritengo essere un modello per chiarezza e precisione dei concetti esposti. Tuttavia, questo suo ultimo post contiene molte inesattezze oltre a profondi errori concettuali.

    Andiamo con ordine. Lei dice che dopo aver fatto una serie di misure, il valore "vero" della grandezza cercata risiedera' con il 68% di probabilita' all'interno dell'intervallo ad un sigma intorno alla media. Questo e' il primo di una lunga serie di errori fatti nel post in cui lei con estrema disinvoltura applica un'errata inversione delle probabilita'. In realta', cio' che possiamo dire e' che se il valore vero fosse quello stimato, allora una successiva misura cadrebbe nell'intervallo ad un sigma con, appunto, il 68% di probabilita'. Il che e' profondamente diverso. Non si capisce, infatti, dal punto di vista logico, cosa abbiano a che fare le fluttuazioni della misura con l'incertezza con la quale noi conosciamo una certa grandezza. E' vero, le due cose sono collegate, ma assumerle uguali ipso facto e' qualcosa di totalmente illogico. L'incertezza sul valore vero della grandezza e' data dalla nostra conoscenza a priori (ossia prima dell'esperimento), aggiornata dall'evidenza sperimentale (ossia le misure). Cosa accade se io faccio una sola misura? In questo caso lo scarto quadratico medio sarebbe evidentemente zero; vorrebbe dire che io so con certezza dove risiede il valore vero? Non risponda che una misura non e' un campione significativo. La realta' e' che anche una sola misura aggiorna la nostra conoscenza del fenomeno. Le faccio un esempio. Lei entra in una stanza. Pensa che la temperatura dovrebbe essere dai 20 ai 30 gradi centigradi. Poi legge un termometro che segna 27 gradi. Non conosce niente di quel termometro (come funziona o quanto sia preciso). Il suo "belief" sulla reale temperatura della stanza e' pero' cambiato. Sicuramente, lei credera' adesso piu' che facciano 28 gradi che, ad esempio, 21. La sua sensazione a priori e' stata aggiornata dalla singola misura.

    Un altro esempio. Mi propongo un esperimento il cui scopo e' quello di misurare con estrema precisione il valore dell'accelerazione di gravita'. Purtroppo le cose non vanno come sperato ed alla fine ottengo per g un valore di 9.5 m/s^2 con sigma 0.2m/s^2. Cosa imparo? Per prima cosa che il mio esperimento non ha la precisione desiderata. Poi, molto poco. Di certo non mi verrebbe mai in mente di affermare che il vero valore di g sta tra 9.3 e 9.7m/s^2 con il 68% di probabilita'. Questo perche' la mia conoscenza a priori mi dice che il valore di g sta da qualche parte intorno a 9.81m/s^2. E' evidente che qualcosa che non sono riuscito a considerare durante l'esperimento sia andato storto.

    RispondiElimina
  9. Ma il problema trattato da Balbi e´ relativo ad un test di ipotesi (Il valore dell´esperimento ottenuto e´ spiegabile con una fluttuazione casuale del valore atteso per l´ipotesi H0?). E´cioe´un problema di confutazione della ipotesi.
    Mentre Lei, Sig.Farina fa riferimento ad un problema di stima (correction) di una variabile partendo da una "prediction" (caratterizzata da un certo valore supposto a priori e un certo grado di precisione anche esso supposto a priori) e un una misura (valore e relativo errore). Ovvero il problema risolto da Kalman con il suo famoso filtro.
    Non sono un esperto, e´probabile che io mi sbagli ma non sono sicuro che i due problemi siano la stessa cosa.
    L´Anonimo di sopra.

    RispondiElimina
  10. nicola farina10/12/11 12:12

    Avevo spezzato il mio intervento in due perche' troppo lungo. Ho provato piu' volte a ripostare la seconda parte, senza pero' successo. Li' parlo proprio delle fallacie dei test di ipotesi, Spero di riuscire a ripostarlo piu' tardi (o almeno che riesca a postare questo commento!)

    RispondiElimina
  11. nicola farina10/12/11 16:03

    La sezione sui test di ipotesi e' veramente fastidiosa e perpetra continuamente fallacie logiche. Il fatto che un'ipotesi preveda che un evento sia a priori estremamente improbabile non rende automaticamente altrettanto improbabile l'ipotesi, nel caso tale evento si verifichi realmente. Facciamo un esempio. Supponiamo che un tizio abbia il biglietto con la combinazione singola vincente del superenalotto. Vogliamo sapere se il tizio sia stato semplicemente fortunato oppure se abbia barato. La nostra ipotesi e' "tizio e' stato onesto", mentre l'ipotesi "nulla" e' "tizio ha barato". Siccome vincere al superenalotto giocando onestamente una singola combinazione ha una probabilita' di uno su svariati milioni, dobbiamo rigettare questa ipotesi. D'altronde, vincere barando e' assai piu' semplice, quindi dobbiamo concludere che tizio abbia barato con livello di confidenza del 99,9999% almeno. Chiaramente, qualcosa non va in questo schema. Cosa succede se barare al superenalotto sia praticamente impossibile (come e' d'altronde nella realta')? Cosa se tizio e' una persona di provata e inconfutabile onesta'? Possiamo essere cosi' confidenti che abbia barato? Dobbiamo realmente pensare che tutte le persone (be', non tutte, uno su svariati milioni si salva) che vincono al superenalotto abbiano barato?
    In generale, cosa succede se io so che solo due ipotesi possono spiegare un certo fenomeno (e che quindi una delle due e' vera con probabilita' 1), ma tale fenomeno risulta assai improbabile per entrambe (diciamo 1/5000 per la prima e 1/20000 per la seconda)? Devo rigettarle entrambe, lasciando il mio fenomeno privo di spiegazioni? Ovviamente no. Il fenomeno osservato aggiornera' le mie credenze circa le due ipotesi. Di certo non posso dire che la prima ipotesi abbia una probabilita' su 5000 di essere vera e la seconda una su 20000. Come potrebbe essere se la somma tra le due deve fare 1, essendo le sole possibili?

    RispondiElimina
  12. nicola farina10/12/11 16:04

    Io sono convinto che neanche lei creda a questa logica. Del resto, pochi post fa aveva (giustamente!) scritto di essere cauti con i risultati di OPERA. Cio' e' totalmente in contraddizione con quanto scritto in questo post. I risultati infatti dicono che stiamo al livello di sei sigma (come lei riporta). Quindi, secondo la logica da lei difesa, ci dovrebbe essere solo una probabilita' su centinaia di milioni che i neutrini non superino la velocita' della luce. Per quale diamine di motivo essere cauti allora? La risposta la conosce anche lei. Dire che se i neutrini viaggiano alla velocita' della luce, allora i dati di OPERA sono estremamente improbabili NON implica che, dati i risultati di OPERA, e' estremamente improbabile che i neutrini viaggino alla velocita' della luce. In generale, P(A|B) e' diverso da P(B|A). Lei e' cosmologo, e in cosmologia una statistica corretta viene ormai usata da tempo e non le dovrebbe essere difficile capire tale importantissima differenza.

    Tralascio di commentare quando lei parla di "fluttuazioni dovute solo al caso" ed "errori sistematici", perche' e' evidente che non ha avuto abbastanza tempo per riflettere a dovere sui concetti di probabilita' e caso che, a sua discolpa, vengono letteralmente stuprati da certe concezioni errate, purtroppo ancora popolari. Per fortuna le cose stanno rapidamente cambiando e il modo corretto di pensare di fronte alle incertezze si sta sempre piu' affermando.

    Mi dispiace molto essere pedante, perche' decisamente il suo eccellente blog non lo merita. Per motivi "professionali" (lavoro per una societa' di consulenza di gestione del rischio), il concetto di probabilita' mi sta molto a cuore e mi rattrista vedere come in fisica, sebbene sia il campo dove la "rivoluzione bayesiana" sia partita, certe concezioni illogiche siano ancora molto diffuse.
    Grazie dello spazio concessomi.

    RispondiElimina
  13. Caro Farina
    stia tranquillo, non mi sfuggono le sottigliezze dell'applicazione della statistica all'analisi dei dati, visto che me ne occupo professionalmente. E proprio per questo nel post (che, ricordiamolo, non è un trattato accademico) mi sono limitato a esempi che forse potranno essere ritenuti semplici o poco realistici (e sono il primo a sapere che l'analisi di dati reali è estremamente più complessa). Ma se si accettano le premesse che ho fatto non vedo dove sarebbero le inesattezze. Se una quantità fisica ha un valore "vero" (noti che ho messo le virgolette di proposito, qui e nel post, perché solo su questo punto si potrebbe scrivere un trattato), se l'errore di misura è esclusivamente statistico (ovvero se non ci sono effetti sistematici) e se l'estimatore statistico della quantità è non distorto, allora la media dell'estimatore, su un numero molto grande di misure, tende al valore della quantità fisica; inoltre, la dispersione delle misure può essere usata per definire un intervallo di confidenza, ovvero la probabilità che il valore "vero" cada lì dentro. (Naturalmente non conosciamo né mai conosceremo il valore "vero" della quantità, quindi dobbiamo necessariamente interpretare la cosa nel senso che una misura successiva, fatta secondo ipotesi analoghe, cadrà lì dentro con quella probabilità). L'esempio che fa lei (di una sola misura di temperatura) è artificioso, e soprattutto non ha nulla a che vedere con le premesse che ho fatto io, ovvero di fare molte misure ripetute. Così come non lo è quello della misura dell'accelerazione di gravità, che ovviamente è stata fatta in presenza di effetti sistematici e non di errore esclusivamente statistico. Quanto al test di ipotesi, di nuovo non capisco il suo esempio: la probabilità che una persona in particolare (per esempio lei) vinca al superenalotto è del tutto diversa dalla probabilità che vinca una persona qualunque. E per quanto riguarda i neutrini, ho fatto quell'esempio proprio per mostrare come una misura possa essere molto precisa (dal punto di vista dell'errore statistico) ma non necessariamente accurata (se c'è sotto qualche effetto sistematico non identificato). In definitiva, mi sembra che lei, per ragioni sue, abbia voluto fare una serie di esempi che non hanno niente a che vedere con il mio post.

    Per finire, e senza avere nessuna voglia di lanciarmi in guerre di religione tra statistici di varia formazione (fortunatamente non sono uno statistico), aggiungo che tutto il suo discorso ruota intorno a una particolare forma di inferenza, quella bayesiana, che, come sicuramente saprà, non è l'unica possibile. Per esempio, potremmo dibattere a lungo sul fatto se una grandezza fisica sia una variabile casuale (come dovrebbe essere se volessimo applicare rigorosamente il teorema di Bayes) oppure su quale siano le distribuzioni a priori più sensate da adottare, o ancora se abbia senso definire la probabilità in modo soggettivo o se non sia più corretto farlo solo in termini empirici o di frequenza. In ogni caso, vorrei rassicurarla: i fisici che analizzano i dati sanno perfettamente quanto sia problematico questo genere di cose, e nel dubbio preferiscono essere cauti. Mi auguro che le società di gestione del rischio lo siano altrettanto.

    RispondiElimina
  14. nicola farina10/12/11 18:47

    Non e' mia intenzione continuare "guerre sante" come lei le definisce. Mi limito a dire che, aldila' della filosofia dietro al concetto di probabilita', quello che lei dice circa la probabilita' del valore vero di cadere entro un certo livello di confidenza e' FALSO, e lo e' (pesantemente) dal punto di vista logico, Puo' verificarlo facendo delle ricerche per conto suo, intanto le mando un link di wikipedia (legga attentamente il terzo paragrafo):

    http://en.wikipedia.org/wiki/Confidence_interval

    Puo' anche avere le proprie concezioni riguardo la probabilita', ma quello che lei afferma e' falso tout court anche dal punto di vista frequentista, in quanto non si puo' proprio parlare di "probabilita' che il valore vero ricada in un certo intervallo", semplicemente perche' quest'ultimo non e' un evento ripetibile e di conseguenza non puo' essere associato ad alcuna probabilita'.

    Ho fatto ricerca in fisica e vorrei avere la sua stessa fiducia. Purtroppo, pero', ho sentito cose veramente al limite del surreale (tipo la miglior stima del quadrato del seno dell'angolo di mixing di due sapori di neutrini e' 1.74 o cose simili) per averne altrettanta. Le assicuro che la gestione del rischio e' assai piu' affidabile: se sbagli valutazione della probabilita' perdi i soldi. Non e' proprio il caso di usare test d'ipotesi basati su principi errati quando si scende in campo in prima persona.

    RispondiElimina
  15. Le ho già spiegato cosa intendo: se le mie misure possono essere modellate da un processo aleatorio gaussiano la cui media rappresenta il valore "vero" della quantità che voglio misurare (è un'ipotesi idealistica, l'ho detto chiaramente), mi aspetto che il 68% dei dati, nel limite di un numero molto grande di misure, cada entro più o meno una deviazione standard dalla media, e così via. La questione dell'inferenza è molto più delicata, ma non era quello lo scopo del post. Lo scopo era solo provare a spiegare a chi non ne sa nulla cos'è la deviazione standard e perché i risultati di un test di ipotesi vengono espressi attraverso il numero di sigma. Se pensa di riuscire a spiegarlo meglio (e sicuramente è possibile) questo spazio è a sua disposizione, ma finora i suoi esempi (per non parlare delle sue considerazioni sulla scarsa conoscenza della statistica da parte dei fisici) non mi sembravano molto attinenti.

    RispondiElimina
  16. Stimato Amedeo,
    ti do del tu perché ho un passato da fisico (abbiamo di certo alcune amicizie in comune) e di divulgatore scientifico e seguo da tempo con vivo interesso il tuo blog. Ho spesso lodato in pubblico i tuoi post, difendendo a spada tratta anche alcuni episodi giudicati "più pigri" da parte di alcuni.
    Per questo la delusione alla lettura di questo post è stata ancor più viva e drammatica. Premetto che sono al 100% in accordo con quanto scrive Nicola Farina.
    Evitiamo le guerre di religione e lasciamo da parte termini come "bayesiano" e "frequentista". Questo è un blog nel quale si parla di scienza. Per me la scienza è il tentativo migliore di descrivere la realtà che ci circonda, basandoci su quanto osserviamo. Questa descrizione si basa su dei modelli (e sulla specificazione dei valori dei parametri che appaiono in un certo modello). Attraverso la ricerca e gli esperimenti, cerchiamo di capire se "ci abbiamo preso", cioè di determinare il modello (e i valori dei parametri) che ci aiuta a descrivere meglio quanto accade in Natura. Pertanto, lo scopo di un esperimento è raccogliere dati in base ai quali giudicare la bontà del modello. In altre parole, dobbiamo valutare quanto sia "credibile" un certo modello sulla base dei dati.
    Tu riporti la prescrizione del test di ipotesi secondo la quale "[...] se siete lontani 3 σ dall'ipotesi nulla avete solo lo 0.3% di probabilità che la cosa si sia verificata per accidente: in altre parole, ripetendo l'esperimento 1000 volte, otterreste quel risultato solo 3 volte, se fosse prodotto dal caso [...]". Notiamo come sia involuta e poco "naturale" questa logica: la bontà del mio modello dipende non dai dati ottenuti dall'esperimento, ma da quello di ALTRI MILLE esperimenti (che NON ho condotto), SE fosse giusto il modello e SE l'errore fosse prodotto solo dal caso. Questo è del tutto lontano da quanto vorrei fare in fisica: capire come i risultati di una misura (un esperimento: quello che ho fatto!) cambiano la mia valutazione di bontà del modello.
    Quindi, invece di valutare quanto sia "probabile" il mio modello sulla base dei dati, siamo finiti a valutare quanto sia probabile ottenere dati che si discostano in tale misura da quanto prevede il modello (in altri ipotetici esperimenti non ancora realizzati)...cioè una domanda assolutamente DIVERSA da quella che ci dobbiamo porre per fare scienza. E le due cose, come sottolinea in maniera convincente Nicola Farina, non solo "semplicemente" legate tra loro. Inoltre, se non si considera almeno un altro modello alternativo, per capire come quest'altro descriva diversamente i dati, per poter giudicare infine quale modello sia "migliore", non si giunge ad alcun progresso nella conoscenza e pertanto, ai fini della ricerca scientifica, ad un risultato del tutto sterile.
    Il fatto poi che (in risposta sempre a NF) "[...] tutto il suo discorso ruota intorno a una particolare forma di inferenza, quella bayesiana, che, come sicuramente saprà, non è l'unica possibile [...]" è un altro argomento debole. Che ci siano piu' "scuole" non vuol dire che siano tutte allo stesso modo buone.
    La statistica, nel campo della fisica, deve essere uno strumento. La statistica "frequentista" e quella "bayesiana" (alla fine l'abbiamo detto) rispondono a domande diverse. Nel caso della ricerca scientifica la domanda giusta (se non siamo in accordo su questo, una stretta di mano e ognuno per la sua strada...) porta a valutare la probabilità dei modelli sulla base dei dati, non quella dei dati sulla base del modello.
    Fare uso dell'approccio frequentista per rispondere alle domande della scienza è come usare un termometro per misurare lo spessore di un foglio di carta.
    Al di là di questo post, davvero un ottimo blog. Chiaro e puntuale.
    Cordialmente,
    Marco Valli

    RispondiElimina
  17. Un mio amico statistico mi aveva avvertito: non farti mai coinvolgere in una discussione tra bayesiani e frequentisti! Comunque, bayesiano o frequentista che sia, uno scienziato non può fare altro che prendere dati. E un bayesiano stima la probabilità dei parametri del modello sulla base dei dati (likelihood) proprio a partire dalla probabilità che i dati siano stati prodotti dal modello!

    RispondiElimina
    Risposte
    1. Mi sono imbattuto in questa discussione per caso, ma condivido pienamente.
      Si è arrivati ad una discussione accademica tra statistici dimenticandosi di quale informazione si desidera in virtù del tipo di precesso che si sta investigando.

      Elimina
  18. nicola farina11/12/11 10:19

    "La questione dell'inferenza è molto più delicata, ma non era quello lo scopo del post."

    Nossignore, io penso fosse proprio questa. Quando lei ripete fallaciamente di "probabilita' del valore vero di stare in un certo intervallo" fa inferenza, che le piaccia o no. E la fa pessimamente. Cosi' come quando descrive i test di ipotesi (non sono forse uno strumento di (pseudo)inferenza?). Leggo con enorme piacere la risposta di Moping Owl. Perfetta la definizione di scienza: descrivere la realtà che ci circonda, basandoci su quanto osserviamo.

    Era giusto descrivere come i risultati dai fisici vengano presentati con un "numero di sigma". Ma era doveroso spiegare bene cosa questo voglia realmente dire.
    Proviamoci. Prima che OPERA presentasse i risultati, se qualcuno ci avesse chiesto quanto e' probabile che una particella superi la velocita' della luce, la nostra risposta sarebbe stata qualcosa del tipo: "uno scienziato non risponde mai 'esattamente zero' ad una domanda del genere perche' deve tenere aperta ogni possibilita'; direi quindi praticamente zero". Escono i risultati di OPERA che dicono che la velocita' dei neutrini da loro misurata si discosta di 6 sigma da quella della luce. Cio' vuol dire che, sostanzialmente, se ci fossero centinaia di milioni di OPERA in un universo in cui i neutrini viaggiano al massimo alla velocita' della luce, solo uno segnerebbe i risultati segnati effettivamente da OPERA nel nostro universo. Questo non vuol dire (nel modo piu' assoluto!) che ci sia solo una possibilita' su svariati milioni che nel nostro universo i neutrini viaggino al massimo alla velocita' della luce! Solo che, ora, siamo costretti in ogni caso ad ammettere qualcosa di estremamente improbabile: o che molte teorie, che spiegavano perfettamente fino a ieri cio' che osservavamo, siano in qualche modo da rivedere, o ignorare una fortissima evidenza sperimentale. E' chiaro che bisogna passare al setaccio ogni singolo passaggio dell'esperimento, cercare di capire se ci possono essere effetti sconosciuti non ancora presi in considerazione e prendere il maggior numero possibile di nuovi dati. Tutto cio' non bastera'. Se non si dovesse trovare nulla, si dovranno costruire nuovi esperimenti (o riadattare gli esistenti) dedicati alla misura della velocita' dei neutrini. Tutto questo a causa delle nostre fortissime convinzioni a priori. Ritorniamo dal nostro scienziato, con la stessa domanda. Rispondera' all'incirca: "Pensavo fosse impossibile, ma mi devo ricredere. Adesso penso che un buon 10-15% deve essere assegnato a tale possibilità". Ecco come si aggiornano le nostre credenze.

    Passiamo all'Higgs. Chiediamo al nostro scienziato, prima dello start di LHC quanto pensa sia probabile che esista l'Higgs. "Dovendo scommettere, direi circa il 40%". Chiaramente, tale risposta variera' da scienziato a scienziato; difficilmente, pero', qualcuno dira' sicuramente 100% o sicuramente 0. Che l'Higgs possa esistere e' una eventualita' ampiamente prevista dalla scienza moderna.
    Martedi' LHC comunichera' i propri risultati. Supponiamo che dicano che l'Higgs sia stato trovato con sei sigma di confidenza. Sappiamo gia' cosa vuol dire. Certo, i controlli del caso sarebbero doverosi. Ma le conclusioni molto piu' semplici. In tale scenario, se mercoledi' ripetessimo al nostro scienziato la domanda fatta all'inizio, la sua risposta sarebbe: "l'Higgs e' stato scoperto; non li leggi i giornali"?
    Stesso livello di confidenza, conclusioni molto diverse. Per l'Higgs basta una confidenza molto meno stringente per arrivare a conclusioni piu' certe. Di certo, dopo un eventuale annuncio di LHC, arXiv non verra' inondato da centinaia di paper che cercano qualche sistematica o spiegazione alternativa, come successo per il caso di OPERA.

    RispondiElimina
    Risposte
    1. E alla fine si scoprì che si trattava di errore sistematico, e tutte questi pipponi sull'inaffidabilità dei 6 sigma se ne vanno a ramengo! :-)

      Elimina
  19. Il suo furore (anche un po' maleducato, ma sorvoliamo) nell'insistere a leggere nel mio post implicazioni che non c'erano è straordinario, e ho la sensazione che le sue fortissime convinzioni a priori non verranno alterate neanche da un numero infinito di miei tentativi di convincerla del contrario.

    RispondiElimina
  20. nicola farina11/12/11 11:36

    Mi scuso se le sembro maleducato. Apprezzo invece moltissimo il fatto che risponda ai commenti, senza "censurarli" (come sarebbe nel suo piu' pieno diritto), nonostante contesti certe sue affermazioni. Ottima la battuta finale (peraltro di pieno spirito bayesiano!).

    Mi dia una piccola soddisfazione pero'. Cito dal post:

    "la statistica vi dice che il valore "vero" della quantità che cercate ha il 68% di probabilità di essere compreso in un intervallo di più o meno un σ attorno alla media dei dati"

    Mi riconosce che questa frase e' falsa, e che nessuna statistica esistente sostiene una cosa del genere? Se solo questa discussione e' stata utile a lei e a chi legge per realizzare cio', ne sarei piu' che soddisfatto.

    Mi scuso ancora per aver comunicato eccessivo fervore, non era assolutamente nelle mie intenzioni.

    RispondiElimina
  21. Nulla è più lontano dai miei desideri che scatenare una discussione feroce. Da parte mia, la chiudo qui (rimanendo valida la stretta di mano e i commenti sul blog). Mi concedo solo due considerazioni brevissime, una seria e una faceta:
    1) Se questa è una "discussione tra bayesiani e frequentisti", visto che a quanto pare sia io sia Nicola Farina siamo bayesiani, rimane da capire chi sia il frequentista :P
    2) l'affermazione "[...] un bayesiano stima la probabilità dei parametri del modello sulla base dei dati (likelihood) proprio a partire dalla probabilità che i dati siano stati prodotti dal modello [...]" è vera solo in parte, perché questa stima non "esaurisce" il discorso (basta leggere il teorema di Bayes per capire che mancano ancora due ingredienti!).
    In effetti è incappato in due tipi "convinti". Convinti, ma mi sembra con buone argomentazioni...e se ci facciamo prendere un po' la mano, è perché - credo - ci spiaccia vedere che un certo tipo di approccio ancora sia il punto di vista della maggioranza.
    Alle prossime letture :)

    RispondiElimina
  22. @nicola farina: se quella frase fosse falsa, sarebbe del tutto inutile fare qualsiasi misura in fisica, dal momento che tutto il trattamento degli errori casuali (a media nulla) è basato sul presupposto che il valore medio dei dati tenda al valore della quantità da misurare (a patto che il numero delle misure sia molto grande) e che la deviazione standard dei dati dia una stima della precisione della misura. Questo, come ho già detto qualche commento fa, è tutto quello che intendevo. In ogni caso, se stiamo discutendo da così tanto è possibile che il modo in cui ho espresso quello che avevo in mente potesse essere formulato più chiaramente.

    @moping owl: sarai probabilmente sorpreso di sapere che praticamente tutti i miei articoli scientifici che hanno a che fare con l'analisi dei dati adottano un punto di vista bayesiano (così come quelli della maggior parte dei cosmologi).

    RispondiElimina
  23. Oh, sono molto piu' informato (e quindi MOOOOLTO piu' sopreso) di quanto immagini :)

    ...e per mia esperienza personale molti cosmologi sono bayesiani per "moda", ma non hanno compreso bene cosa stiano facendo, della serie: "ok, molto bello questo Bayes, ora dai...mettiamo tutte priors piatte e guardiamo il chi-quadro!"

    RispondiElimina
  24. nicola farina11/12/11 20:12

    Faccio un ultimo tentativo, poi basta. Riporto da wikipedia:

    A confidence interval does not predict that the true value of the parameter has a particular probability of being in the confidence interval given the data actually obtained. (An interval intended to have such a property, called a credible interval, can be estimated using Bayesian methods; but such methods bring with them their own distinct strengths and weaknesses).

    Continua a confondere profondamente il significato di likelihood e posterior. Non so come spiegarmi ulteriormente.

    Due ultimi appunti:

    1) Secondo l'approccio frequentista, il teorema di Bayes e' valido ma di scarsa utilita', in quanto per essere trattato statisticamente un evento deve essere ripetibile. Quindi e' perfettamente lecito parlare di "probabilita' di avere alcuni dati una volta fissato il modello", in quanto, in linea di principio posso ripetere le misure infinite volte e ottenere frequenze, ma non lo e' se si prende la proposizione inversa, ossia "probabilita' che il modello sia vero, una volta che io ho ottenuto quei dati". Questo perche' il modello e' solo vero o falso e non c'e' modo di associarlo a tentativi e frequenze, quindi a probabilita' frequentista. Quindi, se lei e' frequentista, quella frase non la puo' dire.

    2) Secondo l'approccio bayesiano puo' perfettamente parlare di probabilita' del modello. Per farlo, pero', deve usare il teorema di Bayes, appunto, e incorporare le conoscenze a priori del modello e valutare quanto sia probabile l'effetto dato il modello. Nella frase lei sostiene sostanzialmente likelihood=posterior (lei sa di cosa sto parlando, mi scuso con gli altri lettori del blog) e questo e' falso.

    In entrambi casi, il suo ultimo commento non ha niente a che vedere con la frase da me sottolineata. Facendo ripetute ed infinite misure, il suo stimatore frequentista tendera' (quasi sicuramente come dicono i matematici) al valore vero, mentre la posterior bayesiana si picchera' automaticamente intorno al valore vero. In ogni caso la fisica sperimentale e' salva ed ha un senso.

    Dopodiche', mi arrendo.

    @Moping Owl: sante parole, sacre e sante parole.

    RispondiElimina
  25. @farina, la sua ostinazione farebbe tenerezza, se non fosse accompagnata da un'arroganza che la porta a ritenere che debba spiegarmi quello che so già, senza farsi sfiorare dal dubbio, anche dopo l'ennesima volta che lo ripeto, che la stia facendo più lunga del necessario. D'altra parte c'è poco da fare, quando uno è accecato dal fanatismo deve vedere nemici anche dove non ci sono.

    RispondiElimina
  26. Be', qui non posso non intervenire. Non vedo fanatismo...e non penso di essere accecato anche io. Vedo un tentativo (forte e deciso, sicuramente) di proporre delle argomentazioni, mentre tu, Amedeo (mi tengo ancora la confidenza che mi sono arrogato) sei barricato dietro un "l'ho gia' detto, non era quello che intendevo, la stiamo facendo lunga". Forse, cose sosteneva inizialmente NF, non hai approfondito e riflettuto a fondo su questi temi, e magari questa e' una occasione per farlo. Forse perche' ritieni davvero la statistica un mero strumento, e non senti la necessita' (al contrario di noi altri, a quanto pare) di trovare un linguaggio piu' soddisfacente. Quello che sottolinea NF ti sarebbe confermato anche dal frequentista piu' sfegatato: loro sanno benissimo cosa siano e cosa non siano i numeri che tirano fuori. Secondo me - mi permetto ancora - sei piu' tu abbarbicato dietro una non necessaria pretesa di difendere quanto esposto. Non ho visto argomenti altrettanto efficaci e puntuali alle concrete obiezioni di Nicola.

    Non volermene. Buon lavoro

    RispondiElimina
  27. No, Marco (come vedi sono informato anch'io), è proprio da arrogante e da fanatico attribuire al proprio interlocutore cose che non ha mai detto e poi pretendere anche che le difenda, peraltro continuando a ignorare i suoi tentativi di chiarimento e tirando dritto per dimostrare una propria idea preconcetta: il tutto, lasciando trasparire la presunzione di saperne di più e che l'interlocutore in fondo non sappia di cosa parla. Visto che vi piacciono le fallacie logiche, questo modo di procedere si chiama "straw-man argument". Spero che apprezzerete la pazienza con cui sto tentando di dialogare con voi, invece di trattarvi come due troll qualsiasi (cosa che a questo punto forse un po' meritereste): ci provo ancora una volta, sperando di arrivare a una sintesi condivisa, dopo di che non so più cosa fare. Primo punto del post: la definizione operativa di deviazione standard di una serie di dati, su cui siamo d'accordo tutti, altrimenti è inutile andare avanti. Secondo punto: la deviazione standard è una stima della precisione di misure affette esclusivamente da errore casuale. Anche su questo spero che siamo d'accordo. Terzo punto, il test di ipotesi. Su questo, conveniamo che esistono punti di vista discordanti tra frequentisti e bayesiani, e non è mia intenzione (né lo è mai stata) fare un dibattito su questo: ma dovete riconoscere che quello che ho illustrato nella parte finale del post è una descrizione decente del modo di interpretare i risultati negli esperimenti di fisica delle particelle. Può non piacervi, potete non essere d'accordo, può non aderire al "verbo" bayesiano, ma quella è. Il post non era una discussione sul merito, ce l'avete trasformata voi. Resta un ultimo punto: ovvero se, nel caso di misure ripetute di una singola quantità soggetta a piccoli errori casuali, si possa dire che il valore "vero" della quantità che si cerca abbia o no il 68% di probabilità di cadere entro l'intervallo a un sigma oppure no. Ho già detto in quale limite di validità andava giudicata questa affermazione, e ho riconosciuto che si poteva probabilmente formulare la cosa in modo diverso, che non lasciasse spazio a equivoci (se avessi previsto di dover passare il weekend a rispondere ai vostri commenti, ci avrei messo dieci minuti in più a scrivere il post). Sicuramente sarebbe stato più rigoroso (ma ricordiamoci che questo non è un articolo accademico) dire che sono le misure successive a cadere in quell'intervallo con quella probabilità. Ma voi sapete benissimo che, nel limite di distribuzione gaussiana a singolo parametro con prior uniforme (ovvero esattamente il limite che avevo in mente io) è proprio il vostro amato reverendo Bayes a permettervi di fare questa affermazione, come peraltro alla fine ammette anche Farina nel suo ultimo commento, dopo aver detto in precedenza che era un'affermazione falsa tout court. Con questo, spero di essermi spiegato e di aver placato il vostro fervore. Per quanto mi riguarda la cosa termina qui.

    RispondiElimina
  28. Come preferisci. Mi stai dando del trollatore e del fanatico, ma finiamola qui. Non era mia intenzione fare catechesi e non si puo' dire che io non abbia semplicemente esposto un argomento diverso, motivandolo bene. Che poi tutti facciano cosi', non preclude la possibilita' di dire "ma si puo' fare diversamente".
    Alla prossima

    RispondiElimina
  29. Nessun problema. Può capitare che discutendo di argomenti che ci appassionano si alzino un po' i toni. Da parte mia, quando mi si fa notare educatamente una imprecisione dovuta a esigenze di semplificazione non ho problemi ad ammetterlo (come avevo fatto con il commentatore anonimo di prima). Il vostro tono era un po' sopra le righe, come, spero, riconoscerete adesso rileggendo a freddo tutto lo scambio. Tutto qua. In ogni caso, ho aggiunto una piccola nota sulla questione del 68% che spero sia di chiarimento. Alla prossima!

    RispondiElimina
  30. nicola farina13/12/11 13:49

    Mi fa molto piacere che da tutta questa "bagarre" sia nata una nota; segno che anche una discussione accesa puo' essere costruttiva. Vorrei precisare che pero' ci sono cose, a mio avviso, importantissime da puntualizzare. Cito dal post:

    "Per esempio, se siete lontani 3 σ dall'ipotesi nulla avete solo lo 0.3% di probabilità che la cosa si sia verificata per accidente: in altre parole, ripetendo l'esperimento 1000 volte, otterreste quel risultato solo 3 volte, se fosse prodotto dal caso."

    So che ormai mi considera un troll, ma la prego di fare uno sforzo e di realizzare che le due proposizioni fatte nel passaggio precedente sono diverse logicamente ed hanno quindi probabilita' diverse. La prima e' la probabilita' della causa (essere fluttuazioni statistica) dati gli eventi osservati; la seconda e' la probabilita' degli eventi osservati, fissata la causa (che e' il vero significato di "confidenza" usato dai frequentisti). Se la cosa la interessa, le posso fornire miriadi di esempi in cui questa inversione e' fallace e puo' portare, ed ha portato, ad una marea di falsi claim. Si legga per esempio questa pagina di wikipedia:

    http://en.wikipedia.org/wiki/P-value

    specie la sezione "Misunderstandings". Il livello di confidenza dato dagli esperimenti e' uno p-value (so che gia' lo sa), ma:

    The p-value is not the probability that the null hypothesis is true.
    The p-value is not the probability that a finding is "merely a fluke."

    Spero di invitarla a riflettere su cose sulle quali ci sono molti fraintendimenti a mio avviso pericolosi.

    Grazie

    Nicola Farina

    RispondiElimina
    Risposte
    1. Infatti il p-value ci dà una stima di quanto è probabile ottenere certi dati posto che l'ipotesi nulla sia vera, ma ciò non ci impedisce di adottarlo come un tentativo di "dimostrazione probabilistica" per assurdo dell'ipotesi nulla, se si prendono tutte le dovute cautele e si assume di aver eliminato tutte le fonti di errore sistematico (altrimenti non si potrebbe mai scartare l'ipotesi nulla per questa via, facendo il passo logico tanto contestato).
      Del resto, se questo modo di procedere non avesse alcun senso, neanche nella prassi, allora non si dovrebbe credere alla scoperta di quasi nessuna delle particelle elementari del Modello Standard.

      Elimina
  31. all'anonimo che ha scritto il 09/12/11 14:56: che diavolo c'entro io, che non ho mai parlato di deviazioni standard e simili?

    RispondiElimina
  32. Ciao,
    segnalo che questa pagina, e in particolare i contributi di Nicola Farina e Moping Owl, sono stati citati in una recente nota scientifica di G. D'Agostini dal titolo "Probably a discovery: Bad mathematics means rough scientific communication".
    La trovate scaricabile qui:

    http://arxiv.org/abs/1112.3620
    http://arxiv.org/pdf/1112.3620v1

    RispondiElimina
  33. D'Agostini scrive [arxiv.org/abs/1112.3620]:

    I have seen quite a lot "creative thinking" concerning related statistics/probability matter and you can amuse yourself browsing the web.
    I would like to suggest to Italian readers
    http://www.keplero.org/2011/12/higgs.html
    where there are some attempts (in particular by nicola farina and Moping Owl) to clarify some probabilistic issues.

    RispondiElimina

Related Posts Plugin for WordPress, Blogger...