7 Bayesov faktor, testiranje hipoteza i selekcija modela
Neka su \(M_1\), \(M_2\) i \(E\) tri događaja, pri čemu \(M_1\) i \(M_2\) predstavljaju 2 različita modela, a \(E\) podatke (eng. “evidence”). Kako je \[P(M_1 | E)=\frac{P(E |M_1) P(M_1)}{P(E)}, \quad P(M_2 | E)=\frac{P(E |M_2) P(M_2)}{P(E)}\] slijedi
\[\frac{P(M_1 | E)}{P(M_2 | E)}=\frac{P(E | M_1)}{P(E | M_2)} \frac{P(M_1)}{P(M_2)}.\]
Prethodnu jednakost interpretiramo kao
“Posteriorna šansa = Bayesov faktor x apriorna šansa”.
Bayesov faktor (BF) u omjer stavlja vjerojatnosnu “uvjerljivost” podataka (\(E\)) pod modelom \(M_1\) i pod modelom \(M_2\).
- \(BF>1\): model \(M_1\) je uvjerljivi od modela \(M_2\) nakon što vidimo podatke \(E\).
- \(BF <1\): model \(M_1\) je manje uvjerljivji od modela \(M_2\) nakon što vidimo podatke \(E\):
- \(BF=1\): modeli su podjednako uvjerljivi nakon što vidimo podatke.
U tom kontekstu, Bayesov faktor koristan je za seleckiju modela. Zanimljivo, često korišteni Bayesov informacijski kriterij (BIC) u frekvencionističkoj statistici zapravo je svojevrsna aproksimacija Bayesovog faktora.
Pretpostavimo da bacamo novčić \(200\) puta i \(115\) puta padne glava, a \(85\) puta pismo.
Statistički model (vjerodostojnost) u problemu je \(f(x | \theta)=\binom{200}{x}\theta^{x}\left(1-\theta\right)^{200-x}, \theta \in \langle 0, 1 \rangle\), pri čemu je \(\theta\) nepoznata vjerojatnost da padne pismo na novčiću.
Želimo usporediti dva modela
- \(M_1: \quad \theta \geq 0.5\)
- \(M_2: \quad \theta < 0.5\)
i pretpostavljamo da nemamo nikakvih apriornih informacija pa koristimo uniformnu apriornu distribuciju. U tu svrhu izračunamo Bayesov faktor (BF):
\[BF=\frac{P(M_1 |E)}{P(M_2 | E)}=\frac{P(\theta \geq 0.5 | X=85)}{P(\theta < 0.5 | X=85)}/ \frac{P(\theta \geq 0.5)}{P(\theta < 0.5)}\approx 0.01734.\] Dobiveni BF značajno je manji od 1 što sugerira da je vjerojatniji model \(M_2\), odnosno da je novčić nepravilan i da češće pada glava.
Frekvencionistički bi prethodni problem sveo na testiranje hipoteza
\[\begin{align*} H_0: & \quad \theta \geq 0.5 \\ H_1: & \quad \theta < 0.5. \end{align*}\]
Provođenjem binomnog testa dobili bismo p-vrijednost \[p=P(X \leq 85 | M_1)=0.02 < 0.05\] što je manje od razine značajnosti \(\alpha=0.05\) te bismo odbacili nul-hipotezu i prihvatili alternativnu (model \(M_2\)). Možemo primijetiti da su u ovom problemu Bayesovski i frekvencionistički pristup dali jednake zaključke. Ipak, treba napomenuti da Bayesovski pristup ovisi i o izboru apriorne distribucije, tj. drugačiji odabir apriorne distribucije može dati zaključke drugačije onima kao kod frekvencionističkog pristupa.
Bayesovski pristup “testiranje hipoteza” svodi se na jednostavni izračun vjerojatnosti iz posteriorne distribucije. To je razlog zašto se koncept “testiranja hipoteza” u Bayesovskog paradigmi često preskače.
Uočimo:
- Bayesovska “p-vrijednost”: nakon što vidimo podatke koliko je uvjerljiv model (hipoteza)
- Frekvencionistička “p-vrijednost”: ako je model (hipoteza) istinita, koliko su podaci uvjerljivi.
Prethodno razmatranje jasno ukazuje da je Bayesovski pristup prirodniji jer ne uzima u obzir nepostojeće podatke.
U slučaju jednostranih hipoteza prethodno opisani Bayesovski pristup funckionira, ali ako bismo htjeli formalno testirati dvostranu hipotezu \(\theta \neq 0.5\) tada prethodno provedni izračun za BF ne funkcionira.
U tom slučaju koristimo vjerodostojne intervale kao alternativu. U konkretnom slučaju
\[\theta | \{X=85 \}\sim Beta(86, 116) \Rightarrow P(\theta \in \left[ 0.36, 0.49 \right] | X=85) \approx 0.95\] pa takvu hipotezu odbacujemo jer prethodni 0.05-vjerodostojni interval ne sadrži \(=0.5\).