2 Bayesov rizik i Bayesov procjenitelj
2.1 Bayesov rizik
U ovom poglavlju ilustriramo kako formalno uspoređivati frekvencionističke i Bayesovkse procjenitelje, odnosno koje statistike posteriorne distribucije ima smisla koristiti kao točkovne procjene.
Neka je \(T=t(X_1, \dots, X_n)\) procjenitelj parametra \(\theta\) i \(\mathbb{t}=t(x_1, \dots, x_n)\) njegova realizacija. Funkcija gubitka je bilo koja realna funkcija \(L: \Theta \times \Theta \mapsto \mathbb{R}\) t.d. je - \(L(t,\theta)\geq 0, \forall t, \forall \theta \in \Theta\) - \(L(t, \theta)=0 \iff \mathbb{t}=0.\)
Tipične funkcije gubitka su:
- kvadratni gubitak: \(L(t, \theta)=||t-\theta||^2\)
- apsolutna udaljenost: \(L(t, \theta)=||t-\theta||\)
Funkcija rizika je očekivani gubitak, tj. definiran je sljedećim izrazom \[R_T(\theta)=E_{\theta}\left[L(t,\theta)\right]\]
Ideja je težiti procjeniteljima koji imaju manji rizik. Pri tome, uz kvadratni rizik kažemo da se radi o MSE (eng. mean square error).
U konzervativnom pristupu tražimo procjenitelj koji ima najmanji maksimalni rizik, a definiramo ga na sljedeći način.
Procjenitelj \(T^{*}\) je minimax procjenitelj ako minimizira maksimalan rizik, tj. \[\sup_{\theta \in \Theta}R_{T^{*}}(\theta)\leq \sup_{\theta \in \Theta}R_{T}(\theta), \quad \forall T.\]
Kako bismo definirali procjenitelj u Bayesovskoj paradigmi, treba definirati mjeru koja kvantificira rizik po svim mogućim realizacijama parametra kao slučajne varijable.
Bayesov rizik procjenitelja \(T\), relativno u odnosu na funkciju rizika \(R_T(\theta)\) i apriornu gustoću \(f(\theta)\), je očekivani rizik u odnosu na \(f(\theta)\), tj.: \[A_T=\int_{\Theta}R_T(\theta)f(\theta)d\theta.\]
Iz definicije Bayesovog rizika \(A_T\) slijedi da je on zapravo jednak srednjoj vrijednosti rizika po apriornoj gustoći, tj. \(E_f[R_T(\theta)].\)
2.2 Bayesov procjenitelj
Ideja je pronaći onaj procjenitelj koji ima najmanji Bayesov rizik.
Bayesov procjenitelj \(T\), relativno u odnosu na funkciju rizika \(R_T(\theta)\) i apriornu gustoću \(f(\theta)\), je procjenitelj s najmanjim Bayesovim rizikom, tj. za svaki drugi procjenitelj \(T\) vrijedi: očekivani rizik u odnosu na \(f(\theta)\), tj.: \[\int_{\Theta}R_{T^{*}}(\theta)f(\theta)d\theta \leq \int_{\Theta}R_T(\theta)f(\theta)d\theta, \quad \forall T.\]
Sljedeći rezultat nam daje ideju kako odrediti Bayesov procjenitelj.
Teorem 2.1 Ako procjenitelj \(T=t(\mathbb{X})\) za svaki \(\mathbb{X}=\mathbb{x}\) minimizira očekivani posteriorni gubitak \[\int_{\Theta}L(t(\mathbb{x}),\theta)f(\theta | \mathbb{x})d\theta\] tada \(T\) minimizira i Bayesov rizik \(A_T\).
Sljedeća dva teorema identificiraju kada ima smisla koristiti očekivanje i medijan posteriorne distribucije kao procjene.
Teorem 2.2 Bayesov procjenitelj \(T\) za parametar \(\theta\), relativno u odnosu na kvadratni rizik \(\left(L(a,b)=||a-b||^2\right)\) i apriornu gustoću \(f(\theta)\), je \(T=E[\theta | \mathbb{X}]\)
Teorem 2.3 Bayesov procjenitelj \(T\) za parametar \(\theta\), relativno u odnosu na apsolutni rizik \(\left(L(a,b)=||a-b||\right)\) i apriornu gustoću \(f(\theta)\), je \(T=medijan[\theta | \mathbb{X}]\)
Sljedeći rezultat nam kaže kada će Bayesov procjenitelj biti ujedno (frekvencionistički) minimax procjenitelj.
Teorem 2.4 Neka je \(T^{*}\) Bayesov procjenitelj uz danu funkciju rizika \(R_T(\theta)\) i neka ima konstantnu funkciju rizika, tj. \(R_{T^{*}}(\theta)=c,\, \forall \theta \in \Theta\). Tada je \(T^{*}\) minimax procjenitelj u odnosu na tu funkciju rizika.
2.3 Zadaci
Zadatak 2.1 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{P}(\lambda), \lambda >0\) distribucije te neka je pripadna apriorna gustoća \(~f(\lambda | \alpha, \beta )=\frac{\beta^{\alpha}}{\Gamma(\alpha)}\lambda^{\alpha-1}e^{-\beta \lambda}I_{\langle 0, \infty \rangle}(\lambda), \alpha>0, \beta >0.\)
- Odredite apriornu prediktivnu distribuciju
- Odredite posteriornu prediktivnu distribuciju
- Odredite Bayesov procjenitelj i pripadni Bayesov rizik uz funkciju gubitka \(L(t, \lambda)=\left(t-\lambda\right)^2\).
- Odredite Bayesov procjenitelj uz funkciju gubitka \(L(t, \lambda)=\left|t-\lambda\right|\).
Zadatak 2.2 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{P}(\lambda), \lambda >0\) distribucije te neka je pripadna apriorna gustoća \(~f(\lambda | \alpha, \beta )=\frac{\beta^{\alpha}}{\Gamma(\alpha)}\lambda^{\alpha-1}e^{-\beta \lambda}I_{\langle 0, \infty \rangle}(\lambda), \alpha>0, \beta >0.\) Neka je dana kvadratna greška i dva procjenitelja nepoznatog parametra \(\lambda\): \[T_1 = \frac{n \bar{X}_n + \alpha}{n+\beta}, \quad T_2=\bar{X}_n.\]
- Pokažite da se procjenitelj \(T_1\) može zapisati kao težinska sredina prosjeka slučajnog uzorka i apriornog očekivanja. Komentirajte dobiveni rezultat.
- Izračunajte (Bayesove) rizike predloženih procjenitelja te ih usporedite. Komentirajte.
Zadatak 2.3 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{B}(m,\,\theta)\) distribucije, gdje je \(m \in \mathbb{N}\) poznata konstanta, a \(\theta \in \langle 0,1 \rangle\) parametar. Uz zadanu apriornu gustoću \(~f(\theta | \alpha, \beta )=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}\left(1-\theta\right)^{\beta-1}I_{\langle 0, 1 \rangle}(\theta)\) odredite:
- apriornu prediktivnu distribuciju
- posteriornu prediktivnu distribuciju
- Bayesov procjenitelj i pripadni Bayesov rizik uz funkciju gubitka \(L(t, \theta)=\left(t-\theta\right)^2\).
- Bayesov procjenitelj i pripadni Bayesov rizik uz funkciju gubitka \(L(t, \theta)=\frac{\left(t-\theta\right)^2}{\theta^{\alpha} \left(1-\theta\right)^{\beta}}\). Postoji li bolji procjenitelj prema kriteriju manjeg maksimalnog gubitka? Za koje vrijednosti parametara \(\alpha\) i \(\beta\) postoji minimax procjenitelj?
Zadatak 2.4 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{B}(m,\,\theta)\) distribucije, gdje je \(m \in \mathbb{N}\) poznata konstanta, a \(\theta \in \langle 0,1 \rangle\) parametar. Uz pripadnu apriornu gustoću \(~f(\theta | \alpha, \beta )=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}\left(1-\theta\right)^{\beta-1}I_{\langle 0, 1 \rangle}(\theta)\) i kvadratnu grešku dani su sljedeći procjenitelji nepoznatog parametra \(\theta\): \[T_1 = \frac{n \bar{X}_n + \alpha}{nm+\alpha+\beta}, \quad T_2=\frac{\bar{X}_n}{m}.\]
- Pokažite da se procjenitelj \(T_1\) može zapisati kao težinska sredina \(T_2\) i apriornog očekivanja. Komentirajte dobiveni rezultat.
- Izračunajte (Bayesove) rizike predloženih procjenitelja te ih usporedite. Komentirajte.