1 Apriorna i posteriorna distribucija, vjerodostojnost
Neka je \(\mathbb{X}=(X_1, \dots X_n)\) slučajni uzorak iz parametarskog statističkog modela \(\mathcal{F}=\{F_{\theta}:\, \theta \in \Theta \}\). Označimo njegovu realizaciju (podatke) s \(\mathbb{x}=(x_1, \dots x_n)\) .
Obično pretpostavljamo da se radi o jednostavnom slučajnom uzorku pa tada za \(\mathbb{X} \sim f(\mathbb{x} | \theta)\) imamo: \[ f(\mathbb{x} | \theta)=\prod_{i=1}^{n}f(x_i |\theta), \] pri čemu je \(X_1 \sim f(x | \theta)\).
U Bayesovskoj paradigmi pretpostavljamo da parametar \(\theta\) nije fiksna veličina, već slučajna varijabla s funkcijom gustoće \(f(\theta)\).
Gustoća parametra \(\theta\) označava se \(f(\theta)\) i naziva se apriorna gustoća (eng. prior).
Gustoća parametra \(\theta\) uvjetno na \(\mathbb{X}=\mathbb{x}\) označava se \(f(\theta | \mathbb{x})\) i naziva se posteriorna gustoća (eng. posterior).
Funkciju \(\theta \mapsto f(\mathbb{x} | \theta)\), pri čemu \(\mathbb{x}=(x_1, \cdots, x_n)\) predstavlja podatke, zovemo vjerodostojnost (eng. likelihood).
Cilj nam je ažurirati početno znanje o parametru (koje karakteriziramo kroz apriornu distribuciju \(f(\theta)\)) temeljem podataka i doći do novog znanja o parametru (posteriorne distribucije \(f(\theta | \mathbb{x})\)).
Bayesova formula daje sljedeći odnos između definiranih funkcija:
\[ f(\theta | \mathbb{x})=\frac{f(\mathbb{x} | \theta) \cdot f(\theta)}{f(x)}=\frac{f(\mathbb{x} | \theta) \cdot f(\theta)}{\int_{\theta} f(\mathbb{x} | \theta) f(\theta) d\theta}. \tag{1.1}\]
Za funkcije \(f\) i \(g\) pišemo \(f \propto g\) ukoliko postoji \(c \in \mathbb{R}\) t.d. \(f(x)=c \cdot g(x), \forall x \in \mathbb{R}.\)
U tom kontekstu, možemo uočiti da formulu (Formula eq-1) možemo zapisati u obliku
\[ f(\theta | \mathbb{x})\propto f(\mathbb{x} | \theta) \cdot f(\theta) \] jer je nazivnik konstanta. Bayesovu paradigmu riječima često pojednostavljeno pišemo:
posteriorna gustoća \(\propto\) vjerodostojnost \(\cdot\) apriorna gustoća
(eng. posterior \(\propto\) likelihood \(\cdot\) prior).
U svrhu predikcije sljedeće realizacije \(x_{n+1}\) apriorno i posteriorno, odnosno bez uzimanja/uzimanjem u obzir postojećih podataka \((x_1, \dots, x_n)\) definiramo dva koncepta:
Funkciju \(f\) definiranu izrazom \[f(x)=\int_{\Theta}f(x|\theta)f(\theta)d\theta\] zovemo apriorna prediktivna gustoća.
Funkciju \(f\) definiranu izrazom \[f(x_{n+1} | x_1, \dots, x_n)=\int_{\Theta}f(x_{n+1}|\theta)f(\theta | x_1, \dots x_n)d\theta\] zovemo posteriorna prediktivna gustoća.
1.1 Zadaci
Zadatak 1.1 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{P}(\lambda), \lambda >0\) distribucije. Za sljedeće apriorne distribucije odredite pripadne posteriorne distribucije.
- \(~f(\lambda)=I_{\langle 0, \infty \rangle}(\lambda)\)
- \(~f(\lambda | \beta)=\beta e^{-\beta \lambda} I_{\langle 0, \infty \rangle}(\lambda)\)
- \(~f(\lambda | \alpha, \beta )=\frac{\beta^{\alpha}}{\Gamma(\alpha)}\lambda^{\alpha-1}e^{-\beta \lambda}I_{\langle 0, \infty \rangle}(\lambda)\)
- \(\lambda | \mathbb{x} \sim \Gamma\left(\sum\limits_{i=1}^n x_i +1, n\right)\)
- \(\lambda | \mathbb{x} \sim \Gamma\left(\sum\limits_{i=1}^n x_i +1, n+\beta\right)\)
- \(\lambda | \mathbb{x} \sim \Gamma\left(\sum\limits_{i=1}^n x_i +\alpha, n+\beta\right)\)
Zadatak 1.2 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{B}(m,\,\theta)\) distribucije, gdje je \(m \in \mathbb{N}\) poznata konstanta, a \(\theta \in \langle 0,1 \rangle\) parametar. Za sljedeće apriorne distribucije odredite pripadne posteriorne distribucije.
- \(~f(\theta)=I_{\langle 0, 1 \rangle}(\theta)\)
- \(~f(\theta) =I_{\{\theta=1/2\}}\)
- \(~f(\theta | \alpha, \beta )=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}\left(1-\theta\right)^{\beta-1}I_{\langle 0, 1 \rangle}(\theta)\)
- \(\theta | \mathbb{x} \sim Beta\left(\sum\limits_{i=1}^n x_i +1, mn-\sum\limits_{i=1}^n x_i+1\right)\)
- \(\theta | \mathbb{x} \sim \theta\), tj. \(\theta=1/2,\, g.s.\)
- \(\theta | \mathbb{x} \sim Beta\left(\sum\limits_{i=1}^n x_i +\alpha, mn-\sum\limits_{i=1}^n x_i+\beta\right)\)
Zadatak 1.3 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{Ber}(\theta)\) distribucije, \(\theta \in \langle 0,1 \rangle\) parametar. Za sljedeće apriorne distribucije odredite pripadne posteriorne distribucije.
- \(~f(\theta)=I_{\langle 0, 1 \rangle}(\theta)\)
- \(~f(\theta) =I_{\{\theta=1/2\}}\)
- \(~f(\theta | \alpha, \beta )=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}\left(1-\theta\right)^{\beta-1}I_{\langle 0, 1 \rangle}(\theta)\)
- \(\theta | \mathbb{x} \sim Beta\left(\sum\limits_{i=1}^n x_i +1, n-\sum\limits_{i=1}^n x_i+1\right)\)
- \(\theta | \mathbb{x} \sim \theta\), tj. \(\theta=1/2,\, g.s.\)
- \(\theta | \mathbb{x} \sim Beta\left(\sum\limits_{i=1}^n x_i +\alpha, n-\sum\limits_{i=1}^n x_i+\beta\right)\)
Zadatak 1.4 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{E}(\lambda)\) distribucije, \(\lambda>0\) parametar. Za sljedeće apriorne distribucije odredite pripadne posteriorne distribucije.
- \(~f(\lambda)=I_{\langle 0, \infty \rangle}(\lambda)\)
- \(~f(\lambda | \beta)=\beta e^{-\beta \lambda} I_{\langle 0, \infty \rangle}(\lambda)\)
- \(~f(\lambda | \alpha, \beta )=\frac{\beta^{\alpha}}{\Gamma(\alpha)}\lambda^{\alpha-1}e^{-\beta \lambda}I_{\langle 0, \infty \rangle}(\lambda)\)
- \(\lambda | \mathbb{x} \sim \Gamma\left(n+1, \sum\limits_{i=1}^n x_i\right)\)
- \(\lambda | \mathbb{x} \sim \Gamma\left(n+1, \beta+\sum\limits_{i=1}^n x_i \right)\)
- \(\lambda | \mathbb{x} \sim \Gamma\left(n+\alpha, \sum\limits_{i=1}^n x_i +\beta\right)\)
Zadatak 1.5 Neka je \(\mathbb{X}=(X_1, \dots X_n)\) j.s.u.\(~\) iz \(\mathcal{N}(\mu, \sigma^2)\) distribucije, gdje je \(\mu \in \mathbb{R}\) parametar, a \(\sigma^2>0\) poznata veličina. Uz apriornu distribuciju \(\mu \sim \mathcal{N}(\mu_0, \sigma^2_0), \mu_0 \in \mathbb{R},~ \sigma^2_0>0\) odredite posteriornu distribuciju.
\(\mu | \{\mathbb{X}=\left(x_1, x_2, \dots, x_n\right)\} \sim \mathcal{N}\left(\mu_n, \sigma^2_n\right),\) gdje je \[\mu_n=\frac{\frac{\mu_0}{\sigma^2_0}+\frac{n}{\sigma^2}\bar{x}_n}{\frac{1}{\sigma_0^2}+\frac{n}{\sigma^2}}, \quad \frac{1}{\sigma_n^2}=\frac{1}{\sigma_0^2}+\frac{n}{\sigma^2}.\]