Homework tasks 1, 2

1.md

@@ -0,0 +1,136 @@
+---
+papersize: a4
+fontsize: 14pt
+geometry: margin=20mm
+header-includes:
+  - \usepackage{fontspec}
+  - \usepackage{unicode-math}
+  - \setmainfont{DejaVu Serif}
+---
+
+# I. Построение алгоритма обнаружителя
+
+$$
+w(x_1, \dots, x_n | H_0) = \begin{cases}
+    \prod_{i=1}^{n} \frac{1}{\mu} e^{-\frac{x_i}{\mu}}, & x_i \ge 0, \quad i = \overline{1 \dots n} \\
+    0, & \exists i: x_i < 0
+\end{cases}
+$$
+
+$$
+w(x_1, \dots, x_n | H_1) = \begin{cases}
+    \prod_{i=1}^{n} \frac{1}{\mu} e^{-\frac{x_i-u}{\mu}}, & x_i \ge u, \quad i = \overline{1 \dots n} \\
+    0, & \exists i: x_i < u
+\end{cases}
+$$
+
+$$
+L = \dfrac{w(x_1, \dots, x_n | H_1)}{w(x_1, \dots, x_n | H_0)} \gtrless^{H_1^*}_{H_0^*} L_{\text{пор}}
+$$
+
+$$
+L = \begin{cases}
+    \dfrac{0}{0}, & \exists i: x_i < 0 \\
+    \dfrac{0}{\prod_{i=1}^{n} \frac{1}{\mu} e^{-\frac{x_i}{\mu}}}, & (x_i \ge 0, \quad i = \overline{1 \dots n}) \cap (\exists i: x_i < u) \\
+    \dfrac{\prod_{i=1}^{n} \frac{1}{\mu} e^{-\frac{x_i-u}{\mu})}}{\prod_{i=1}^{n} \frac{1}{\mu} e^{-\frac{x_i}{\mu}}}, & x_i \ge u, \quad i = \overline{1 \dots n}
+\end{cases}
+$$
+
+$$
+\tag{1}
+L = \begin{cases}
+    \textrm{undefined}, & \exists i: x_i < 0 \\
+    0, & (x_i \ge 0, \quad i = \overline{1 \dots n}) \cap (\exists i: x_i < u) \\
+    e^{n \frac{u}{\mu}}, & x_i \ge u, \quad i = \overline{1 \dots n}
+\end{cases}
+$$
+
+# II. Нахождение теоретических кривых обнаружения
+
+Вероятность ложной тревоги:
+
+$$\alpha = P(H_1^* | H_0) = P(L > L_{\text{пор}} | H_0)$$
+
+1. $L_{\text{пор}} \in [0, e^{n \frac{u}{\mu}})$
+
+$$\alpha = P(x_i \ge u, \quad i = \overline{1 \dots n} | H_0) = \prod_{i=1}^n P(x_i \ge u | H_0)$$
+
+$$P(x_i \ge u | H_0) = 1 - P(x_i < u | H_0) = 1 - F_{\exp}(u) = 1 - (1 - e^{-\frac{u}{\mu}}) = e^{- \frac{u}{\mu}}$$
+
+$$
+\tag{2}
+\alpha = \prod_{i=1}^n e^{-\frac{u}{\mu}} = e^{-n \frac{u}{\mu}}
+$$
+
+2. $L_{\text{пор}} < 0$
+
+$$\alpha = P((x_i \ge 0, \quad i = \overline{1 \dots n}) \cap (\exists i: x_i < u) | H_0) + P(x_i \ge u, \quad i = \overline{1 \dots n} | H_0)$$
+
+$$P((x_i \ge 0, \quad i = \overline{1 \dots n}) \cap (\exists i: x_i < u) | H_0) = \prod_{i=1}^n P(x_i \ge 0 | H_0) \cdot \left[ 1 - \prod_{i=1}^n P(x_i \ge u | H_0) \right]$$
+
+$$P(x_i \ge 0 | H_0) = 1 - F_{\exp}(0) = 1$$
+
+$$\alpha = 1$$
+
+<div style="page-break-after: always; visibility: hidden"> 
+\pagebreak 
+</div>
+
+3. $L_{\text{пор}} \ge e^{n \frac{u}{\mu}}$
+
+$$\alpha = 0$$
+
+Вероятность правильного обнаружения
+
+$$D = P(H_1^* | H_1) = P(L > L_{\text{пор}} | H_1)$$
+
+1. $L_{\text{пор}} \in [0, e^{n \frac{u}{\mu}})$
+
+$$D = P(x_i \ge u, \quad i = \overline{1 \dots n} | H_1) = \prod_{i=1}^n P(x_i \ge u | H_1)$$
+
+$$P(x_i \ge u|H_1) = 1 - P(x_i < u | H_1) = 1 - F_{\exp}(0) = 1$$
+
+$$D = 1$$
+
+2. $L_{\text{пор}} < 0$
+
+$$D = P((x_i \ge 0, \quad i = \overline{1 \dots n}) \cap (\exists i: x_i < u) | H_1) + P(x_i \ge u, \quad i = \overline{1 \dots n} | H_1)$$
+
+$$P((x_i \ge 0, \quad i = \overline{1 \dots n}) \cap (\exists i: x_i < u) | H_1) = \prod_{i=1}^n P(x_i \ge 0 | H_1) \cdot \left[ 1 - \prod_{i=1}^n P(x_i \ge u | H_1) \right]$$
+
+$$P(x_i \ge 0 | H_1) = 1$$
+
+$$D = 1 \cdot (1 - 1) + 1 = 1$$
+
+3. $L_{\text{пор}} \ge e^{n \frac{u}{\mu}}$
+
+$$D = 0$$
+
+Зависимость вероятности правильного обнаружения от вероятности ложной тревоги:
+
+$$
+\tag{3}
+D = \begin{cases}
+    1, & \alpha > 0 \\
+    0, & \alpha = 0
+\end{cases}
+$$
+
+# III. Экспериментальные кривые обнаружения
+
+В нотбуке `1.ipynb` выполняется моделирование полученного алгоритма обнаружения. Результаты также приводятся ниже:
+
+Кривые обнаружения соответствуют теории (3). Распределение экспериментальных значений вероятности ложной тревоги при линейном изменении отношения $\frac{u}{\mu}$ соответствует закону их взаимозависимости (2).
+
+![](./pics/aD_5.png)
+![](./pics/aD_15.png)
+
+Зависимость вероятности правильного обнаружения от отношения уровня сигнала к масштабному коэффициенту распределения шума равна 1 всюду кромее "отсечки" в 0 при низких соотношениях сигнал/шум, когда $L_{\text{пор}}$ оказывается выше $e^{n \frac{u}{\mu}}$
+
+![](./pics/umu_D_5.png)
+![](./pics/umu_D_15.png)
+
+Вероятность ложной тревоги также отсекается в 0 при больших $L_{\text{пор}}$. 
+
+![](./pics/umu_alpha_5.png)
+![](./pics/umu_alpha_15.png)

2.md

@@ -0,0 +1,114 @@
+---
+papersize: a4
+fontsize: 14pt
+geometry: margin=20mm
+header-includes:
+  - \usepackage{fontspec}
+  - \usepackage{unicode-math}
+  - \setmainfont{DejaVu Serif}
+---
+
+Детерминированый сигнал:
+
+$$s = \{ s_1, \dots, s_n \}$$
+
+Аддитивный белый Гауссовский шум $n_\text{ш}$:
+
+$$
+\mu = 0; \quad
+K = \left[ \begin{matrix}
+    \sigma^2 & 0 & \cdots & 0 \\
+    0 & 2\sigma^2 & \cdots & 0 \\
+    \vdots & \vdots & \ddots & \vdots \\
+    0 & 0 & \cdots & n \sigma^2
+\end{matrix} \right]
+$$
+
+Гипотезы:
+$$\begin{cases} H_0: & x = n_\text{ш} \\ H_1: & x = n_\text{ш} + s\end{cases}$$
+
+Плотности распределения:
+
+$$w(x_1, \dots, x_n | H_0) = \prod_{i=1}^n w(x_i | H_0) = \prod_{i=1}^n \dfrac{1}{\sqrt{2 \pi \sigma^2 i}} \exp \left\{ -\dfrac{x_i^2}{2 \sigma^2 i} \right\}$$
+
+$$w(x_1, \dots, x_n | H_1) = \prod_{i=1}^n w(x_i | H_1) = \prod_{i=1}^n \dfrac{1}{\sqrt{2 \pi \sigma^2 i}} \exp \left\{ -\dfrac{(x_i - s_i)^2}{2 \sigma^2 i} \right\}$$
+
+Соотношение неопределённости:
+
+$$L = \dfrac{w(x_1, \dots, x_n | H_1)}{w(x_1, \dots, x_n | H_0)} \gtrless^{H_1^*}_{H_0^*} L_{\text{пор}}$$
+
+$$L = \prod_{i=1}^{n} \exp \left\{ - \dfrac{(x_i-s_i)^2 - x_i^2}{2 \sigma^2 i} \right\} = \prod_{i=1}^n \exp \left\{ - \dfrac{s_i^2 - 2 x_i s_i }{2 \sigma^2 i}  \right\}$$
+
+$$ \ln L = \sum_{i=1}^n \left[ \dfrac{2 x_i s_i}{2 \sigma^2 i} - \dfrac{s_i^2}{2 \sigma^2 i} \right] \gtrless^{H_1^*}_{H_0^*} Z_{\text{пор}}$$
+
+Вероятность ложной тревоги:
+
+$$\alpha = P(H_1^* | H_0) = P(Z > Z_{\text{пор}} | H_0) = \int_{Z_{\text{пор}}}^{\infty} w(Z|H_0) dZ$$
+
+Плотность вероятности $Z$ как линейной комбинации отсчётов $x_i$:
+
+$$ w(x_i) = \mathcal{N}(\overline x_i, \sigma^2 i); \quad Z = \mathscr{L}[x_1, \dots, x_n] \Rightarrow w(Z) = \mathcal{N}(\overline Z, \sigma_Z^2)$$
+
+Математическое ожидание:
+
+$$\overline{x_i} = \begin{cases} 0, & H_0 \\ s_i, & H_1\end{cases}$$
+
+$$ \overline Z = \overline{\sum_{i = 1}^n \dfrac{x_i s_i}{\sigma^2 i} - \sum_{i = 1}^n \dfrac{s_i^2}{2 \sigma^2 i}} = \sum_{i = 1}^n \dfrac{ \overline{x_i} s_i}{\sigma^2 i} - \sum_{i = 1}^n \dfrac{s_i^2}{2 \sigma^2 i} = \begin{cases} 0 - C, & H_0 \\ 2C - C, & H_1 \end{cases} = \begin{cases} -C, &H_0 \\ C, & H_1\end{cases}$$
+
+$$C = \sum_{i = 1}^n \dfrac{s_i^2}{2 \sigma^2 i}$$
+
+Дисперсия:
+
+$$ i \ne j \Rightarrow ~\mathcal{D}[x_i + x_j] = \mathcal{D}[x_i] + \mathcal{D}[x_j] + 2 \mathrm{cov}[x_i,x_j] = \sigma^2 i + \sigma^2 j$$
+
+$$\sigma_Z^2 = \mathcal{D} \left[ \sum_{i = 1}^n \dfrac{x_i s_i}{\sigma^2 i} - \sum_{i = 1}^n \dfrac{s_i^2}{2 \sigma^2 i} \right] = \sum_{i=1}^n \mathcal{D}\left[ x_i \right] \dfrac{s_i^2}{\sigma^4 i^2} = \sum_{i=1}^n \dfrac{s_i^2}{\sigma^2 i} = 2C$$
+
+Плотность распределения при отсутствии сигнала:
+
+$$w(Z|H_0) = \mathcal{N}(-C, 2C)$$
+
+Выражение порога через выбранную вероятность ложной тревоги $\alpha = \mathrm{const}$:
+
+$$\alpha = \int_{Z_{\text{пор}}}^\infty \dfrac{1}{\sqrt{2 \pi \cdot 2 C}} \exp \left\{ - \dfrac{(Z + C)^2}{2 \cdot 2C} \right\} dZ = 1 - \Phi \left( \dfrac{Z_{\text{пор}} + C}{\sqrt{2C}} \right)$$
+
+$$Z_{\text{пор}} = \sqrt{2C} \Phi^{-1}(1 - \alpha) - \sqrt\frac{C}{2}$$
+
+$$w(Z|H_1) = \mathcal{N}(C, 2C)$$
+
+Вероятность пропуска:
+
+$$\beta = P(H_0^* | H_1) = P(Z < Z_{\text{пор}} | H_1) = \Phi \left( \dfrac{Z_{\text{пор}} - C}{\sqrt{2C}} \right)$$
+
+Так как функция Лапласа $\Phi(x)$ неубывающая:
+
+$$\min \beta \rightarrow \min \dfrac{Z_{\text{пор}} - C}{\sqrt{2C}} = \min \left[\Phi^{-1}(1 - \alpha) - \frac{1}{2}  - \sqrt\dfrac{C}{2} \right] \Rightarrow \max C$$
+
+Максимизация $C$ методом неопределённых множителей Лагранжа:
+
+$$\max \sum_{i=1}^n \dfrac{s_i^2}{2 \sigma^2 i}; \quad \sum_{i=1}^n s_i = 1$$
+
+Лагранжиан:
+
+$$\mathcal{L}(s_1, \dots, s_n, \lambda) = \sum_{i=1}^n \dfrac{s_i^2}{2 \sigma^2 i} + \lambda \left( \sum_{i=1}^n s_i - 1 \right)$$
+
+Частные производные приравниваются к 0 $\Rightarrow$ выражение для $s_i$:
+
+$$\dfrac{\partial \mathcal{L}}{\partial s_i} = \dfrac{s_i}{\sigma^2 i} + \lambda = 0 \Rightarrow s_i = -\lambda \sigma^2 i$$
+
+Выражение $\lambda$:
+
+$$\sum_{i=1}^n (-\lambda \sigma^2 i) = -\lambda \sigma^2 \sum_{i=1}^n i = -\lambda \sigma^2 \cdot n\dfrac{n+1}{2} = 1$$
+
+$$\lambda = - \dfrac{2}{\sigma^2 n (n+1)}$$
+
+Подстановка в $s_i$:
+
+$$s_i = \dfrac{2 i}{n(n+1)}$$
+
+Максимальное C:
+
+$$C = \sum_{i=1}^n \left(\dfrac{2 i}{n(n+1)} \right)^2 \dfrac{1}{2 \sigma^2 i} = \dfrac{2}{\sigma^2 n^2(n-1)^2} \cdot n\dfrac{n-1}{2} = \dfrac{1}{\sigma^2 n (n-1)}$$
+
+Минимальная вероятность пропуска:
+
+$$\min \beta = \Phi \left( \Phi^{-1}(1-\alpha) - \dfrac{1}{2} - \dfrac{1}{\sigma \sqrt{n(n-1)}} \right)$$