4 Дискретные случайные переменные

Случайные переменные

У нас есть группа студентов, обозначим их для удобства буквами, \(\Omega = \{a, b, c, ..\}\)
Случайное событие - выбираем случайного студента и фиксируем его рост
Например, был выбран студент \(a\) с ростом \(h_a = 182\) (см)
В другой раз мог бы быть выбран студент \(c\) с ростом \(h_c = 150\)
Рост каждого студента это некое число \(h\). Но рост случайного студента - это случайная переменная, \(H\)

Случайные переменные

\(H\) - это объект, чье значение определено как только мы знаем результат случайного события (т.е. студента, который был выбран)
В этом смыле, \(H\) является функцией случайного события: \(H: \Omega \rightarrow H(\omega) = h\)
Случайная переменная “дает” численное значение результату случайного события

Когда мы работаем со случайными переменными, нам нужен какой-нибудь механизм по которому будет распределяться вероятность. Для дискретных переменных, таким механизмом является PMF (Probability Mass Function). PMF это способ сказать, с какой вероятностью случится каждое возможное значение дискретной случайной величины.

Самый простой пример:

Представь, что мы подбрасываем игральную кость. Возможные результаты – 1, 2, 3, 4, 5 или 6.

PMF говорит нам, что вероятность каждого из этих чисел – 1/6, если кость честная.

Можно представить PMF как таблицу:

Или график, где высота каждого столбика показывает вероятность.
Значение (x)	1	2	3	4	5	6
P(X = x)	1/6	1/6	1/6	1/6	1/6	1/6

Главное:

PMF используется для дискретных значений (то есть, тех, что можно перечислить).
Сумма всех вероятностей всегда равна 1.
Чем больше вероятность у какого-то значения, тем чаще оно встречается в большом количестве наблюдений.

Другие примеры дискретных случайных переменных и их PMF

Мы бросили монетку 3 раза
Типичный элемент Пространства Исходов, \(\Omega\), выглядит как \(\omega = HHT\)
Теперь введем переменную \(X\) - сколько раз выпал “орел”
\(X\) может принимать значения от \(0\) до \(3\). Например, \(X(HHT) = 2\)
Случайная переменная обозначается заглавной буквой, например \(X\), ее значения, строчной - \(x\)
\(X = x\) значит, что переменная \(X\) приняла значение \(x\)

Функция Случайной Переменной

Любая функция случайной переменной, сама является случайной переменной
Например, \(X\) - бросок кубика, \(Y = X^2\) - результат этого же броска в квадрате, тоже случайная переменная
Другие, примеры \(H\) - рост случайного человека, \(W\) - вес случайного человека, \(U = W/H^2\) - индекс массы тела, случайного человека, тоже случайная переменная

Probability mass function (PMF) дискретной переменной

PMF of \(X\) - это просто распределение вероятности по значением \(X\)
Например, у нас три студента \(\{a, b, c\}\) и случайная переменная \(X\) , которая дает нам рост случайного студента. Допустим, \(x_a = 153, x_b = 175, x_c = 175\)
Вероятность \(P(X = 153) = 1/3\), а вероятность \(P(X = 175) = 2/3\)
PMF - это функция, которая для любого \(x\) дает вероятность \(P(X = x)\)
Формально, \(p_X(*): X \rightarrow [0,1]\)
PMF записывается как \(p_X(x) = P(X = x)\)

PMF дискретной переменной

Случайное событие: два броска шестигранного кубика (2d6) \(X\) - первый бросок, \(Y\) - второй бросок
Каждый исход равновероятен
- например, \(P(X = 1, Y = 2) = 1/36\)
Введем новую переменную \(Z = X + Y\), найдем \(p_Z(z)\) для всех \(z\)
\(z \in \{2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12\}\)
фиксируем \(z\):
- выбираем все пары \(x, y\) для которых \(z = x + y\)
- складываем соответствующией вероятности \(P(X = x, Y = y)\)
- Например, \(p_Z(2) = P(Z = 2) = 1/36\), \(p_Z(3) = P(Z = 3) = 2/36\), …

PMF дискретной переменной

Задать случайное распределение

Задать распределение = задать случайную переменную = задать PMF (!!!)
Это все синонимы

Примеры

Лотерея и азартные игры (PMF)

Допустим, вы играете в лотерею. Если бы у вас было PMF для возможных выгрышей в лотерее, вы бы могли расчитать вероятность выигрыша определённой суммы. Например, если в лотерее можно выиграть 0, 1000 или 10 000 тенге, то зная PMF вы бы могли ответить на вопрос каков шанс выиграть 1000 или больше тенге.
Оценки на экзамене (PMF)

Допустим в группе 100 студентов, и оценки распределены дискретно (например, A, B, C, D, F), можно построить PMF, чтобы показать, какая доля студентов получила ту или иную оценку.

Распространенные дискретные распределения

Бернулли

Распределение Бернулли моделирует ситуацию, в которой у вас одно испытание и некое событие может произойти с вероятностью \(p\)
- Задается одним параметром: \(p \in [0,1]\)
Чисто формально, на языке PMF записывается как:

\[\begin{align*} p_X(0) = 1-p \\ p_X(1) = p \end{align*}\]

Равномерное Распределение

Случайное событие: возьмем случайное целое число из интервала \([a, b]\)
Параметры: \(a, b \in Z\)
Пространство исходов: \(\{a, a+1, ..., b\}\), \(|\Omega| = b-a+1\)
Случайная переменная \(X: X(\omega) = \omega\)
\(p_X(x) = \frac{1}{b-a+1}, \forall x\)
Модель максимальной неопределенности (незнания)
- e.g. мы знаем возможные исходы, но ничего об их вероятности
Обозначается: \(X \sim U[a,b]\)

Биноминальное распределение

Событие: \(n\) бросков монетки, где \(P(Орел) = p\)
Пространство исходов: последовательности “орлов” или “решек” длинной \(n\)
- n = 3: \(\omega = ООР\) or = \(ОРО\)
- n = 10: \(\omega = РРООРООООР\)
Случайная переменная \(X\): число “орлов” в последовательности
- if \(\omega = ООР, X(\omega) = 2\)
- if \(\omega = РРР, X(\omega) = 0\)
Параметры:
- \(n \in Z^+; p \in [0,1]\)

Биномиальное распределение

Модель числа “успехов” в последовательности идентичных и независимых испытаний

\[ p_X(2) = P(X = 2) = \\ P(ООР) + P(ОРО) + P(РОО) = \\ 3p^2(1-p) = \binom 3 2 p^2(1-p) \]

Биномиальное распределение

Общий вид

\[ p_X(k) = \binom n k p^k(1-p)^{n-k}, \forall k = 0, 1, ..,n \]

Биномиальные коэффициенты

\(p_X(k) = \binom n k p^k(1-p)^{n-k}\)
Что такое \(\binom n k\)?
- число способов выбрать \(k\) элементов из \(n\) элементов

\[ \binom n k = \frac{n!}{(n-k)!k!} \]

Например, сколько есть способов выбрать 2 элемента из 3?

\[ \binom 3 2 = \frac{3!}{(3-2)!2!} = \frac{3*2*1}{1*2*1} = 3 \]

Почему биномиальные?

Также появляеются в разложении “бинома” (отсюда и название)

\[ (x + y)^n = \binom n 0x^ny^0 + \binom n 1x^{n-1}y^1 + \dots + \binom{n}{n-1}x^1y^{n-1} + \binom{n}{n}x^0y^{n} \\ (x + y)^n = \sum_{k=0}^{n}\binom{n}{k}x^ny^{n-k} \\ e.g. (x+y)^3 = \binom 3 0x^3y^0 + \binom 3 1x^2y^1 + \binom 3 2x^1y^2 + \binom 3 3x^0y^3\\ (x+y)^3 = x^3 + 3x^2y + 3xy^2 + y^3 \\ \textrm{special case, when }x=1, y=1 : \\ 2^n = \sum_{k=0}^{n}\binom{n}{k} \]

Ожидание (Expectation) дискретной С.П.

Пример: пусть \(X\) обозначает число чашек кофе, которое я выпиваю в случайный день. Зададим распределение.

Количество чашек кофе (X) 1 2 3

Вероятность \(p_X(*)\) 3/10 6/10 1/10

Ну или в другой записи,
- \(p_X(1) = P(X = 1) = 3/10\)
- \(p_X(2) = P(X = 2) = 6/10\)
- \(p_X(3) = P(X = 3) = 1/10\)

Ожидание (Expectation) дискретной С.П.

Сколько чашек кофе я выпью в среднем за 100 дней?

\[ \textrm{Среднее число чашек } = \frac{1*30 + 2*60 + 3*10}{100} = 1.8 \\ \textrm{или} \\ \textrm{Среднее число чашек } = 1*\frac{3}{10} + 2*\frac{6}{10} + 3*\frac{1}{10} = 1.8 \]

Определение:

\[ E[X] = \sum_{x}xp_X(x) \]

Интерпретация: Среднее значение переменной в большом числе испытаний

Ожидание как популяционное среднее

Допустим у нас \(n\) студентов
Рост \(i\)-го студента: \(h_i\)
Событие: выбираем случайного студента, все исходы равновероятны
Случайная Переменная \(H\): рост случайного студента
- для простоты условимся, что все \(h_i\) уникальны

\[\begin{align*} p_H(h_i) &= \frac{1}{n} \\ E[G] &= \sum_hh_ip_H(h_i) = \sum_hh_i\frac{1}{n} \\ &=\frac{\sum_{h}h_i}{n} \end{align*}\]

Ожидание, \(E[H]\), случайно взятого студента равно среднему по популяции
- Именно поэтому важна случайная, равновероятная выборка!!

Свойства Ожидания

Если \(c\) константа, \(E[c] = c\)
\(E[X + Y] = E[X] + E[Y]\)
if \(Y = g(X)\) then \(E[Y] = E[g(X)]\)

Пример, ожидание Биномиальной Переменной:

\[\begin{align*} X \sim Bi(n, p) \textrm{ : X is a binomial r.v. with params n and p} \\ \textrm{brute force way: } E[X] = \sum_{k=0}^{n}k\binom{n}{k}p^n(1-p)^{n-k} \\ \textrm{smart way}: X = Y_1 + Y_2 + \dots + Y_n, \textrm{where } Y_i \sim Be(p) \\ E[X] = E[Y_1 + \dots +Y_n]=E[Y_1] + \dots + E[Y_n] = p + \dots + p = np \\ E[X] = np \end{align*}\]

Пример с кошкой

Есть кошка, которая кусает хозяина по утрам. Шанс 10% для каждого утра.
Как много раз кошка укусит за год
- \(E[X] = 364(n)*0.1(p) = 36.4\)

Отклонение от среднего Случайной Переменной

Ожидание дает нам представление о центре распределения
А что может дать нам информацию о “разбросе” распределения?
Например, есть \(X\), с ожиданием \(E[X] = \mu\)

Дисперсия (Variance) Случайной Переменной

Дисперсия (Variance) \(X\), определение

\[ var(X) = E[(X - \mu)^2] \geq 0 \\ \]

Свойства

\[\begin{align*} var(X) &= E[X^2 - 2X\mu + \mu^2] = E[X^2] - E[2X\mu] + E[\mu^2] \\ &= E[X^2] - 2\mu E[X] + \mu^2 = E[X^2] - 2\mu^2 + \mu^2 \\ &= E[X^2] - \mu^2 \textrm{ (or) } \\ &= E[X^2] - (E[X])^2 \end{align*}\]

Стандартное отклонение

\[ \sigma_X = \sqrt{var(X)} \]

Дисперсия (Variation) of Bernoulli RV

Bernoulli: \(X \sim Be(p)\)
- notice that \(X^2 = X\), these two take the same values \(0, 1\) with the same probabilities

\[ var(X) = E[X^2] - (E[X])^2 = E[X] - (E[X])^2 = p - p^2 = p(1-p) \]

Дисперсия (Variation) of Uniform RV

Uniform: \(Y \sim U[0, n]\), (special case)
- \(E[Y] = \frac{n}{2}, p_Y(y) = \frac{1}{n+1}\)

\[\begin{align*} var(Y) &= E[Y^2] - (E[Y])^2 \\ &= \frac{1}{n+1}(0^2+1^2+\dots+n^2) - \frac{n^2}{4} = \\ &= \textrm{ some dark algebra happens, and ..} \\ &= \frac{1}{12}n(n+2) \end{align*}\]

Равномерная С.П.: \(Z \sim Uni(a, b)\), (общий случай)
- Заметим, что \(Z = Y + a, n = b - a\)
- \(Var(Y + a) = Var(Y)\)

\[var(Z) = \frac{1}{12}(b-a)(b-a+2)\]