3  Элементы теории вероятности

Будем бросать монетки

И кубики

Интуитивно вероятность - простая.

• Каков шанс “выбросить” 1 на шестигранном кубике?
• Каков шанс выбросить 1 или 2?
• Каков шанс выбросить 1, 2, 3, 4, 5, или 6?
• Каков шанс выбросить 7?
• Каков шансы выбросить не 2?
• При броске двух кубиков. Каков шанс выбросить две 1?

Ответы:

• Каков шанс “выбросить” 1 на шестигранном кубике? Ответ: \(1/6\)
• Каков шанс выбросить 1 или 2? Ответ: \(1/3\)
• Каков шанс выбросить 1, 2, 3, 4, 5, или 6? Ответ: \(1\)
• Каков шанс выбросить 7? Ответ: \(0\)
• Каков шансы выбросить не 2? Ответ: \(5/6\)
• При броске двух кубиков. Каков шанс выбросить две 1? Ответ: \(1/36\)

Вероятность

Вероятность - это здравый смысл, сведенный к исчислению (Лаплас)

Случайное событие

• Кайрат каждый день заходит в кафе за кофе. Иногда ему приходится стоять в очереди. Число людей в очереди — пример случайного события. Их может быть 0, 1, 2, 3 и т.д.
• Случайное событие (random phenomenon) - это любая ситуация в которой некий результат может произойти, но мы не знаем наверняка какой именно
• Теория вероятности дает математическое описание случайных событий (бросков монеты, бросков кубика, роста случайно взятого человека и т.п.)

Вероятностная модель

• Вероятностная модель — это математическое описание случайного события. Состоит из трех основных элементов:
• (1) Случайное событие
  • Результат случайного события называется наблюдением (observation) или испытанием (trial). “Мы бросили монетку два раза” = “У нас два наблюдения/испытания”
• Множество возможных результатов случайного события или (2) Пространство Исходов (Sample Space или Support). Обозначается \(\Omega\).
• Некое правило котрое каждому исходу назначает вероятность - (3) Распределение вероятности

Вероятностная модель

Случайное событие

• Случайное событие - это любой процесс со случайным результатом
• Например, бросок монетки или кубика
• Случайно взятый ИИН из базы физических лиц
• Бросок дротика в мишень и т.п.

Случайное событие

• Всякий раз, когда мы наблюдаем случайное событие, мы фиксируем результат.
• Результат наблюдения называется случайной переменной (random variable). Случайные переменные обозначаются заглавными латинскими буквами, e.g. \(X\) или \(Y\)
• Например, \(X\) может обозначать результат броска монеты, а \(Y\) результат броска кубика.
• \(U\) может обозначать число ДТП в Астане в случайно выбранный день.
• \(X\) и \(Y\) могут быть координатами броска дротика в квадратную мишень

Пространство Исходов (Sample Space или Support)

• Все возможные значения, которые случайная переменная может принять, называется Пространство Исходов (Sample Space). Обозначается \(\Omega\)
• Для броска монеты: \(\Omega = \{Орел, Решка\}\). Или
  • \(X \in \{Орел, Решка\}\)
• Для кубика: \(\Omega = \{1, 2, 3, 4, 5, 6\}\)
  • \(Y \in \{1, 2, 3, 4, 5, 6\}\)
• Для числа ДТП в Астане в случайный день: \(\Omega = \mathbf{Z}^{+}\)
  • \(U \in \mathbf{Z}^{+}\)
• Для броска дротика: \(\Omega = \{(x, y)| 0 \leq x,y \leq 1\}\)
  • \((X,Y) \in \{(x, y)| 0 \leq x,y \leq 1\}\)

Исход и Событие

• Исходом (outcome) называется конкретное значение, которое может принять случайная переменная. Исход - это один элемент Пространства Исходов (\(\Omega\)). Мы обозначаем их строчными буквами \(x\) или \(y\)
  • Например, для кубика \(X = 1\) значит, что при броске выпала единица
• Событие (Event) - это любое подмножество Пространства Исходов (\(\Omega\)). События обозначаются заглавными буквами.
  • \(A \subset \Omega\)

Детальнее о событиях

• События может состоять из одного исхода, например \(A = {Орел}\), но также может состоять из множества исходов
• Например, рассмотрим два броска монетки
  • Событие А: орел при первом броске
  • Событие А состоит из двух исходов: \(A = \{ОО, ОР\}\)
• Исходы как атомы (элементарные частицы)
• События как молекулы (могут состоять из множества атомов)

Объединение и Пересечение Событий

• Объединением событий, \(\mathbf{A} \cup \mathbf{B}\), называется множество всех исходов которые удовлетворяют либо \(A\), либо \(B\).
• \(A \cup B = \{x|x \in A \textrm{ OR } x \in B\}\) - логическое ИЛИ
• Пример, событие \(A\) - случайный пассажир автобуса, оказался беременной женщиной;
• \(B\) - случайный пасажир оказался пенсионером.
• Объединения двух событий, \(A\cup B\) - человек, которому можно сидеть на местах для беременных или пенсионеров.
• Пересечением двух событий, \(\mathbf{A} \cap \mathbf{B}\), называется множество всех исходов, которые удовлетворяют одновременно и \(A\), и \(B\).
• \(A \cap B = \{x|x \in A \textrm{ AND } x \in B\}\) - логическое И
• В примере выше \(A \cap B\) будет соответствовать беременному пенсионеру.

Пересекающиеся и Непересекающиеся События

• Бросаем монетку два раза и определим 3 события:
  • A: орел в первом броске: \(\{ОО, ОР\}\)
  • B: решка во втором броске: \(\{ОР, РР\}\)
  • C: решка в первом броске: \(\{РО, РР\}\)
• \(A \cup B = \{ОО, ОР, РР\}\), \(A \cap B = \{ОР\}\)
• \(A \cup C = \{ОО, ОР, РО, РР\}\), \(A \cap C = \{\emptyset\}\)
• Два события называются непересекающимися (disjoint) или взаимно исключающими (mutually exclusive), если у них нет общих исходов: A и C не пересекаются, потому что \(A \cap C = \emptyset\)

Объединение пересекающихся и непересекающихся событий

Непересекающиеся события:

• 4 студента из Семея, множество \(A\); 10 студентов из Усть-Каменогорска, множество \(B\)
• Как много студентов из ВКО? \(|A\cup B|\)
• \(|A\cup B| = 4 + 10 = 14\)

Пересекающиеся события:

• У 5-и студентов есть кошки (\(A\)); у 3-х есть собаки (\(B\))
• У 1-го студента есть и кошка, и собака: \(A \cap B\)
• У скольки студентов есть домашенее животное? \(|A\cup B|\)
• \(|A\cup B| = 5 + 3 - 1 = 7\)

Распределение вероятности (Probability distribution)

• После того, как мы определили возможные исходы, мы должны назначить этим исходам вероятность \(P(X = x_i)\)
• Распределение вероятности должно подчиняться трем правилам
  1. \(P(\emptyset) = 0\) - что-то обязательно должно произойти
  2. \(P(\Omega) = 1\) - это что-то обязательно должно быть перечислено в \(\Omega\)
  3. Если \(A\) and \(B\) не пересекаются, то (\(A\cap B = \emptyset\)) \(\rightarrow\) \(P(A\cup B) = P(A) + P(B)\)

Примеры

• Монетка: \(P(X = Орел) = 1/2\) and \(P(X = Решка) = 1/2\)
  • при условии, что монетка честная
• Кубик: \(P(Y = 1) = 1/6\), \(P(Y = 2) = 1/6\) и т.д.
• Дротик и квадратная мишень: \(P(X = x, Y = y) = 0\), почему?
  • Пространство исходов бесконечно, поэтому \(P(X = x, Y = y) = 1/\inf = 0\)
  • Именно поэтому, мы ввели понятие События: \(P(X > 1/2, Y > 1/2) = 1/4\)

Пример с кубиком

• Какова вероятность выкинуть не меньше 2? \(P((X = 1) \cup (X = 2))\)
  • \(P((X = 1) \cup (X = 2)) = P(X = 1) + P(X = 2) = 1/6 + 1/6 = 1/3\)
• Какова вероятность выкинуть четное число?
  • \(P(X \in \{2, 4, 6\}) = 3*1/6 = 1/2\)
• Какова вероятность выкинуть четное или не меньше двух
  • \(A\): четное \(\{2, 4, 6\}\)
  • \(B\): не меньше двух \(\{1, 2\}\)
  • \(A \cap B\): четное и не меньше двух: \(\{2\}\)

\[\begin{align*} P(A \cup B) &= P(A) + P(B) - P(A \cap B) \\ P(A \cup B) &= 3/6 + 2/6 - 1/6 = 4/6 = 2/3 \end{align*}\]

ТерВер и Статистика I

• Теория Вероятности и Статистика родственные дисциплины, примерно как две стороны одной медали.
• Теория Вероятности начинает с вероятностной модели и делает вывод о данных, которые модель производит
  • Модель \(\rightarrow\) Данные
  • Например, если у нас есть событие, вероятность которого \(p = 0.2\), сколько раз событие в среднем будет происходить при 100 испытаниях?
• Статистика: начинает с данных, и делает вывод о моделе, которая моглы бы породить имеющиеся данные
  • Данные \(\rightarrow\) Модель
  • Например, мы наблюдали некое событие 20 раз в 100 испытаниях, какова вероятность события?

4 Условная вероятность

Обычная вероятность

• У нас 12 студентов всего, из них
  • 5 мужчин (\(A\))
  • 4 водят машину (\(B\))
  • 3 мужчин-водителей (\(A \cap B\))
• Выберем 1 студента случайным образом, какова вероятность, что он мужчина?
  • \(P(A) = 5/12 \approx 0.42\)

Добавим условие

• Допустим, кто сообщает вам, что этот случайно выбранный студент водит машину

• Как это условие, изменит вероятность того, что этот студент мужчина?

• Теперь наше пространство возможных исходов свелось, только к 4 студентам, которые отвечают условию (водят машину).

Введем обозначения

• Условие будем выражать так

  \[P(A|B) = \textrm{Вероятность A, при условии, что B произошло}\]

• Определение: \[P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{3/12}{4/12} = \frac{3}{4} = 0.75\]

• Проверка здравым смыслом (sanity check): какова вероятность события \(B\) при условии, что \(B\) произошло

  • То есть, например, какова вероятность, что студент водит, если он водит?
  • Должна быть 1.

• И действительно, \(P(B|B) = \frac{P(B \cap B)}{P(B)} = \frac{P(B)}{P(B)} = 1\)

Условная вероятность

• Условные вероятности ничем не отличаются от безусловных. Все что применимо к первым, применимо и ко вторым.
• Упражнение: Два броска 4-х гранного кубика
  • Событие \(\mathbf{B}: min(d_1,d_2) = 2\)
  • Событие \(\mathbf{M_1}: max(d_1,d_2) = 1\)
  • Событие \(\mathbf{M_2}: max(d_1,d_2) = 2\)
• \(P(M_1|B) = ?\)
• \(P(M_2|B) = ?\)
• \(P(M_1|B) = 0\)
• \(P(M_2|B) = 1/2\)

Повторим обозначения и введем новые

• \(A\) - латинские заглавные буквы обозначают события, например, что в Астане сегодня утром идет снег; \(B\) - что в Астане пробки выше 8 баллов.

• \(A \cup B\) - в городе снег ИЛИ пробки

• \(A \cap B\) в городе снег И пробки

• Отрицание события, то есть событие, которое состоит в том, что некое изначальное событие не произошло, мы обозначаем \(А^c\) и называем дополнением \(А\)

• Дополнением, потому что \(А^c\) дополняет \(А\) до \(\Omega\): \(А^c \cup A = \Omega\)

• \(A^c \cup B\) - в городе нет снега ИЛИ пробки

Пример

• Событие \(A\): Беременность. Допустим по стат. данным мы знаем, что \(P(A) = 0.01\)
• Событие \(B\): Тест на беременность положителен
• Представим все в виде диаграммы

Теперь посчитаем вероятности

• \(P(B|A) = 0.98, P(B^c|A^c) = 0.05\)
• Допустим мы хотим посчитать \(P(A|B) = \frac{P(A \cap B)}{P(B)}\), но мы не знаем \(P(B)\)
• Что если мы поменяем местами событие и условие: \(P(B|A) = \frac{P(A \cap B)}{P(A)}\)
• \(P(A \cap B) = P(A)P(B|A)\)

Multiplication Rule

• Формула условной вероятности, позволяет нам интерпретировать совместную вероятность событий

\[ P(A|B) = \frac{P(A \cap B)}{P(B)} <=> P(A \cap B) = P(B)*P(A|B) \]

• Поскольку нет принципиальной разницы, что принять за событие, а что за условие

\[ P(B|A) = \frac{P(A\cap B)}{P(A)} <=> P(A\cap B) = P(A)*P(B|A) \]

Multiplication Rule

• Вероятность, что события \(А\) и \(B\) произошли одновременно, равна вероятности события \(А\) помноженную на вероятность события \(B\), при условии, что \(А\) произошло

\[ P(A \cap B) = P(B)*P(A|B) \]

• И наоборот

  \[ P(A\cap B) = P(A)*P(B|A) \]

Пример

• \(P(A \cap B) = P(A)P(B|A) = 0.01*0.98 = 0.0098\)

Общая вероятность

• А теперь, давайте задумаемся, сможем ли мы восстановить вероятность события \(B\) из нашего знания о \(P(A \cap B)\)

• Интуитивно, событие \(B\) может произойти при условии \(А\) и при условии \(А^c\). Также, два этих условия полностью исчерпывают все возможные “пути” к событию \(B\)

\[\begin{align*} P(B) &= P(A \cap B) + P(A^c \cap B) \\ &= P(A)P(B|A) + P(A^c)P(B|A^c) \\ &= 0.01*0.98 + 0.99*0.05 &= 0.0593 \end{align*}\]

А теперь вернемся к изначальному вопросу

• Мы хотели посчитать вероятность беременности \(A\) при условии, что тест положителен \(B\)

• Мы посчитали вероятность события человек беременнен И тест положителен: \(P(A \cap B) = P(A)*P(B|A)\)

• Мы также посчитали вероятность события, что тест положителен: \(P(B) = P(A \cap B) + P(A^c \cap B)\)

• Теперь у нас есть все, чтобы посчитать искомое:\(P(A|B) = \frac{P(A \cap B)}{P(B)} = \frac{0.0098}{0.0593} = 0.165\)

Формула Байеса

• То что мы сейчас проделали, выглядит так

\[ P(A|B) = \frac{P(A)*P(B|A)}{P(B)} \]

• Где, \(P(B) = P(A)P(B|A) + P(A^c)P(B|A^c)\)

Более сложный пример

• Три события \(\{A_1, A_2, A_3\}\): \(A_1 \cup A_2 \cup A_3 = \Omega\) и \(A_i \cap A_j = \emptyset, \forall i \neq j\), это называется разбиением (partition) пространства исходов

• Мы знаем все \(P(A_i)\) и \(P(B|A_i)\)

Вопрос

• Можем ли мы посчитать \(P(A_i \cap B) = ?\)
• Да \(P(A_i|B) = \frac{P(A_i \cap B)}{P(B)} \implies P(A_i \cap B) = P(B)P(A_i|B) = P(A_i)P(B|A_i)\)
• Например:
  • \(P(A_1 \cap B) = P(A_1)P(B|A_1) = 0.25\)
  • \(P(A_2 \cap B) = P(A_2)P(B|A_2) = 0.18\)
  • \(P(A_3 \cap B) = P(A_3)P(B|A_3) = 0.16\)

Общая вероятность опять

• А что насчет \(P(B) = ?\). Заметьте, что \(B = (A_1 \cap B) \cup (A_2 \cap B) \cup (A_3 \cap B)\)
• Поэтому:

\[\begin{align*} P(B) &= P(A_1 \cap B) + P(A_2 \cap B) + P(A_3 \cap B) \\ &= P(A_1)*P(B|A_1) + P(A_2)*P(B|A_2) + P(A_3)*P(B|A_3) \\ &= 0.25 + 0.18 + 0.16 &= 0.59 \end{align*}\]

Формула Байеса Расширенная

• Допустим событие \(B\) произошло, можем ли мы пересмотреть вероятности \(P(A_i)\)?
• Да. Назовем новые вероятности \(P(A_i|B)\) \[P(A_i|B) = \frac{P(A_i)*P(B|A_i)}{P(B)} = \frac{P(A_i)*P(B|A_i)}{\sum_j{P(A_j)*P(B|A_j)}}\]
• \(P(A_1|B) = \frac{P(A_1)*P(B|A_1)}{\sum_{j=1}^{3}{P(A_j)*P(B|A_j)}} = 0.42\)
• \(P(A_2|B) = \frac{P(A_2)*P(B|A_2)}{\sum_{j=1}^{3}{P(A_j)*P(B|A_j)}} = 0.31\)
• \(P(A_3|B) = \frac{P(A_3)*P(B|A_3)}{\sum_{j=1}^{3}{P(A_j)*P(B|A_j)}} = 0.27\)

Независимость

• Рассмотрим два броска “честной” монетки: \(P(Орел) = p, P(Решка) = 1-p\)
• \(P(О_2|О_1) = p\), но также \(P(О_2|Р_1) = p\)
• Общая вероятность \(О_2\):

\[\begin{align*} P(О_2) &= P(О_2 \cap О_1) + P(О_2 \cap О_1) = \\ P(О_2) &= P(О_1)P(О_2|О_1) + P(Р_1)P(О_2|Р_1) = \\ P(О_2) &= 1/2*1/2 + 1/2*1/2 = 1/2 \\ P(О_2) &= 1/2 = P(О_2|О_1) \end{align*}\]

Независимость

• Интуитивно, два события независимы, когда \(P(A|B) = P(A)\)
• Но также следует, что: \(\frac{P(A \cap B)}{P(B)} = P(A) \rightarrow P(A \cap B) = P(A)P(B)\)
• Формальное определение независимости \(A\) и \(B\)

\[ P(A \cap B) = P(A)P(B) \]

• Лучше, потому что:

  • симметрично относительно A and B

  • не требует \(P(A) \neq 0\) or \(P(B) \neq 0\)

Независимость и Зависимость: Примеры

• \(А\) - в городе снег; \(B\) - орел при броске

• \(P(A) = 0.1, P(B|A) = 0.5 => P(A \cap B) = P(A)*P(B|A) = 0.05\)

• Но также, \(P(A) * P(B) = 0.05\)

• А теперь, \(С\) - пробки, и \(P(C) = 0.2\), но \(P(C|A) = 0.5\)

• Тогда, \(P(A\cap C) = P(A)*P(C|A) = 0.05\)

• Но, \(P(A)*P(C) = 0.1*0.2 = 0.02\)

Упражнения

У1. Около 9% людей являются левшами. Предположим, что из населения Казахстана случайным образом выбраны 2 человека. Поскольку размер выборки очень мал по сравнению с населением, разумно предположить, что эти два наблюдения независимы. (a) Какова вероятность того, что оба являются левшами? (b) Какова вероятность того, что оба являются правшами?

Ответы:

a) \(P(Левша)P(Левша) = 0.09 * 0.09 = 0.0081\)

b) \(P(Правша)*P(правша) = (1 - 0.09) * (1-0.09) = 0.8281\)

У2. Теперь мы выбрали 5 случайных людей

1. Какова вероятность что все окажутся правшами?
   

2. Какова вероятность что все окажуться левшами?
   

3. Какова вероятность, что не все окажуться правшами?

Ответы:

a)

\[\begin{align*} P(\textrm{all five are RH}) &= P(\textrm{first = RH, second = RH, ..., fifth = RH}) &= P(RH)\times P(RH)\times \dots \times P(RH) = 0.91\times 0.91 \times 0.91 \times 0.91 \times 0.91 = 0.624 \end{align*}\]

b) По аналогичной логике: \(0.09^5 = 0.0000059\)

c) Используя дополнение \(P(\textrm{Не все правши}) = 1 - P(\textrm{все правши}) = 1 - 0.624 = 0.376\)

Задачи

OpenIntro: 3.8, 3.9, 3.10, 3.11