Підручник з теорії ймовірностей. Формула повної ймовірності та формули байєсу

Коротка теорія

Якщо подія настає лише за умови появи однієї з подій, що утворюють повну групу несумісних подій, то дорівнює сумі творів ймовірностей кожного з подій на відповідну умовну ймовірність гаманець.

У цьому події називаються гіпотезами, а ймовірності – апріорними. Ця формула називається формулою ймовірності.

Формула Байєса застосовується під час вирішення практичних завдань, коли подія , що з'являється разом із якимось із подій утворюють повну групу подій відбулося і потрібно провести кількісну переоцінку ймовірностей гіпотез . Апріорні (до досвіду) імовірності відомі. Потрібно обчислити апостеріорні (після досвіду) ймовірності, тобто. по суті потрібно знайти умовні ймовірності. Формула Байєса виглядає так:

Приклад розв'язання задачі

Умова задачі 1

На фабриці верстати 1,2 та 3 виробляють відповідно 20%, 35% та 45% усіх деталей. У їхній продукції шлюб становить відповідно 6%, 4%, 2%. Яка ймовірність того, що випадково вибраний виріб виявився дефектним? Яка ймовірність того, що воно було зроблено: а) верстатом 1; б) верстатом 2; в) верстатом 3?

Розв'язання задачі 1

Позначимо через подію, яка полягає в тому, що стандартний виріб виявився дефектним.

Подія може статися лише за умови настання однієї з трьох подій:

Виріб виготовлено на верстаті 1;

Виріб виготовлено на верстаті 2;

Виріб виготовлено на верстаті 3;

Запишемо умовні ймовірності:

Формула повної ймовірності

Якщо подія може статися тільки при виконанні однієї з подій, які утворюють повну групу несумісних подій, то ймовірність події обчислюється за формулою

За формулою повної ймовірності знаходимо ймовірність події:

Формула Байєса

Формула Байєса дозволяє «переставити причину і слідство»: за відомим фактом події обчислити ймовірність того, що воно було спричинене цією причиною.

Імовірність того, що дефектний виріб виготовлено на верстаті 1:

Імовірність того, що дефектний виріб виготовлено на верстаті 2:

Імовірність того, що дефектний виріб виготовлено на верстаті 3:

Умова задачі 2

Група складається з 1 відмінника, 5 студентів, що добре встигають, і 14 студентів, які встигають посередньо. Відмінник відповідає на 5 і 4 з рівною ймовірністю, хорошист відповідає на 5, 4 і 3 з рівною ймовірністю, і студент, що посередньо встигає, відповідає на 4,3 і 2 з рівною ймовірністю. Випадково обраний студент відповів на 4. Яка ймовірність того, що був викликаний студент, що посередньо встигає?

Розв'язання задачі 2

Гіпотези та умовні ймовірності

Можливі наступні гіпотези:

Відповідав відмінник;

Відповідав хорошист;

-Відповідав студент, що посередньо займається;

Нехай подія-студент отримає 4.

Умовні ймовірності:

Відповідь:

Дано визначення геометричної ймовірності та детально розглянуто широко відоме завдання про зустріч.

Імовірності P(H i) гіпотез H i називають апріорними ймовірностями - ймовірністю до проведення дослідів.
Імовірності P(A/H i) називають апостеріорними ймовірностями - ймовірності гіпотез H i уточнених в результаті досвіду.

Приклад №1. Прилад може збиратися з високоякісних деталей та деталей звичайної якості. Близько 40% приладів збираються із високоякісних деталей. Якщо прилад зібраний із високоякісних деталей, його надійність (імовірність безвідмовної роботи) за час t дорівнює 0,95; якщо з деталей звичайної якості – його надійність дорівнює 0,7. Прилад випробовувався протягом часу і працював безвідмовно. Знайдіть ймовірність того, що він зібраний із високоякісних деталей.
Рішення.Можливі дві гіпотези: H 1 - пристрій зібраний з високоякісних деталей; H 2 - пристрій зібраний з деталей звичайної якості. Імовірність цих гіпотез до досвіду: P(H 1) = 0,4, P(H 2) = 0,6. В результаті досвіду спостерігалася подія A – прилад безвідмовно працював час t. Умовні ймовірності цієї події за гіпотез H 1 і H 2 рівні: P(A|H 1) = 0,95; P(A|H 2) = 0,7. За формулою (12) знаходимо ймовірність гіпотези H 1 після досвіду:

Приклад №2. Два стрілки незалежно один від одного стріляють по одній мішені, роблячи кожен по одному пострілу. Ймовірність влучення в ціль для першого стрілка 0,8, для другого 0,4. Після стрілянини в мішені виявлено одну пробоїну. Припускаючи, що дві стрілки що неспроможні потрапити у одну й ту саму точку, знайдіть ймовірність те, що у ціль потрапив перший стрілок.
Рішення.Нехай подію A - після стрілянини в мішені виявлено одну пробоїну. До початку стрілянини можливі гіпотези:
H 1 - ні перший, ні другий стрілок не потрапить, ймовірність цієї гіпотези: P(H 1) = 0,2 · 0,6 = 0,12.
H 2 - обидва стрілки потраплять, P(H 2) = 0,8 · 0,4 = 0,32.
H 3 - перший стрілок влучить, а другий не влучить, P(H 3) = 0,8 · 0,6 = 0,48.
H 4 - перший стрілок не влучить, а другий потрапить, P (H 4) = 0,2 · 0,4 = 0,08.
Умовні ймовірності події A за цих гіпотез рівні:

Після досвіду гіпотези H 1 і H 2 стають неможливими, а ймовірності гіпотез H 3 та H 4
будуть рівні:

Приклад №3. У монтажному цеху до пристрою приєднується електродвигун. Електродвигуни постачаються трьома заводами-виробниками. На складі є електродвигуни названих заводів відповідно в кількості 19,6 та 11 шт., які можуть безвідмовно працювати до кінця гарантійного терміну відповідно до ймовірностей 0,85, 0,76 та 0,71. Робочий бере випадково один двигун та монтує його до пристрою. Знайдіть ймовірність того, що змонтований та працюючий безвідмовно до кінця гарантійного терміну електродвигун поставлений відповідно першим, другим або третім заводом-виробником.
Рішення.Першим випробуванням є вибір електродвигуна, другим – робота електродвигуна під час гарантійного терміну. Розглянемо такі події:
A – електродвигун працює безвідмовно до кінця гарантійного терміну;
H 1 - монтер візьме двигун із продукції першого заводу;
H 2 - монтер візьме двигун із продукції другого заводу;
H 3 - монтер візьме двигун із продукції третього заводу.
Імовірність події A обчислюємо за формулою повної ймовірності:

Умовні ймовірності задані за умови завдання:

Знайдемо імовірності

Приклад №4. Ймовірність того, що під час роботи системи, що складається з трьох елементів, відмовлять елементи з номерами 1, 2 і 3, відносяться як 3: 2: 5. Ймовірність виявлення відмов цих елементів дорівнює відповідно 0,95; 0,9 та 0,6.

б) В умовах цього завдання під час роботи системи виявлено відмову. Який з елементів найімовірніше відмовив?

Рішення.
Нехай А – подія відмови. Введемо систему гіпотез H1 – відмова першого елемента, H2 – відмова другого елемента, H3 – відмова третього елемента.
Знаходимо ймовірність гіпотез:
P(H1) = 3/(3+2+5) = 0.3
P(H2) = 2/(3+2+5) = 0.2
P(H3) = 5/(3+2+5) = 0.5

Відповідно до умови завдання умовні ймовірності події А дорівнюють:
P(A|H1) = 0.95, P(A|H2) = 0.9, P(A|H3) = 0.6

а) Знайдіть ймовірність виявлення відмови у роботі системи.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0.3*0.95 + 0.2*0.9 + 0.5 *0.6 = 0.765

б) В умовах цього завдання під час роботи системи виявлено відмову. Який з елементів найімовірніше відмовив?
P1 = P (H1) * P (A | H1) / P (A) = 0.3 * 0.95 / 0.765 = 0.373
P2 = P (H2) * P (A | H2) / P (A) = 0.2 * 0.9 / 0.765 = 0.235
P3 = P (H3) * P (A | H3) / P (A) = 0.5 * 0.6 / 0.765 = 0.392

Максимальна ймовірність третього елемента.

Події утворюють повну групуякщо хоча б одне з них обов'язково відбудеться в результаті експерименту і попарно несумісні.

Припустимо, що подія Aможе наступити тільки разом з одним з кількох попарно несумісних подій, що утворюють повну групу. Будемо називати події ( i= 1, 2,…, n) гіпотезамидопиту (апріорі). Імовірність появи події А визначається за формулою повної ймовірності :

Приклад 16Є три урни. У першій урні знаходяться 5 білих та 3 чорних кулі, у другій – 4 білих та 4 чорні кулі, а у третій – 8 білих куль. Навмання вибирається одна з урн (це може означати, наприклад, що здійснюється вибір із допоміжної урни, де знаходяться три кулі з номерами 1, 2 та 3). З цієї урни навмання витягується куля. Яка ймовірність того, що він виявиться чорним?

Рішення.Подія A- Витягнуто чорну кулю. Якщо було б відомо, з якої урни витягається куля, то ймовірність можна було б обчислити за класичним визначенням ймовірності. Введемо припущення (гіпотези) щодо того, яка урна обрана для вилучення кулі.

Куля може бути витягнута або з першої урни (гіпотеза), або з другої (гіпотеза), або з третьої (гіпотеза). Так як є однакові шанси вибрати будь-яку з урн, то .

Звідси випливає, що

Приклад 17Електролампи виготовляються на трьох заводах. Перший завод виробляє 30% загальної кількості електроламп, другий – 25%,
а третій – решту. Продукція першого заводу містить 1% бракованих електроламп, другого – 1,5%, третього – 2%. До магазину надходить продукція всіх трьох заводів. Якою є ймовірність того, що куплена в магазині лампа виявилася бракованою?

Рішення.Припущення необхідно запровадити щодо того, на якому заводі було виготовлено електролампу. Знаючи це, ми зможемо знайти можливість того, що вона бракована. Введемо позначення для подій: A– куплена електролампа виявилася бракованою, – лампа виготовлена ​​першим заводом, – лампа виготовлена ​​другим заводом,
– лампа виготовлена ​​третім заводом.

Шукану ймовірність знаходимо за формулою повної ймовірності:

Формула Байєса. Нехай - повна група попарно несумісних подій (гіпотези). А- Випадкова подія. Тоді,

Останню формулу, що дозволяє переоцінити ймовірність гіпотез після того, як стає відомим результат випробування, в результаті якого з'явилася подія А, називають формулою Байєса .

приклад 18.До спеціалізованої лікарні надходять у середньому 50 % хворих із захворюванням До, 30% - з захворюванням L, 20 % –
із захворюванням M. Ймовірність повного лікування хвороби Kдорівнює 0,7 для хвороб Lі Mці ймовірності відповідно дорівнюють 0,8 і 0,9. Хворий, який вступив до лікарні, був виписаний здоровим. Знайдіть ймовірність того, що цей хворий страждав на захворювання K.

Рішення.Введемо гіпотези: – хворий страждав на захворювання До L, – хворий страждав на захворювання M.

Тоді за умовою завдання маємо. Введемо подію А- Хворий, який вступив до лікарні, був виписаний здоровим. За умовою

За формулою повної ймовірності отримуємо:

За формулою Байєса.

Приклад 19.Нехай в урні п'ять куль та всі припущення про кількість білих куль рівноможливі. З урни навмання взято кулю, він виявився білим. Яке припущення про початковий склад урни найімовірніше?

Рішення.Нехай - гіпотеза, яка полягає в тому, що в урні білих куль , Т. е. Можливо зробити шість припущень. Тоді за умовою завдання маємо.

Введемо подію А- навмання взята куля біла. Обчислимо. Оскільки , то за формулою Байєса маємо:

Таким чином, найбільш вірогідною є гіпотеза, тому що .

Приклад 20Два із трьох незалежно працюючих елементи обчислювального пристрою відмовили. Знайдіть ймовірність того, що відмовили перший і другий елементи, якщо ймовірності відмови першого, другого та третього елементів відповідно дорівнюють 0,2; 0,4 та 0,3.

Рішення.Позначимо через Аподія – відмовили два елементи. Можна зробити такі гіпотези:

– відмовили перший та другий елементи, а третій елемент справний. Оскільки елементи працюють незалежно, застосовна теорема множення:

Хто такий Байєс? та яке відношення він має до менеджменту? – може бути цілком справедливе питання. Поки що повірте мені на слово: це дуже важливо!.. і цікаво (принаймні мені).

У якій парадигмі діють більшість менеджерів: якщо я спостерігаю щось, які висновки можу зробити з цього? Чому вчить Байєс: що насправді має бути, щоб мені довелося спостерігати це щось? Саме так розвиваються всі науки, і про це пише (цитую по пам'яті): людина, яка не має в голові теорії, шарахатиметься від однієї ідеї до іншої під впливом різних подій (спостережень). Недарма кажуть: немає нічого практичного, ніж хороша теорія.

Приклад із практики. Мій підлеглий робить помилку, і мій колега (керівник іншого відділу) каже, що треба було б зробити управлінський вплив на недбайливого співробітника (простіше кажучи, покарати/оббругати). А я знаю, що цей співробітник робить 4-5 тисяч однотипних операцій на місяць, і робить за цей час не більше 10 помилок. Відчуваєте різницю в парадигмі? Мій колега реагує на спостереження, а я володію апріорним знанням, що співробітник припускається певної кількості помилок, так що ще одна не вплинула на це знання… Ось якщо за підсумками місяця виявиться, що таких помилок, наприклад, 15!.. Це вже стане приводом вивчення причин невідповідності стандартам.

Переконав у важливості Байєсовського підходу? Заінтригував? Сподіваюся, що так. А тепер ложка дьогтю. На жаль, ідеї Байєса рідко даються з першого заходу. Мені відверто не пощастило, тому що я знайомився з цими ідеями з популярної літератури, після прочитання якої залишалося багато питань. Плануючи написати нотатку, я зібрав усе, що раніше конспектував Байєсу, а також вивчив, що пишуть в Інтернеті. Пропоную вашій увазі моє найкраще припущення на тему Введення в Байєсовську можливість.

Виведення теореми Байєса

Розглянемо наступний експеримент: ми називаємо будь-яке число, що лежить на відрізку, і фіксуємо, коли це число буде, наприклад, між 0,1 і 0,4 (рис. 1а). Імовірність цієї події дорівнює відношенню довжини відрізка до загальної довжини відрізка за умови, що появи чисел на відрізку рівноймовірні. Математично це можна записати p(0,1 <= x <= 0,4) = 0,3, или кратко р(X) = 0,3, де р- Імовірність, х- Випадкова величина в діапазоні , Х- Випадкова величина в діапазоні . Тобто ймовірність попадання у відрізок дорівнює 30%.

Мал. 1. Графічна інтерпретація ймовірностей

Тепер розглянемо квадрат x (рис. 1б). Допустимо, ми повинні називати пари чисел ( x, y), кожне з яких більше нуля та менше одиниці. Імовірність того, що x(перше число) буде в межах відрізка (синя область 1), що дорівнює відношенню площі синьої області до площі всього квадрата, тобто (0,4 – 0,1) * (1 – 0) / (1 * 1) = 0, 3, тобто ті ж 30%. Імовірність того, що yзнаходиться всередині відрізка (зелена область 2) дорівнює відношенню площі зеленої області до площі всього квадрата p(0,5 <= y <= 0,7) = 0,2, или кратко р(Y) = 0,2.

Що можна дізнатися про значення одночасно xі y. Наприклад, яка ймовірність того, що одночасно xі yперебувають у відповідних заданих відрізках? Для цього треба порахувати відношення площі області 3 (перетину зеленої та синьої смуг) до площі всього квадрата: p(X, Y) = (0,4 – 0,1) * (0,7 – 0,5) / (1 * 1) = 0,06.

А тепер припустимо ми хочемо знати яка ймовірність того, що yзнаходиться в інтервалі, якщо xвже знаходиться в інтервалі. Тобто фактично у нас є фільтр і коли ми називаємо пари ( x, y), то ми відразу відкидає ті пари, які не задовольняють умову знаходження xу заданому інтервалі, а потім з відфільтрованих пар ми вважаємо ті, для яких yзадовольняє нашій умові і вважаємо ймовірність як відношення кількості пар, для яких yлежить у вищезгаданому відрізку до загальної кількості відфільтрованих пар (тобто для яких xлежить у відрізку). Ми можемо записати цю ймовірність як p(Y|X у хпотрапив у діапазоні». Очевидно, що ця ймовірність дорівнює відношенню площі області 3 до площі синьої області 1. Площа області 3 дорівнює (0,4 – 0,1) * (0,7 – 0,5) = 0,06, а площа синьої області 1 ( 0,4 – 0,1) * (1 – 0) = 0,3, тоді їхнє відношення дорівнює 0,06 / 0,3 = 0,2. Іншими словами, можливість знаходження yна відрізку за умови, що xналежить відрізку p(Y|X) = 0,2.

У попередньому абзаці ми фактично сформулювали тотожність: p(Y|X) = p(X, Y) / p ( X). Читається: «імовірність влучення ув діапазон , за умови, що хпотрапив у діапазон , що дорівнює відношенню ймовірності одночасного влучення хв діапазон та ув діапазон, до ймовірності попадання ху діапазон».

За аналогією розглянемо ймовірність p(X|Y). Ми називаємо пари ( x, y) і фільтруємо ті, для яких yлежить між 0,5 і 0,7, тоді ймовірність того, що xзнаходиться у відрізку за умови, що yналежить відрізку дорівнює відношенню площі області 3 до площі зеленої області 2: p(X|Y) = p(X, Y) / p(Y).

Зауважимо, що ймовірності p(X, Y) та p(Y, Х) рівні, і обидві рівні відношенню площі зони 3 до площі всього квадрата, а ось ймовірності p(Y|X) та p(X|Y) не рівні; при цьому ймовірність p(Y|X) дорівнює відношенню площі області 3 до області 1, а p(X|Y) – області 3 до області 2. Зауважимо також, що p(X, Y) часто позначають як p(X&Y).

Отже, ми запровадили два визначення: p(Y|X) = p(X, Y) / p ( X) та p(X|Y) = p(X, Y) / p(Y)

Перепишемо ці рівності у вигляді: p(X, Y) = p(Y|X) * p ( X) та p(X, Y) = p(X|Y) * p(Y)

Оскільки ліві частини рівні, рівні та праві: p(Y|X) * p ( X) = p(X|Y) * p(Y)

Або ми можемо переписати останню рівність у вигляді:

Це і є теорема Байєса!

Невже такі нескладні (майже тавтологічні) перетворення народжують велику теорему! Не поспішайте з висновками. Давайте ще раз проговоримо, що ми отримали. Була якась вихідна (апріорна) можливість р(Х), того, що випадкова величина хрівномірно розподілена на відрізку потрапляє у діапазон Х. Сталася якась подія Y, в результаті якого ми отримали апостеріорну ймовірність тієї ж самої випадкової величини х: р(Х|Y), і ця ймовірність відрізняється від р(Х) на коефіцієнт . Подія Yназивається свідченням, що більшою чи меншою мірою підтверджує або спростовує Х. Зазначений коефіцієнт іноді називають потужністю свідоцтва. Чим потужніше свідчення, тим більше факт спостереження Y змінює апріорну ймовірність, тим більше апостеріорна ймовірність відрізняється від апріорної. Якщо свідчення слабке, апостеріорна ймовірність майже дорівнює апріорній.

Формула Байєса для дискретних випадкових величин

У попередньому розділі ми вивели формулу Байєса для безперервних випадкових величин x та y, визначених на відрізку . Розглянемо приклад із дискретними випадковими величинами, що приймають кожна по два можливі значення. У ході проведення планових медичних оглядів встановлено, що в сорокарічному віці 1% жінок хворіють на рак молочної залози. 80% жінок хворих на рак отримують позитивні результати мамографії. 9,6% здорових жінок також одержують позитивні результати мамографії. У ході проведення огляду жінка цієї вікової групи отримала позитивний результат мамографії. Яка ймовірність того, що вона насправді має рак молочної залози?

Хід міркувань/обчислень наступний. З 1% хворих на рак мамографія дасть 80% позитивних результатів = 1% * 80% = 0,8%. З 99% здорових жінок мамографія дасть 9,6% позитивних результатів = 99% * 9,6% = 9,504%. Разом із 10,304% (9,504% + 0,8%) із позитивними результатами мамографії, лише 0,8% хворих, а решта 9,504% здорових. Таким чином, ймовірність того, що при позитивному результаті мамографії жінка хвора на рак становить 0,8%/10,304% = 7,764%. А ви думали, що 80% чи близько того?

У нашому прикладі формула Байєса набуває такого вигляду:

Давайте ще раз проговоримо «фізичний» зміст цієї формули. Х- Випадкова величина (діагноз), що приймає значення: Х 1- Хворий і Х 2- Здоровий; Y- Випадкова величина (результат вимірювання -мамографії), що приймає значення: Y 1– позитивний результат та Y 2- Негативний результат; р(Х 1)- ймовірність хвороби до проведення мамографії (апріорна ймовірність), що дорівнює 1%; р(Y 1 |X 1 ) - ймовірність позитивного результату у разі, якщо пацієнтка хвора (умовна ймовірність, оскільки вона має бути задана в умовах завдання), що дорівнює 80%; р(Y 1 |X 2 ) – ймовірність позитивного результату у разі, якщо пацієнтка здорова (також умовна ймовірність), що дорівнює 9,6%; р(Х 2)- ймовірність того, що пацієнтка здорова до проведення мамографії (апріорна ймовірність), що дорівнює 99%; р(Х 1|Y 1 ) – ймовірність того, що пацієнтка хвора за умови позитивного результату мамографії (апостеріорна ймовірність).

Видно, що апостеріорна ймовірність (те, що ми шукаємо) пропорційна апріорній ймовірності (вихідній) з дещо складнішим коефіцієнтом . Наголошу ще раз. На мою думку, це фундаментальний аспект Байєсовського підходу. Вимірювання ( Y) додало деяку кількість інформації до наявної (апріорної), що уточнило наше знання про об'єкт.

Приклади

Для закріплення пройденого матеріалу спробуйте вирішити декілька завдань.

приклад 1.Є 3 урни; у першій 3 білих кулі та 1 чорна; у другій - 2 білі кулі та 3 чорні; у третій - 3 білі кулі. Хтось підходить навмання до однієї з урн і виймає з неї одну кулю. Ця куля виявилася білою. Знайдіть апостеріорні ймовірності того, що куля вийнято з 1-ї, 2-ї, 3-ї урни.

Рішення. У нас є три гіпотези: Н 1 = (обрана перша урна), Н 2 = (обрана друга урна), Н 3 = (обрана третя урна). Оскільки урна вибирається навмання, то апріорні можливості гіпотез рівні: Р(Н 1) = Р(Н 2) = Р(Н 3) = 1/3.

В результаті досвіду з'явилася подія А = (з обраної урни вийнята біла куля). Умовні ймовірності події А при гіпотезах Н1, Н2, Н3: Р(A|Н1) = 3/4, Р(A|Н2) = 2/5, Р(A|Н3) = 1. Наприклад , перше рівність читається так: «ймовірність вийняти білу кулю, якщо обрана перша урна дорівнює 3/4 (оскільки всього куль у першій урні 4, а білих їх – 3)».

Застосовуючи формулу Бейєса, знаходимо апостеріорні ймовірності гіпотез:

Таким чином, у світлі інформації про появу події А ймовірності гіпотез змінилися: найбільш ймовірною стала гіпотеза Н 3 найменш ймовірною - гіпотеза Н 2 .

приклад 2.Два стрілки незалежно один від одного стріляють по одній і тій же мішені, роблячи кожен по одному пострілу. Імовірність влучення у мету першого стрілка дорівнює 0,8, другого - 0,4. Після стрілянини в мішені виявлено одну пробоїну. Знайти ймовірність того, що ця пробоїна належить першому стрілку (Вихід (обидві пробоїни збіглися) відкидаємо, як мізерно малоймовірний).

Рішення. До досвіду можливі наступні гіпотези: Н 1 = (ні перший, ні другий стрілки не потраплять), Н 2 = (обидва стрілки потраплять), H 3 - (перший стрілок потрапить, а другий - ні), H 4 = (перший стрілок не потрапить, а другий потрапить). Апріорні ймовірності гіпотез:

Р(H 1) = 0,2 * 0,6 = 0,12; Р(H 2) = 0,8 * 0,4 = 0,32; Р(H3) = 0,8 * 0,6 = 0,48; Р(H 4) = 0,2 * 0,4 = 0,08.

Умовні ймовірності спостереженої події А = (у мішені одна пробоїна) за цих гіпотез рівні: P(A|H 1) = P(A|H 2) = 0; P(A|H 3) = P(A|H 4) = 1

Після досвіду гіпотези H 1 і H 2 стають неможливими, а апостеріорні ймовірності гіпотез H 3 і H 4 за формулою Бейєса будуть:

Байєс проти спаму

Формула Байєса знайшла широке застосування у розробці спам-фільтрів. Припустимо, ви хочете навчити комп'ютер визначати, які листи є спамом. Виходитимемо зі словника та словосполучень, використовуючи байєсовські оцінки. Створимо спочатку простір гіпотез. Нехай щодо будь-якого листа ми маємо 2 гіпотези: H A – це спам, H B – це не спам, а нормальний, потрібний лист.

Спочатку «навчимо» нашу майбутню систему боротьби зі спамом. Візьмемо всі листи і розділимо їх на дві «купи» по 10 листів. В одну відкладемо спам-листи та назвемо її купою H A , в іншу – потрібну кореспонденцію та назвемо її купою H B . Тепер подивимося: які слова та словосполучення зустрічаються в спам-і потрібних листах і з якою частотою? Ці слова та словосполучення назвемо свідченнями і позначимо E 1 , E 2 … З'ясовується, що загальновживані слова (наприклад, слова «як», «твій») у купах H A і H B зустрічаються приблизно з однаковою частотою. Таким чином, наявність цих слів у листі нічого не говорить нам про те, до якої купи його віднести (слабке свідчення). Надамо цим словам нейтральне значення оцінки ймовірності «спамності», скажімо, 0,5.

Нехай словосполучення «розмовна англійська» зустрічається всього в 10 листах, причому частіше в спам-листах (наприклад, в 7 спам-листах з усіх 10), ніж у потрібних (3 з 10). Поставимо цього словосполучення для спаму вищу оцінку 7/10, а нормальних листів нижчу: 3/10. І навпаки, з'ясувалося, що слово «дружище» найчастіше зустрічалося у нормальних листах (6 із 10). І ось ми отримали коротенький лист: «Дружище! Як твоя розмовна англійська?». Спробуємо оцінити його «спамність». Загальні оцінки P(H A), P(H B) приналежності листа до кожної купи поставимо, скориставшись дещо спрощеною формулою Байєса та нашими приблизними оцінками:

P(H A) = A/(A+B), деА = p a1 * p a2 * ... * p an , B = p b1 * p b2 * ... * p b n = (1 - p a1) * (1 - p a2) * ... * (1 - p an).

Таблиця 1. Спрощена (і неповна) Байєс-оцінка листа

Таким чином, наш гіпотетичний лист отримав оцінку ймовірності приналежності з акцентом у бік «спамності». Чи можемо ми ухвалити рішення про те, щоб кинути листа в одну з куп? Виставимо пороги прийняття рішень:

• Вважатимемо, що лист належить купі H i , якщо P(H i) ≥ T.
• Лист не належить купі, якщо P(H i) ≤ L.
• Якщо ж L ≤ P(H i) ≤ T, то не можна ухвалити жодного рішення.

Можна прийняти T = 0,95 та L = 0,05. Оскільки для розглянутого листа і 0,05< P(H A) < 0,95, и 0,05 < P(H В) < 0,95, то мы не сможем принять решение, куда отнести данное письмо: к спаму (H A) или к нужным письмам (H B). Можно ли улучшить оценку, используя больше информации?

Так. Давайте обчислимо оцінку для кожного свідчення іншим способом, оскільки це, власне, і запропонував Байєс. Нехай:

F a – це загальна кількість листів спаму;

F ai – це кількість листів із свідченням iу купі спаму;

F b - це загальна кількість необхідних листів;

F bi – це кількість листів із свідченням iу купі необхідних (релевантних) листів.

Тоді: p ai = F ai / Fa , p bi = F bi / F b . P(H A) = A/(A+B), P(H B) = B/(A+B), деА = p a1 * p a2 * ... * p an , B = p b1 * p b2 * ... * p b n

Зверніть увагу – оцінки слів-свідчень p ai та p bi стали об'єктивними та їх можна обчислювати без участі людини.

Таблиця 2. Більш точна (але неповна) Байєс-оцінка за готівковими ознаками з листа

Ми отримали цілком певний результат – з великою перевагою з ймовірністю листа можна віднести до потрібних листів, оскільки P(H B) = 0,997 > T = 0,95. Чому результат змінився? Тому, що ми використовували більше інформації – ми врахували кількість листів у кожній купі і, до речі, набагато коректніше визначили оцінки p ai і p bi . Визначили їх так, як це зроблено у Байєса, обчисливши умовні ймовірності. Іншими словами, p a3 – це ймовірність появи у листі слова «дружище» за умови того, що цей лист вже належить спам-купі H A . Результат не забарився – здається, ми можемо прийняти рішення з більшою визначеністю.

Байєс проти корпоративного шахрайства

Цікаве застосування Байєсовського підходу описав MAGNUS8.

У моєму поточному проекті (ІВ для виявлення шахрайства на виробничому підприємстві) використовується формула Байєса для визначення ймовірності фроду (шахрайства) за наявності/відсутності кількох фактів, що побічно свідчать на користь гіпотези про можливість здійснення фроду. Алгоритм самонавчаємо (зі зворотним зв'язком), тобто. перераховує свої коефіцієнти (умовні ймовірності) за фактичного підтвердження чи непідтвердження фрода під час перевірки службою економічної безпеки.

Варто, мабуть, сказати, що такі методи під час проектування алгоритмів вимагають досить високої математичної культури розробника, т.к. Найменша помилка у виведенні та/або реалізації обчислювальних формул зведе нанівець і дискредитує весь метод. Імовірнісні методи особливо цим грішать, оскільки мислення людини не пристосоване для роботи з ймовірнісними категоріями і, відповідно, відсутня «наочність» та розуміння «фізичного сенсу» проміжних та підсумкових ймовірнісних параметрів. Таке розуміння є лише для базових понять теорії ймовірностей, а далі потрібно лише дуже акуратно комбінувати та виводити складні речі за законами теорії ймовірностей – здоровий глузд для композитних об'єктів вже не допоможе. З цим, зокрема, пов'язані досить серйозні методологічні баталії, що проходять на сторінках сучасних книг з філософії ймовірності, а також велика кількість софізмів, парадоксів та задач-курйозів на цю тему.

Ще один нюанс, з яким довелося зіткнутися - на жаль, практично все більш-менш КОРИСНЕ НА ПРАКТИЦІ на цю тему написано англійською мовою. У російськомовних джерелах переважно лише загальновідома теорія з демонстраційними прикладами лише найпримітивніших випадків.

Повністю погоджуся з останнім зауваженням. Наприклад, Google при спробі знайти щось на кшталт «книги Байєсовськая ймовірність», нічого виразного не видав. Щоправда, повідомив, що книгу з байєсівською статистикою заборонили у Китаї. (Професор статистики Ендрю Гельман повідомив у блозі Колумбійського університету, що його книгу «Аналіз даних за допомогою регресії та багаторівневих/ієрархічних моделей» заборонили публікувати в Китаї. Тамтешнє видавництво повідомило, що «книга не отримала схвалення влади через різні політично чутливі матеріали тексте».) Цікаво, чи не аналогічна причина призвела до відсутності книг з Байєсівської ймовірності в Росії?

Консерватизм у процесі обробки інформації людиною

Імовірності визначають ступінь невизначеності. Імовірність, як згідно з Баєсом, так і нашої інтуїції, становить просто число між нулем і тим, що представляє ступінь, для якого дещо ідеалізована людина вважає, що твердження вірне. Причина, через яку людина дещо ідеалізована, полягає в тому, що сума її ймовірностей для двох взаємно виключних подій повинна дорівнювати її ймовірності того, що відбудеться будь-яка з цих подій. Властивість адитивності має такі наслідки, що мало реальних людей можуть відповідати їм усім.

Теорема Байєса – це очевидне наслідок якості адитивності, безперечне і узгоджене всім прибічників ймовірностей, як Байєса, і інших. Один з способів написати це наступний. Якщо Р(H А |D) - наступна ймовірність того, що гіпотеза А була після того, як дана величина D спостерігалася, Р(H А) - його апріорна ймовірність до того, як спостерігалася дана величина D, Р(D|H А ) – ймовірність того, що дана величина D спостерігатиметься, якщо правильно Н А, а Р(D) – безумовна ймовірність даної величини D, то

(1) Р(H А | D) = Р (D | H А) * Р (H А) / Р (D)

Р(D) найкраще розглядати як нормалізуючу константу, що змушує апостеріорні ймовірності скласти в цілому одиницю по вичерпному набору гіпотез, що взаємно виключають, які розглядаються. Якщо її необхідно підрахувати, вона може бути такою:

Але частіше Р(D) усувається, а чи не підраховується. Зручний спосіб усувати її полягає в тому, щоб перетворити теорему Байєса у форму відношення ймовірність-шанси.

Розглянемо іншу гіпотезу, Н B , що взаємно виключає Н А, і змінимо думку про неї на основі тієї ж самої даної величини, яка змінила вашу думку про Н А. Теорема Байєса каже, що

(2) Р(H B | D) = Р (D | H B) * Р (H B) / Р (D)

Тепер розділимо рівняння 1 на рівняння 2; результат буде таким:

де Ω 1 – апостеріорні шанси на користь Н А через H B , Ω 0 – апріорні шанси; Рівняння 3 – це така ж відповідна версія теореми Байєса як і Рівняння 1, і часто значно корисніша особливо для експериментів за участю гіпотез. Прихильники Байєса стверджують, що теорема Байєса – формально оптимальне правило про те, як переглядати думки у світлі нових даних.

Ми цікавимося порівнянням ідеальної поведінки, визначеної теоремою Байєса, з фактичною поведінкою людей. Щоб дати вам деяке уявлення про те, що це означає, спробуємо провести експеримент з вами як з випробуваним. Ця сумка містить 1000 фішок покеру. У мене дві такі сумки, причому в одній 700 червоних та 300 синіх фішок, а в іншій 300 червоних та 700 синіх. Я підкинув монету, щоби визначити, яку використовувати. Таким чином, якщо наші думки збігаються, ваша ймовірність в даний час випаде сумка, в якій більше червоних фішок - 0,5. Тепер, Ви навмання складаєте вибірку з поверненням після кожної фішки. У 12 фішках ви отримуєте 8 червоних та 4 синіх. Тепер, на основі всього, що ви знаєте, яка ймовірність того, що випала сумка, де більше червоних? Зрозуміло, що вона вища, ніж 0,5. Будь ласка, не продовжуйте читати, доки ви не записали вашу оцінку.

Якщо ви схожі на типового випробуваного, ваша оцінка потрапила до діапазону від 0,7 до 0,8. Якби ми зробили відповідне обчислення, проте відповідь була б 0,97. Дійсно дуже рідко людина, якій попередньо не продемонстрували вплив консерватизму, приходить до такої високої оцінки, навіть якщо вона була знайома з теоремою Байєса.

Якщо частка червоних фішок у сумці – р, то ймовірність отримання rчервоних фішок та ( n –r) синіх в nвибірках із поверненням – p r (1-p)n-r. Так, у типовому експерименті з сумкою та покерними фішками, якщо НAозначає, що частка червоних фішок становить р Аі НB- означає, що частка складає рB, Тоді ставлення ймовірності:

При застосуванні формули Байєса необхідно враховувати лише ймовірність фактичного спостереження, а не ймовірності інших спостережень, які він, можливо, зробив би, але не зробив. Цей принцип має широке вплив на всі статистичні та нестатистичні застосування теореми Байєса; це найважливіший технічний інструмент роздумів Байєса.

Байєсівська революція

Ваші друзі та колеги розмовляють про щось під назвою «Теорема Байєса» або «Байєсовське правило», або про щось під назвою байєсівське мислення. Вони дійсно зацікавлені в цьому, так що ви лізете в інтернет і знаходите сторінку про теорему Байєса і це рівняння. І все… Чому математична концепція породжує в думці такий ентузіазм? Що за «Байєсіанська революція» відбувається в середовищі вчених, причому стверджується, що навіть сам експериментальний підхід може бути описаний, як її окремий випадок? У чому секрет, який знають послідовники Байєса? Що за світло вони бачать?

Байєсівська революція в науці відбулася не тому, що дедалі більше когнітивних учених раптово почали помічати, що ментальні явища мають байєсівську структуру; не тому, що вчені в кожній області почали використовувати байєсівський метод; але тому, що наука сама по собі є окремим випадком теореми Байєса; експериментальне свідчення є байєсовським свідченням. Байєсівські революціонери стверджують, що коли ви виконуєте експеримент і отримуєте свідоцтво, яке «підтверджує» або «заперечує» вашу теорію, це підтвердження чи спростування відбувається за байєсовськими правилами. Для прикладу, ви повинні брати до уваги не тільки те, що ваша теорія може пояснити явище, але й те, що є інші можливі пояснення, які можуть передбачити це явище.

Раніше найбільш популярною філософією науки була – стара філософія, яка була зміщена байєсовською революцією. Ідея Карла Поппера, що теорії можуть бути повністю сфальсифіковані, проте ніколи не можуть бути повністю підтверджені, це ще один окремий випадок байєсівських правил; якщо p(X|A) ≈ 1 – якщо теорія робить вірні передбачення, тоді спостереження ~X дуже фальсифікує А. З іншого боку, якщо p(X|A) ≈ 1 і ми спостерігаємо Х, це не дуже сильно підтверджує теорію; можливо якась інша умова В, така що p(X|B) ≈ 1, і при якому спостереження Х не свідчить на користь А але свідчить на користь В. Для спостереження Х, що безумовно підтверджує А, ми повинні були б знати не те, що p(X|A) ≈ 1, а що p(X|~A) ≈ 0, що ми не можемо знати, оскільки ми не можемо розглядати всі можливі альтернативні пояснення. Наприклад, коли ейнштейнівська теорія загальної відносності перевершила ньютонівську добре підтверджувану теорію гравітації, це зробило все передбачення ньютонівської теорії окремим випадком пророкування ейнштейнівської.

Схожим чином, попперівська заява, що ідея має бути фальсифікована, може бути інтерпретована як маніфестація байєсовського правила про збереження ймовірності; якщо результат Х є позитивним свідченням для теорії, тоді результат Х повинен спростовувати теорію в якомусь обсязі. Якщо ви намагаєтеся інтерпретувати обидва Х і ~Х як ті, що «підтверджують» теорію, байєсовські правила кажуть, що це неможливо! Щоб збільшити ймовірність теорії, ви повинні піддати її тестам, які потенційно можуть знизити її ймовірність; це не просто правило, щоб виявляти шарлатанів у науці, але наслідок теореми байесівської ймовірності. З іншого боку, ідея Поппера, що потрібна лише фальсифікація і не потрібне підтвердження є невірною. Теорема Байєса показує, що фальсифікація це дуже сильне свідчення, порівняно з підтвердженням, але фальсифікація все ще ймовірна за своєю природою; вона не управляється фундаментально іншими правилами і не відрізняється від підтвердження, як стверджує Поппер.

Таким чином, ми виявляємо, що багато явищ у когнітивних науках, плюс статистичні методи, що використовуються вченими, плюс науковий метод сам по собі – всі вони є окремими випадками теореми Байєса. У цьому полягає Байєсовська революція.

Ласкаво просимо до Байєсовської Змови!

Література з Баєсівської ймовірності

2. Дуже багато різних застосувань Байєса визначає нобелівський лауреат з економіки Канеман (з товаришами) у чудовій книзі. Лише у моєму короткому конспекті цієї великої книги я нарахував 27 згадок імені пресвітеріанського священика. Мінімум формул. (.. Мені дуже сподобалася. Правда, складна, багато математики (а куди без неї), але окремі розділи (наприклад, глава 4. Інформація), явно по темі. Раджу всім. Навіть, якщо математика для вас складна, читайте через рядок , пропускаючи математику, і вивуджуючи корисні зерна.

14. (доповнення від 15 січня 2017 р.), глава з книги Тоні Кріллі. 50 ідей, про які потрібно знати. Математика.

Фізик Нобелівський лауреат Річарда Фейнмана, відгукуючись про одного філософа з особливо великою зарозумілістю, якось сказав: «Мене дратує зовсім не філософія як наука, а помпезність, яка створена навколо неї. Якби тільки філософи могли самі з себе посміятися! Якби тільки вони могли сказати: «Я говорю, що це ось так, а Фон Лейпциг вважав, що це по-іншому, а він теж дещо в цьому тямить». Якби тільки вони не забували пояснити, що це лише їх .

Корисна сторінка? Збережи або розкажи друзям

Якщо подія Аможе статися тільки при виконанні однієї з подій, які утворюють повну групу несумісних подій, то ймовірність події Аобчислюється за формулою

Ця формула називається формулою повної ймовірності.

Знову розглянемо повну групу несумісних подій, ймовірність появи яких . Подія Аможе статися тільки разом з будь-якою з подій, які будемо називати гіпотезами. Тоді за формулою повної ймовірності

Якщо подія Асталося, то це може змінити ймовірність гіпотез .

За теоремою множення ймовірностей

.

Аналогічно для інших гіпотез

Отримана формула називається формулою Байєса (формулою Бейєса). Ймовірності гіпотез називаються апостеріорними ймовірностями, тоді як - апріорними ймовірностями.

приклад.До магазину надійшла нова продукція із трьох підприємств. Процентний склад цієї продукції наступний: 20% – продукція першого підприємства, 30% – продукція другого підприємства, 50% – продукція третього підприємства; далі, 10% продукції першого підприємства вищого ґатунку, на другому підприємстві - 5% і на третьому - 20% продукції вищого ґатунку. Знайти ймовірність того, що випадково куплена нова продукція виявиться найвищого гатунку.

Рішення.Позначимо через Уподія, що полягає в тому, що буде куплено продукцію вищого ґатунку, через позначимо події, що полягають у купівлі продукції, що належить відповідно до першого, другого та третього підприємств.

Можна застосувати формулу повної ймовірності, причому у наших позначеннях:

Підставляючи ці значення у формулу повної ймовірності, отримаємо ймовірність:

приклад.Один із трьох стрільців викликається на лінію вогню і робить два постріли. Ймовірність влучення в ціль при одному пострілі для першого стрільця дорівнює 0,3, для другого - 0,5; для третього – 0,8. Мета не вражена. Знайти ймовірність того, що постріли зроблено першим стрільцем.

Рішення.Можливі три гіпотези:

На лінію вогню викликаний перший стрілець,

На лінію вогню викликаний другий стрілець,

На лінію вогню викликано третій стрілець.

Оскільки виклик на лінію вогню будь-якого стрілка рівноможливий, то

Через війну досвіду спостерігалося подія У - після зроблених пострілів мета не вражена. Умовні ймовірності цієї події при зроблених гіпотезах рівні:

за формулою Байєса знаходимо ймовірність гіпотези після досвіду:

приклад.На трьох верстатах-автоматах обробляються однотипні деталі, що надходять після обробки загальний конвеєр. Перший верстат дає 2% шлюбу, другий – 7%, третій – 10%. Продуктивність першого верстата в 3 рази більша за продуктивність другого, а третього – у 2 рази менша, ніж другого.

а) Який відсоток шлюбу на конвеєрі?

б) Які частини деталей кожного верстата серед бракованих деталей на конвеєрі?

Рішення.Візьмемо з конвеєра навмання одну деталь і розглянемо подію А - деталь бракована. Воно пов'язане з гіпотезами щодо того, де була оброблена ця деталь: - узята навмання деталь оброблена на -ом верстаті, .

Умовні ймовірності (за умови завдання вони дано у формі відсотків):

Залежності між продуктивністю верстатів означають таке:

Оскільки гіпотези утворюють повну групу, то .

Розв'язавши отриману систему рівнянь, знайдемо: .

а) Повна ймовірність того, що взята навмання з конвеєра деталь - бракована.