#probability #computer_science

הסתברות מותנת

הסתברות מותנת מספקת לנו דרך להגיע למסקנות ותוצאות של ניסוי בהתבסס על מידע חלקי. הנה כמה דוגמאות שמתארות את הקונספט :

בניסוי שכולל בתוכו שתי הטלות רצופות של קובייה, סכום שתי ההטלות הוא $9$ . מה הסבירות שההטלה הראשונה הייתה 6?
במשחק ניחוש שמות, האות הראשונה היא $t$ של המילה שנוחשה. מה הסבירות שהאות השנייה היא $h$ ?
בהינתן שתוצאות הבדיקה הינן שליליות מה הסיכוי של בן אדם להיות נגוע במחלה מסויימת?

באופן מדוייק יותר, בהינתן ניסוי, מרחב מדגם מתאים וחוקי הסתברות, ממחל שאנחנו יודעים שהתוצאה שלנו היא בתוך מאורע מסויים $B$ . אנחנו מעוניינים לכמת את הסבירות שהתוצאה שלנו שייכת גם למאורע אחר $A$ . לפיכך, אנחנו מעוניינים לבנות חוק הסתברות חדש שלוקח בחשבון את המידע שיש ברשותנו: חוק הסתברות כך שלכל מאורע $A$ , מתאר את ההסתברות המותנת של $A$ בהינתן $B$ .
הסימון של זה הוא $P (A | B)$ .
נרצה שהחוק הזה יהווה חוק הסתברות לגיטימי שמקיים את האקסיומות. ההסתברות המותנית צריכה להיות עקבית עם האינטואציה ההסתברותית שלנו.

בסופו של דבר אנחנו נקבל את הטענה הבאה:

P (A | B) = \frac{P (A \cap B)}{P (B)}

הנחת היסוד היא ש $P (B) > 0$ . אם להיות ספציפיים יותר אז $P (A | B) \geq 0 \to P (B) > 0$
כלומר ההסתברות המותנת היא החלק היחסי של החיתוך בין שתי ההסתברויות להסתברות שאנחנו מניחים שקרתה.

פירוט ההסתברות המותנת כחוק הסתברות

אי שליליות- קל מאוד מההגדרה לראות זאת כיוון שמדובר בשבר של איברים חיוביים
נורמליזציה-

P (Ω | B) = \frac{P (Ω \cap B)}{P (B)} = \frac{P (B)}{P (B)} = 1

אדטיביות- בהינתן $A_{1}, A_{2}$ מאורעות זרים:

\begin{matrix} P (A_{1} \cup A_{2} | B) = \frac{P ((A_{1} \cup A_{2}) \cap B)}{P (B)} = \frac{P ((A_{1} \cap B) \cup (A_{2} \cup B))}{P (B)} \\ = \frac{P (A_{1} \cup B) + P (A_{2} \cup B)}{P (B)} = \frac{P (A_{1} \cup B)}{P (B)} + \frac{P (A_{2} \cup B)}{P (B)} = P (A_{1} | B) + P (A_{2} | B) \end{matrix}

המעבר השלישי נובע בגלל שאם המאורעות זרים אז גם החיתוך שלהם עם $B$ זר אחד לשני.

כמובן שמהנ״ל נובע שבהנתן קבוצות לא זרות אז

P (A \cup C | B) \leq P (A | B) + P (C | B)

וכמובן גם ש

P (B | B) = 1

תכונות נוספות של הסתברות מותנת

ניתן להסתכל על הסתברות מותנת גם כחוק הסתברות על ״יקום חדש״ $B$ , בגלל שכל ההסתברות המותנת מרוכזת סביבו.
אם אנחנו במרחב שווה הסתברות בדיד

P (A | B) = \frac{| A \cap B |}{| B |}

$P (A | B) = 1 - P (A^{c} | B)$

נוכיח זאת

\frac{P (A \cap B)}{P (B)} + \frac{P (A^{c} \cap B)}{P (B)} = \frac{P (A \cap B) + P (A^{c} \cap B)}{P (B)}

במונה יש שתי מאורעות זרים כי $A, A^{c}$ מאורעות זרים ולכן

\frac{P ([A \cap B] \cup [A^{c} \cap B])}{P (B)} = \frac{P (B \cap (A \cup A^{c}))}{P (B)} = \frac{P (B \cap Ω)}{P (B)} = \frac{P (B)}{P (B)} = 1

דוגמאות להסתברות מותנת

נזרוק מטבע הוגן שלוש פעמים רצופות. ברצוננו למצוא את ההסתברות $P (A | B)$ בהינתן

A = {more heads than tails} B = {first toss is a head}

מרחב המדגם ייראה ככה:

Ω = {H H H, H H T, H T H, H T T, T H H, T H T, T T H, T T T}

בגלל שמדובר במרחב שווה הסתברות בדיד יתקיים

P (B) = \frac{4}{8}

המאורע $A \cap B$ יכיל בתוכו את שלושת האלמנטים $H H H, H H T, H T H$ ולכן ההסתברות היא

P (A \cap B) = \frac{3}{8}

וההסתברות המותנת לפי הנוסחה היא

P (A | B) = \frac{\frac{3}{8}}{\frac{4}{8}} = \frac{3}{4}

יכלנו גם לחלק פשוט את העוצמות כי זה מרחב שווה הסתברות.

נגלגל פעמיים קובייה הוגנת עם 4 צדדים (מרחב שווה הסתברות). נסמן $X, Y$ כתוצאות ההטלה הראשונה והשנייה בהתאמה ונרצה למצוא את $P (A | B)$ בהינתן

A = {m a x (X, Y) = m}, B = {m i n (X, Y) = 2}

m יכול להיות כל אחד מהערכים.
נרצה להעריך את הסתברות החיתוך של המאורעות ושל $B$ . בגלל שזה מרחב שווה הסתברות נוכל פשוט לחלק בין העוצמות למשל עבור m=2 נקבל מרחב מדגם כזה
Pasted image 20221106003323.png|350
בכל מקרה נוכל לשרטט את הנ״ל לכל m ונקבל

P ({m a x (X, Y) = m} | B) = {\begin{cases} \frac{2}{5} & m = 3 \lor m = 4 \\ \frac{1}{5} & m = 2 \\ 0 & m = 1 \end{cases}

קבוצת עיצוב שמרנית $C$ וקבוצת עיצוב חדשנית $N$ מתבקשים בנפקד לעצב מוצר חדש בתוך חודש. מניסיון עבר אנחנו יודעים ש

\begin{matrix} (a) The probability that team C is successful is \frac{2}{3} \\ (b) The probability that team N is successful is \frac{1}{2} \\ (c) The probability that at least one team is successful is \frac{3}{4} \end{matrix}

בהנחה שבידיוק קבוצה אחת עיצבה את המוצר בהצלחה, מה ההתסברות שזאת הייתה קבוצה $N$ ?
מרחב המדגם שלנו ייראה ככה

Ω = {S S, S F, F F, F S}

כאשר התו הראשון מייצג את ההצלחה או כשלון של קבוצה $C$ והשני את של קבוצה $N$ . וכמובן שלכל אחת יש שתי מצבים ${S, F}$ (אלו מאורעות של מרחב מדגם אחר שלא קשורות באופן ישיר למרחב המדגם שלנו).
אנחנו יודעים את הנתונים הבאים

\begin{matrix} P (S S) + P (S F) = \frac{2}{3}, P (S S) + P (F S) = \frac{1}{2}, P (S S) + P (S F) + P (F S) = \frac{3}{4} \end{matrix}

מאקסיומת הנורמליות ומהנתונים הנ״ל נוכל לחלץ את כל ההסתברויות במרחב המדגם

P (S S) = \frac{5}{12}, P (S F) = \frac{1}{4}, P (F S) = \frac{1}{12}, P (F F) = \frac{1}{4}

וסך הכל

P (F S | {S F, F S}) = \frac{\frac{1}{12}}{\frac{1}{4} + \frac{1}{12}} = \frac{1}{4}

שימוש בהסתברות מותנת לבניית מודל הסתברות

כשבונים מודל הסתברות לניסוי שיש לו אופי סדרתי, נהוג קודם לכן לתאר את ההסתברויות המותנות ולאחר מכן להשתמש בהם כדי לבנות את ההסתברויות שאינן מותנות.
זאת בגלל החוק $P (A \cap B) = P (B) P (A | B)$ שמשתמע ישירות מהכלל של הסתברות מותנת אבל הוא מאוד שימושי בתהליך הזה.

כדי להדגים את השימוש בהסתברות מותנת נתאר את התרחיש הבא:
זיהוי רדאר. אם מטוס קרב נוכח בשמים הרדאר מזהה אותו ומשמיע אזעקה עם הסתברות של 0.99. אם המטוס קרב לא נוכח הרדאר ישמיע אזעקת שווא בהתסברות של 0.1 . ניתן להניח שמטוס הקרב יהיה בשמיים בשהסתברות של 0.05. מהי ההסתברות של מטוס הקרב להיות נוכח ככה שאין אזעקה?
ייצוג סדרתי של הניסוי מתאים כאן, תיכף נראה זאת, נגדיר את המאורעות הבאים

A = {an aircraft is present}, B = {the radar generates an alarm}

נשים לב שיתקיים גם

A^{c} = {an aircraft is not present}, B^{c} = {the radar does not generates an alarm}

נסתכל על התיאור הרציף של הניסוי
Pasted image 20221106140123.png|350
כל תוצאה אפשרית היא עלה בעץ וכל הסתברות בעלה שווה לכפל של ההסתברויות שבענפים בדרך אל השורש. נשים לב שהענפים זה ההסתברויות המותנות שנתונות לנו במקרה הזה.
סך הכל נקבל

\begin{matrix} P (A^{c} \cap B) = P (A^{c}) P (B | A^{c}) = 0.95 \cdot 0.10 = 0.095 \\ P (A \cap B^{c}) = P (A) P (B^{c} | A) = 0.05 \cdot 0.01 = 0.0005 \end{matrix}

נוכל להכליל את התהליך שעשינו בדוגמה הזאת כדי לחשב הסתברויות בצירוף עם תיאור סדרתי מבוסס עץ של הניסוי:

מסדרים את העץ כך שמאורע שאנחנו מעוניינים בו משוייך לעלה. נתבונן בהתרחשוב המאורע כרצף של צעדים, כלומר, התזוזה על הענפים לאורך המסלול מהשורש לעלה.
מסמנים את ההסתברות המותנת בכל ענף של העץ.
נכפיל את כל נקודות המעבר במסלול מהשורש לעלה וזה ההתסברות של העלה.

במונחים מתמטיים אנחנו מתמודדים עם מאורע $A$ שמתרחש אם ורק אם סדרת האירועים $A_{1}, \dots, A_{n}$ התרחשו. כלומר

A = ⋂_{i = 1}^{n} A_{i}

זה בא לידי ביטוי כמסלול בעץ מהשורש עד לעלה.

חוק הכפל

מההסבר הנ״ל נוכל לנסח את החוק הבא,

בהנחה שכל ההסתברויות המותנות גדולות ממש מ0 אזי :

P (\cap_{i = 1}^{n} A_{i}) = P (A_{1}) P (A_{2} | A_{1}) P (A_{3} | A_{1} \cap A_{2}) \dots P (A_{n} | \cap_{i - 1}^{n - 1} A_{i})

אם נפתח כל אחד מההסתברויות המותנות נקבל

P (\cap_{i = 1}^{n} A_{i}) = P (A_{1}) \cdot \frac{P (A_{1} \cap A_{2})}{P (A_{1})} \dots \frac{P (\cap_{i = 1}^{n} A_{i})}{P (\cap_{i = 1}^{n - 1} A_{i})}

Pasted image 20221106144043.png

התמונה מקלה לראות את החוק עבור 2 מאורעות למשל ,

P (A_{1} \cap A_{2}) = P (A_{1}) \cdot P (A_{2} | A_{1})