#probability #computer_science

אי תלות

הצגנו את ה ההסתברות המותנת כדי למצוא מידע חלקי שמאורע $B$ נותן לנו על מאורע $A$ . מקרה מעניין וחשוב הוא מצב שבוא ההתרחשות של $B$ לא נותנת לנו כלל מידע ולא משפיע על ההסתברות של $A$ כלומר

P (A | B) = P (A)

כשזה קורה אנחנו אומרים ש $A, B$ הם מאורעות בלתי תלויים. נוכל לפתח את זה באופן הבא

P (A \cap B) = P (A) P (B)

אנחנו מאמצים את ההגדרה השנייה כי היא מכסה את המקרה שההסתברות של $B$ היא 0.
מהנוסחה השנייה גם ניתן לראות שמדובר ביחס סימטרי אם אחד בלתי תלוי בשני אז גם הפוך מתקיים.
מצד שני, חשוב לשים לב שאי תלות היא משהו שקשה לתאר אותו בצורה ויזואלית טובה במרחב המדגם.

אי תלות בין מאורעות זרים

האינטואיציה הראשונית אומרת לנו באופן די מידי שאם מאורעות זרים אז הם בלתי תלויים. אבל בידיוק ההפך הוא הנכון,
שתי מאורעות זרים שהסתברותם גדולה מ $0$ יקיימו שההסתברות $P (A \cap B) = 0$ אבל הכפל בינהם שונה מ0 בהכרח.
דוגמה טובה לכך היא $A, A^{c}$ . מאורעות כאלה הם תלויים אחד בשני וגם האינטואיצייה יכולה לעזור לנו להבין את זה , כיוון שאם אחד מהם קורה , אז השני בטוח לא קורה זה כבר מראה על איזשהי תלות מסויימת.

Pasted image 20221106165406.png|450

דוגמאות

יש לנו ניסוי שכולל שתי הטלות רצופות לקובייה עם 4 פאות, כאשר הקובייה הוגנת. כלומר לכל צירוף שיכול לצאת משתי ההטלות יש הסתברות שווה של $\frac{1}{16}$ .

בהינתן המאורעות

A_{i} = {first roll results in i} B_{j} = {second roll results in j}

האם הם מאורעות בלתי תלויים?
ההסתברות של החיתוך בינהן היא כאמור מהנתון $\frac{1}{16}$ .
ההסתברות לכל הטלה בנפרד כפי שהמאורעות מוגדרים הוא כמובן $\frac{1}{4}$ לכל אחד מהם.
אם כן לפי ההגדרה מאורעות אלו הם בלתי תלויים.

כעת נגדיר את המאורעות

A_{i} = {first roll results in 1} B_{j} = {sum of the two rolls is 5}

כעת התשובה כבר לא כזאת ברורה.

P (A \cap B) = \frac{1}{16}

בגלל שהמרחב הוא שווה הסתברות נוכל להגיד ש

P (B) = \frac{number of elements in B}{16} = \frac{| {(1, 4), (2, 3), (3, 2), (4, 1)} |}{16} = \frac{4}{16} = \frac{1}{4}

ו $P (A)$ הוא $\frac{1}{4}$ ולכן הכפל בינהם גם יוצא $\frac{1}{16}$ כלומר המאורעות בלתי תלויים.

נשים לב אם כן שאם $A, B$ בלתי תלויים ההתרחשות של $B$ לא נותנת לנו מידע חדש על ההסתברות של $A$ .

אי תלות בין מאורעות והמשלים של המאורע

באופן אינטואיטיבי אפילו אנחנו יכולים להגיד שאם $A, B$ בלתי תלויים כלומר ההתרחשות של $B$ לא משפיע על $A$ אז גם אי ההתרחשות ולכן אם $A, B$ בלתי תלויים אז גם $A, B^{c}$ בלתי תלויים.

אי תלות מותנת

בהינתן מאורע $C$ . המאורעות $A, B$ ייקראו בלתי תלויים באופן מותנה אם (המשמעות של זה היא שאם מאורעות הן בלתי תלויות באופן מותנה אז אנחנו יודעים שהמאורעות $A, B$ בלתי תלויות אחד בשני במרחב המדגם שבו $C$ קרה) :

P (A \cap B | C) = P (A | C) P (B | C)

נשתמש ב חוק הכפל כדי לפתח הגדרה אלטרנטיבית נוחה יותר

P (A \cap B | C) = \frac{P (A \cap B \cap C)}{P (C)} = \frac{P (C) P (B | C) P (A | B \cap C)}{P (C)} = P (B | C) P (A | B \cap C)

כעת מהשוואת שתי הביטויים הנ״ל ובהנחה ש $P (B | C)$ אינה 0 נקבל

P (A | B \cap C) = P (A | C)

אי תלות של n מאורעות

נאמר שהמאורעות $A_{1}, A_{2}, A_{3}, \dots, A_{n}$ בלתי תלויים אם מתקיים

P (⋂_{i \in S} A_{i}) = \prod_{i \in S} P (A_{i}) for every subset S of {1, 2, 3, 4, \dots, n}

למשל עבור $A_{1, 2, 3}$ אי תלות בין שלושתם תתקיים אם :

\begin{matrix} P (A_{1} \cap A_{2}) = P (A_{1}) P (A_{2}), \\ P (A_{1} \cap A_{3}) = P (A_{1}) P (A_{3}), \\ P (A_{2} \cap A_{3}) = P (A_{2}) P (A_{3}), \\ P (A_{1} \cap A_{2} \cap A_{3}) = P (A_{1}) P (A_{2}) P (A_{3}) \end{matrix}

שלושת התנאים הראשונים מבטיחים לנו שכל שתי מאורעות הם בלתי תלויים, התכונה הזאת נקראת pairwise independent כלומר אי תלות בזוגות.
החוק הרביעי חשוב גם כן ולא נובע מהשלושה האחרים, כמו שהחוק הרביעי לא מעיד על אי תלות בזוגות.

אי תלות בזוגות לא מראה על אי תלות:
נניח ויש שלנו שתי הטלות מטבע בלי תלויות של מטבע הוגן, נגדיר את המאורעות הבאים

\begin{matrix} H_{1} = {1st toss is a head} \\ H_{2} = {2nd toss is a head} \\ D = {the two tosses have different results} \end{matrix}

המאורעות $H_{1}, H_{2}$ הם בלתי תלויים בהגדרה. כמו כן נקבל

P (D | H_{1}) = \frac{P (H_{1} \cap D)}{P (H_{1})} = \frac{\frac{1}{4}}{\frac{1}{2}} = \frac{1}{2} = P (D)

באופן דומה נקבל אי תלות בין $D$ ל $H_{2}$ . אבל :

P (H_{1} \cap H_{2} \cap D) = 0 \neq \frac{1}{2} \frac{1}{2} \frac{1}{2} = P (H_{1}) P (H_{2}) P (D)

מבחני אי תלות והסתברויות בינומיות

אם ניסוי כלשהו מכיל רצף של מאורעות בלתי תלויים אבל שלבים זהים אז נגיד שיש רצף של מבחני אי תלות. במקרה המיוחד שיש רק שתי תוצאות אפשריות לכל שלב, נאמר שיש לנו רצף אי תלות של מבחני ברנולי .
נניח שישנו ניסוי עם $n$ הטלות בלתי תלויות של מטבע, ההסתברות לקבל head בהטלה היא $p$ . בקונטקסט הזה אי תלות אומר שהמאורעות $A_{1}, A_{2}, \dots, A_{n}$
כאשר $A_{i}$ מייצג את המאורע שההטלה ה $i$ היא head.
נוכל לתאר את אי תלות מבחני ברנולי כתיאור רציף של מרחב המדגם עבור $n = 3$ :
Pasted image 20221113104000.png|400

ניתן לראות שבלי קשר לאיזה הטלה אנחנו ההסתברות המותנת לקבל head לאחר מספר הטלות כלשהו נשאר p . זה כמובן נובע בגלל אי תלות.
נוכל לראות שכל הסתברות במסלול הזה ללא קשר לתוצאה הסופית שמכיל $k$ Head ו $3 - k$ Tails הוא בעל הסתברות של $p^{k} (1 - p)^{3 - k}$ . הנוסחה הזאת גם מוכללת ל $n$ זרקות $\forall_{k \in [n] \cup {0}} : p^{k} (1 - p)^{n - k}$ .

נבחן את ההסתברות הבאה :

p (k) = P (k heads come up in an n-toss sequence)

כלומר אם מקודם דיברנו על מסלול אחד שיקיים את זה עכשיו אנחנו רוצים לדעת את ההסתברות של כל המסלול. כלומר כל מה שנשאר כעת הוא ״בחירה״ של מסלול בלי חזרה ובלי חשיבות לסדר כלומר המקדם הבינומי כפי שדיברנו בcombinatorics basics .

p (k) = (\binom{n}{k}) p^{k} (1 - p)^{n - k}

נשים לב ש $0! = 1$

$p (k)$ מוגדר להיות הסתברות בינומית או משתנה בינומי שעל זה נתמקד יותר במשתנים מקריים בדידים. נשים לב לעוד משהו חשוב, הסכום של ההסתברויות הבינומיות בסופן של דבר חייב לצאת $1$ כי אנחנו מדברים על הסתברות $p$ וההסתברות המשלימה שלו.

\sum_{k = 0}^{n} (\binom{n}{k}) p^{k} (1 - p)^{n - k} = 1