#probability #computer_science

התניות על משתנים מקריים רציפים

בדומה ל התניות על משתנה בדיד , אנחנו יכולים להתנות משתנה מקרי על מאורע או על משתנה מקרי אחר ובהתאם להגדיר כל מיני רעיונות על ה PDF המותנה והתוחלת המותנת.

PDF מותנה במאורע

ה PDF המותנה של משתנה מקרי רציף $X$ בהינתן מאורע $A$ עם $P (A) > 0$ , מוגדר כפונקצייה האי שלילית $f_{X | A}$ שמקיימת

P (X \in B | A) = \int_{B} f_{X | A} (x) d x

כאשר $B \subseteq R$ .

CDF מותנה

נשים לב שמקרה פרטי של הנ״ל הוא המאורע $X \leq x, A = {X \in I}$ ובמצב זה נקבל את ה CDF המותנה

F_{X | A} (x) = P (X \leq x | A) = \frac{P (X \leq x \cap A)}{P (A)}

אם $B$ יהיה כל המישור הממשי אז תכונת הנורמליזצייה תתקיים

\int_{- \infty}^{\infty} f_{X | A} (x) d x = 1

בעצם המשמעות היא ש $f_{X | A}$ היא פונקציית צפיפות תקינה.

Note

עבור המקרה המיוחד שבו מתנים על מאורע מהצורה ${X \in A}$ עם הסתברות $P (X \in A) > 0$ נקבל:

P (X \in B | X \in A) = \frac{P (X \in B, X \in A)}{P (X \in A)} = \frac{\int_{A \cap B} f_{X} (x) d x}{P (X \in A)}

ואם נשווה עם הנוסחה הקודמת נקבל:

f_{X | {X \in A}} (x) = {\begin{cases} \frac{f_{X} (x)}{P (X \in A)} & x \in A \\ 0 & e l s e \end{cases}

כמו במקרה הבדיד, ה PDF המותנה יהיה $0$ מחוץ לקבוצה המותנת (במקרה למעלה זה $A$ ), בתוך הקבוצה המותנת, הPDF המותנה תקבל בידיוק את אותה ״הצורה״ של הגרסה הלא מותנת שלה, פשוט עם עם כפל בסקלר שהוא $\frac{1}{P (X \in A)}$ כך שתשמר תכונת הנורמליזצייה. בגדול הPDF המותנה שקול בתכונותיו לגרסה הלא מותנת רק שאנחנו נמצאים בעולם חודש תחת מאורע כלשהו.

המקרה הבדיד:
Pasted image 20221209122841.png|350

המקרה הרציף:
Pasted image 20230123165830.png|300
ניתן לראות בתמונה שכאשר $A$ הוא האינטרוול $[a, b]$ אז בקטע הזה הPDF המותנה נראה אותו דבר כמו הלא מותנה רק עם scaling.

חוסר זכרון של משתנה מקרי מעריכי

הזמן $T$ שלוקח לנורה כלשהי להשרף היא משתנה מקרי מעריכי עם פרמטר $λ$ .
סער מדליק את הנורה, עוזב את החדר וחוזר אליו לאחר $t$ זמן.
כשהוא חוזר הוא מגלה שהנורה עדיין דולקת שזה מתאים למאורע $A = {T > t}$ .
נגדיר $X = T - t$ להיות הזמן שנותר עד שהנורה נשרפת. נשאלת שאלה מהו ה $C D F$ המותנה של $X$ בהינתן $A$ ? עבור $x \geq 0$ יתקיים

\begin{matrix} P (X > x | A) = P (T > t + x | T > t) = \frac{P (T > t + x \cap T > t)}{P (T > t)} \\ = \frac{P (T > t + x)}{P (T > t)} = \frac{e^{- λ (t + x)}}{e^{- λ t}} = e^{- λ x} = P (X > x) \end{matrix}

וכמובן שמתקיים

F_{X | A} (x) = 1 - P (X > x | A) = 1 - P (X > x) = F_{X} (x)

המחשה

Pasted image 20230131003101.png|200
כפי שניתן לראות למרות ששמנו התנייה על ערך של $x$ בגלל שהשטח צריך להיות $1$ מה שקורה זה שהנורמליזצייה שעושים (ה scaling כמו שהראנו למעלה) מסדר את זה ככה שהפונקצייה תהיה אותה פונקצייה פשוט עם תזוזה ימינה ל x ולכן זה לא משפיע על השטח.

המשמעות של זה היא שהזמן שעבר $t$ בין הדלקת הנורה והחזרה של סער לחדר לא השפיע על ה CDF שהוא עדיין מעריכי עם משתנה $λ$ .
תכונה זאת נקראת חוסר הזכרון עליה כבר דיברנו במשתנים נוספים כמו הגיאומטרי.
באופן כללי, אם אנחנו ממדלים את הזמן שלוקח לסיים פעולה מסויימת עם משתנה מעריכי $X$ , התכונה הזאת מרמזת שכל עוד הפעולה לא הסתיימה, הזמן שנשאר להשלמתה יקבל את אותו $C D F$ לא משנה מתי הפעולה התחילה.
אם נחזור לדוגמת הנורה, ההסתברות שהנורה תישרף כעבור יותר 1100 שעות אם ידוע שלא נשרפה ב-100 השעות הראשונות, זהה להסתברות שתישרף כעבור 1000 שעות: מכיוון שהנורה נשרפת ברגע אקראי, 100 השעות הראשונות לא משפיעות על ההסתברות שהנורה תישרף בנקודת זמן כלשהי אחריהן.

נוכל למדל את התהליך באופן שקצת יותר ייתן אינטואצייה לקרבה שלו למשתנה גיאומטרי באופן הבא:

נסתכל על $δ$ כיחידת זמן כלשהי . ההסתברות $P (0 \leq T \leq δ) = f_{T} (0) \cdot δ = λ δ$ זה בעצם ההסתברות של ״הנורה להשרף ביחידת זמן דלתה״. נניח שהיא שרדה כעת $t$ זמן, ההסתברות $P (t \leq T \leq t + δ | T > t) = P (0 \leq T \leq δ) = λ δ$ כלומר ההסתברות של הנורה לשרוד עוד $δ$ זמן אחרי שהיא שרדה כבר $t$ היא שקולה כאילו לקחנו נורה חדשה ובדקנו מההתחלה את ההסתברות שלה לשרוד $δ$ זמן.
אפשר להסתכל על זה כמו מקרה בדיד כשמספר המקרים שואף לאינסוף וההסתברות להצלחה היא $δ λ$ . כלומר חילקנו את ציר הזמן למלא תתי מקטעים באורך $δ$ וכל מקטע זה בעצם ״ניסיון״ כמו במקרה הבדיד...

Pasted image 20230131002309.png|300

joint conditional PDF

כאשר מספר PDF מעורבים, המצב לא משתנה בהרבה. נניח לדודגמה ש $X, Y$ הם משתנים רציפים מאוחדים עם PDF משותף $f_{X, Y}$ .
אם נפעיל התנייה עם מאורע שהסתברותו חיובית מהצורה

C = {(X, Y) \in A}

נקבל:

f_{X, Y | C} (x, y) = {\begin{cases} \frac{f_{X, Y} (x, y)}{P (C)} & (x, y) \in A \\ 0 & e l s e \end{cases}

במצב זה נוכל לחלץ את ה PDF השולי של $X$ ( או $Y$ ) כך

f_{X | C} (x) = \int_{- \infty}^{\infty} f_{X, Y | C} (x, y) d y

ההסתברות והתוחלת השלמים על PDF

נזכיר שבמשפט ההסתברות השלמה נתנה לנו דרך לחשב הסתברות של מאורע מסויימת בהינתן $n$ מאורעות שאיחודם נותן את מרחב המדגם.
אם כן, בהינתן ${A_{i} | 1 \leq i \leq n}$ קבוצת מאורעות המהוות חלוקה של מרחב המדגם אזי

f_{X} (x) = \sum_{i = 1}^{n} P (A_{i}) f_{X | A_{i}} (x)

שזה נובע ישירות ממשפט ההסתברות השלמה שאומר

P (X \leq x) = \sum_{i = 1}^{n} P (A_{i}) P (X \leq x | A_{i})

שזה שקול ל

\int_{- \infty}^{x} f_{X} (t) d t = \sum_{i = 1}^{n} P (A_{i}) \int_{- \infty}^{x} f_{X | A_{i}} (t) d t

נשים לב שזה בעצם ה CDF של $f$ כלומר אם נבצע גזירה בשתי האגפים נקבל מליניאריות הנגזרת את השיוויון למעלה.

שימוש בהסתברות השלמה:
רכבת המטרו מגיע לתחנה הקרובה לביתך בכל רבע שעה החל מ $6$ בבוקר.
אתה הולך לתחנה כל בוקר בין 7:10 ל 7:30 בבוקר וזמן הגעתך מתפלג באופן אחיד בטווח הזמנים הזה. נרצה לחשב את ה PDF של הזמן שעליך להמתין עבור הרכבת הראשונה.

נסמן ב $X$ את זמן ההגעה שלך לרכבת ואנחנו יודעים שהוא מתפלג באופן אחיד באינטרוול לפי הנתון

Pasted image 20230123202901.png|250

נזכיר ש משתנה אחיד במצב זה יקיים שבקטע ההסתברות תהיה $\frac{1}{b - a} = \frac{1}{7:30-7:10} = \frac{1}{20}$ .
נגדיר את $Y$ להיות זמן זמן ההמתנה. נחשב את $f_{Y}$ באסטרטגיית ״הפרד ומשול״ .
נגדיר את $A, B$ להיות המאורעות

\begin{matrix} A = {7:10 \leq X \leq 7:15} = {you board the 7:15 train} \\ B = {7:15 \leq X \leq 7:30} = {you board the 7:30 train} \end{matrix}

זאת כיוון שאנחנו יודעים שבטווח זמנים זה יכולות להגיע שתי רכבות סך הכל.
כעת נרצה להתנות על שתי המאורעות הללו על $Y$ ובאמצעותן לחשב את $f_{y}$ עצמו עם הנוסחה

f_{Y} (y) = P (A) \cdot f_{Y | A} (y) + P (B) \cdot f_{y | B} (y)

כיוון שזמן ההגעה מתפלג באופן אחיד זמן ההמתנה ״מתפלג חלקית באופן אחיד״ בקטעים שיצרנו, כלומר ביחס לשתי המאורעות שיצרנו בטווח הזמנים הזה זמן ההמתנה מתפלג באופן אחיד.

נשים לב שבהינתם שזמן ההגעה הוא בטווח הזמנים של $A$ זמן ההמתנה מתפלג באופן אחיד באינטרוול $[0, 5]$ לפי הנוסחה נקבל ש

f_{Y | A} (y) = \frac{1}{5 - 0} = \frac{1}{5}

Info

חידוד- הסיבה ש $Y | A$ מתפלג באופן אחיד היא שניתן לחשב אותו כפונקצייה ליניארית של $X$ בהינתן שהוא בטווח הזמנים של $A$ כלומר במצב זה $y = 7:15-x$

Pasted image 20230124142913.png|300

באופן דומה על $f_{Y | B}$ שמתפלג בצורה אחידה גם כן נקבל :

f_{Y | B} (y) = \frac{1}{15 - 0} = \frac{1}{15}

Pasted image 20230124143102.png|300

הסתברות היא שטח ולכן נקבל

P (A) = \frac{1}{4} P (B) = \frac{3}{4}

שכן השטח של $A$ הוא רבע מהשטח הכולל ובאופן דומה לגבי $B$

וסך הכל נקבל

\begin{matrix} \forall_{y \in [0, 5]} : f_{Y} (y) = \frac{1}{4} \frac{1}{5} + \frac{3}{4} \frac{1}{15} = \frac{1}{10} \\ \forall_{y \in (5, 20]} : \frac{1}{4} 0 + \frac{3}{4} \frac{1}{15} = \frac{1}{20} \end{matrix}

Pasted image 20230124144241.png|300

PDF מותנה ב PDF אחר

יהי $X, Y$ משתנים מקריים רציפים עם pdf משותף $f_{X, Y}$ . עבור כל $y$ שיקיים $f_{Y} (y) > 0$ , ה PDF המותנה של $X$ בהינתן ש $Y = y$
(הכוונה בישוויון כאן הוא ש $Y$ נמצא בטווח מאוד קטן שסובב את $y$ ) מוגדר על ידי

f_{X | Y} (x | y) = \frac{f_{X Y} (x, y)}{f_{Y} (y)}

זאת הגדרה שמקבילה לנוסחה של תלות בין משתנים מקריים בדידים

p_{X | Y} (x | y) = \frac{P (X = x, Y = y)}{P (Y = y)} = \frac{p_{X, Y} (x, y)}{p_{Y} (y)}

כמובן שמהנ״ל נובע

\begin{matrix} f_{X, Y} (x, y) = f_{X | Y} (x | y) \cdot f_{Y} (y) \\ f_{X} (x) = \int_{- \infty}^{\infty} f_{X | Y} (x | y) \cdot f_{Y} (y) d y \end{matrix}

ובאופן שקול על $f_{Y}$ כמובן.

הדרך הנוחה להסתכל על זה היא להתייחס ל $y$ כמעין מספר קבוע ולהגדיר ש $f_{X | Y} (x | y)$ היא פונקצייה עם נעלם אחד שהוא $x$ . באופן הזה קל לראות ש $f_{X | Y} (x | y)$ מקבלת את אותה הצורה של $f_{X, Y} (x, y)$ , בגלל ש $f_{Y} (y)$ לא תלוי ב $x$ כלומר משמש כמעין סקלר.

Info

הרעיון כאן הוא שאם ניקח ערך מסויים של $y$ אנחנו נקבל מעין חתיכה של $f_{X | Y} (\cdot | y)$
של הפונקצייה המשותפת עם הפעלת נורמליזצייה וזאת פונקציית ה PDF המותנת.
Pasted image 20230125004944.png|250

כך גם תשמר תכונת הנורמליזצייה כי אנחנו יודעים ש

f_{Y} (y) = \int_{- \infty}^{\infty} f_{X, Y} (x, y) d x

ולכן

\int_{- \infty}^{\infty} f_{X | Y} (x | y) = \int_{- \infty}^{\infty} \frac{f_{X, Y} (x, y)}{f_{Y} (y)} = \frac{1}{f_{Y} (y)} \cdot \int_{- \infty}^{\infty} f_{X, Y} (x, y) = \frac{\int_{- \infty}^{\infty} f_{X, Y} (x, y)}{\int_{- \infty}^{\infty} f_{X, Y} (x, y)} = 1

כלומר שעבור $y$ קבוע הפונקציה $f_{X | Y}$ היא PDF לגיטימי.

Pasted image 20230125005002.png|400
נסתכל על הדוגמה הנ״ל שכבר ראינו בהסבר על PDF המשותף אם צד שמאל מייצג את השטח של הפונקצייה המשותפת, בהצבת ערך מסויים של $y$ נרצה לקבל פונקצייה שתלויה ב $x$ בלבד.
אנחנו יודעים שהסתברות להיות בשטח $S$ היא $\frac{1}{4}$ כלומר זוהי הפונקצייה $f_{X | Y}$ לכל $(x, y) \in S$ ובפרט עבור

(x, 1.5), (x, 2.5), (x, 3.5)

אם כן כל שנשאר לעשות הוא לנרמל עבור כל אחד מערכי $y$ האלה ונקבל
Pasted image 20230112204953.png|200
למשל עבור $1.5$ אנחנו רואים שהוא נמצא בקוביית היחידה שנוצרת עבור $y \in [1, 2]$ ולכן

\frac{1}{4} \cdot \frac{1}{f_{Y} (1.5)} = \frac{1}{4} \cdot \frac{1}{\frac{1}{4}} = 1

ובאופן דומה על האחרים נקבל את התוצאה שבתמונה.

אפשר להסתכל על זה גם כאילו שמנו חצץ בנקודה שהצבנו את $y$ במקומן והסתכלנו מה הרלוונטי באזור החצץ הזה כלומר מהו $f_{X} (x)$ הזה ונרמלנו..

Pasted image 20230125011502.png|300

Circular Uniform PDF

סער זורק חצים למטרה עגולה ברדיוס $r$ . נניח שהוא תמיד פוגע במטרה וששהסתברות לפגוע באזור מסויים מתפלגת בצורה אחידה. כלומר ה $P D F$ של $X, Y$ היא אחידה.

Pasted image 20230125012226.png|250

אנחנו יודעים אם כן ש

f_{X, Y} (x, y) = {\begin{cases} \frac{1}{π \cdot r^{2}} & x^{2} + y^{2} \leq r^{2} \\ 0 & e l s e \end{cases}

כדי לחשב את ה PDF המותנה $f_{X | Y}$ נצטרך קודם למצוא את ה PDF השולי $f_{Y} (y)$ .
אם כן, אם $| y | > r$ נקבל $0$ ואחרת נקבל

\begin{matrix} f_{Y} (y) = \int_{- \infty}^{\infty} f_{X, Y} (x, y) d x = \\ \frac{1}{π r^{2}} \int_{x^{2} + y^{2} \leq r^{2}} 1 d x = \\ \frac{1}{π r^{2}} \int_{\pm \sqrt{r^{2} - y^{2}}} 1 d x = \\ \frac{2}{π r^{2}} \sqrt{r^{2} - y^{2}} \end{matrix}

נשים לב שההפלגות של הפונקצייה השולית אינה אחידה ותלוייה ב y
סך הכל נקבל

f_{X | Y} (x | y) = \frac{f_{X, Y}}{f_{Y}} = \frac{1}{π r^{2}} \cdot \frac{1}{\frac{2}{π r^{2}} \sqrt{r^{2} - y^{2}}} = \frac{1}{2 \sqrt{r^{2} - y^{2}}}

שזאת שוב פעם התפלגות אחידה כי $y$ הוא קבוע.

אינטואיצייה

כדי לתת קצת יותר אינטואצייה על ה PDF המותנה, ניקח שתי מספרים חיוביים קטנים מאוד נסמנן $δ_{1}, δ_{2}$ ונבצע התנייה של המאורע $X \in [x, x + δ_{1}]$ עם $Y \in [y, y + δ_{2}]$ . אם כן נקבל

\begin{matrix} P (x \leq X \leq x + δ_{1} | y \leq Y \leq y + δ_{2}) = \frac{P (X \in [x, x + δ_{1}] and Y \in [y, y + δ_{2}])}{P (Y \in [y, y + δ_{2}])} \\ \approx \frac{f_{X, Y} (x, y) \cdot δ_{1} δ_{2}}{f_{Y} (y) δ_{2}} = f_{X | Y} (x | y) δ_{1} \end{matrix}

אם כן במילים, ההסתברות ש $X$ נמצא בטווח מאוד קטן סביב $x$ כלשהו בהינתן ש $Y$ נמצא באינטרוול מאוד קטן סביב $y$ כלשהו זה בידיוק $f_{X | Y} \cdot δ_{1}$ כלומר מקודם דיברנו על $f_{X | Y}$ בלי שתחמנו את $X$ אלא רק בדקנו איך $X$ ״מתנהג״ כאשר $Y = y$ כלשהו או כמו שציינו למעלה, תחום בטווח קטן מאוד סביב $y$ . כעת אפשר לדבר על המאורע $X \in A$ כלשהו.. שכן אם נשאיף את $δ_{2}$ ל $0$ יתקיים

P (X \in [x, x + δ_{1}] | Y = y) \approx f_{X | Y} (x | y) δ_{1}

את זה אנחנו יודעים מ הגדרת המשתנה הרציף ולכן באופן כללי יתקיים

P (X \in A | Y = y) = \int_{A} f_{X | Y} (x | y) d x

אומנם אנחנו יודעים שבמקרה הרציף המאורע ${Y = y}$ הוא מאורע שהסתברותו היא $0$ , אבל קיבלנו נוסחה טובה שמגדירה התסברויות מותנת מסוג זה. היא גם מאפשרת לנו כפי שהתייחסנו עד כה , להסתכל על $f_{X | Y} (x | y)$ כפונקצייה התלויה ב $X$ בלבד. זה יעזור לנו כיוון שכמו במקרה הבדיד השתמשנו במידול הזה ועם הפונקצייה השולית כדי לחשב את הjoint , במקרה הזה מדובר בכוח חזק אף יותר כיוון שאנחנו ממדלים פונקצייה בתלת מימד עם שתי פונקציות דו מימדיות שיותר קל לעבוד איתם באיזשהו אופן.

דוגמה:
המהירות של רכב שעובר את גלאי המהירות של המשטרה ממודל כמשתנה מקרי מעריכי $X$ עם תוחלת של $50$ קילומטר לשעה.
רדאר המשטרה $Y$ מראה שגיאה שממודלת כ משתנה נורמלי עם תוחלת 0 וסטיית תקן ששווה ל עשירית ממהרות הרכב.
נרצה למצוא את הPDF של $X, Y$ :

ראשית

E [X] = \frac{1}{λ} = 50 \to λ = \frac{1}{50}

נוכל להציב זאת בנוסחה הממדלת התפלגות מעריכית ונקבל

f_{X} (x) = {\begin{cases} λ e^{- λ x} & x \geq 0 \\ 0 & e l s e \end{cases} = {\begin{cases} \frac{1}{50} e^{- \frac{x}{50}} & x \geq 0 \\ 0 & e l s e \end{cases}

כעת , בהינתן ש $X = x$ כלומר בהינתן שרכב עבר את הרדאר במהירות מסויימת , נקבל ש $E [Y | X = x] = x$ (מיד נדבר על חישוב של תוחלת מותנת) וסך הכל יתקיים על ידי הצבה בהגדרת פונקציית הצפיפות של התפלגות נורמלית.

f_{Y | X} (y | x) = \frac{1}{\sqrt{2} \cdot \frac{x}{10}} e^{\frac{- (y - x)^{2}}{\frac{2 x^{2}}{100}}}

סך הכל אם נציב את שתי הפונקציות שקיבלנו יתקיים

f_{X, Y} (x, y) = f_{X} (x) f_{Y | X} (y | x) = \frac{1}{50} e^{- \frac{x}{50}} \cdot \frac{10}{\sqrt{2 π} x} e^{- 50 \frac{(y - x)^{2}}{x^{2}}}

התנייה של יותר משתי משתנים

עבור המקרה של יותר משתי משתנים הנוסחאות הבאות תקפות

\begin{matrix} f_{X, Y | Z} (x, y | z) = \frac{f_{X, Y, Z} (x, y, z)}{f_{Z} (z)} where: f_{Z} > 0 \\ f_{X | Z, Y} (x | y, z) = \frac{f_{X, Y, Z} (x, y, z)}{f_{Y, Z} (y, z)} where: f_{Y, Z} > 0 \end{matrix}

זה בהסכמה על חוק הכפל :

f_{X, Y, Z} (x, y, z) = f_{X | Y, Z} (x | y, z) f_{Y | Z} (y | z) f_{Z} (z)

תוחלת מותנת

ההגדרת של תוחלת מותנת מאוד דומות להגדרות של תוחלת שאינה מותנת ההבדל היחיד הוא העולם שאנחנו מחשבים עבורו את התוחלת. נסכם מספר תכונות חשובות עבור $X, Y$ משתנים מקריים עם PDF משותף ומאורע $A$ עם הסתברות $P (A) > 0$ .

הגדרה:
התוחלת המותנת של $X$ בהינתן מאורע $A$ מוגדרת להיות

E [X | A] = \int_{- \infty}^{\infty} x f_{X | A} (x) d x

התוחלת המותנת של $X$ בהינתן המאורע $Y = y$ מוגדרת על ידי

E [X | Y = y] = \int_{- \infty}^{\infty} x f_{X | Y} (x | y) d x

חוק התוחלת:
עבור $g (X)$ פונקצייה , יתקיים

\begin{matrix} E [g (X) | A] = \int_{- \infty}^{\infty} g (x) f_{X | A} (x) d x \\ E [g (X) | Y = y] = \int_{- \infty}^{\infty} g (x) f_{X | Y} (x | y) d x \end{matrix}

התוחלת השלמה:
עבור $A_{1}, \dots, A_{n}$ מאורעות שמהוות חלוקה של מרחב המדגם כך שכל מאורע הוא עם הסתברות גדולה מ0 אזי, לכל $i$ יתקיים

E [X] = \sum_{i = 1}^{n} P (A_{i}) E [X | A_{i}]

באופן דומה

E [X] = \int_{- \infty}^{\infty} E [X | Y = y] f_{Y} (y) d y

זה מתחבר עם הנ״ל כיוון שאפשר להסתכל על כל ערכי $y$ ב $(- \infty, \infty)$ כך כאוסף הנקודות ששטחן יהיה מרחב המדגם.

מספר משתנים

\begin{matrix} E [g (X, Y) | Y = y] = \int_{- \infty}^{\infty} g (x, y) f_{X | Y} (x | y) d x \\ ↓ \\ E [g (X, Y)] = \int_{- \infty}^{\infty} E [g (X, Y) | Y = y] f_{Y} (y) d y \end{matrix}

הוכחת התוחלת השלמה

ניעזר בנוסחת ההסתברות השלמה (קונבנצייה סיכומית- $\int$ במקרה שכאן שקול ל $\int_{- \infty}^{\infty}$ )

\begin{matrix} f_{X} (x) = \sum_{i = 1}^{n} P (A_{i}) f_{X | A_{i}} (x) \\ x f_{X} (x) = \sum_{i = 1}^{n} P (A_{i}) \cdot x f_{X | A_{i}} (x) \\ \int x f_{X} (x) d x = E [X] = \int \sum P (A_{i}) \cdot x f_{X | A_{i}} (x) d x \\ E [X] = \sum_{i = 1}^{n} P (A_{i}) \int x f_{X | A_{i}} (x) d x = \sum P (A_{i}) E [X | A_{i}] \end{matrix}

המקרה השני נובע מכך ש

\begin{matrix} \int_{- \infty}^{\infty} E [X | Y = y] f_{Y} (y = \int_{- \infty}^{\infty} [\int_{- \infty}^{\infty} x f_{X | Y} (x | y) d x] f_{Y} (y) d y \\ = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} x f_{X | Y} (x | y) f_{Y} (y) d x d y \\ = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} x f_{X, Y} (x, y) d x d y \\ = \int_{- \infty}^{\infty} x [\int_{- \infty}^{\infty} f_{X, Y} (x, y) d y] d x \\ = \int_{- \infty}^{\infty} x f_{X} (x) d x \\ = E [X] \end{matrix}

תוחלת ושונות של משתנה אחיד ״בחתיכות״

במשתנים רציפים הזכרנו את התפלגות אחידה בחתיכות שזה בעצם מצב שבו יש מספר אזורים בגרף שמתפלגים בצורה אחידה. כעת עם הכלים שקיבלנו נוכל לחשב עבורם את התוחלת והשונות

נניח שיש משתנה $X$ שמתפלג כך

f_{X} (x) = {\begin{cases} \frac{1}{3} & x \in [0, 1] \\ \frac{2}{3} & x \in (1, 2] \\ 0 & e l s e \end{cases}

Pasted image 20230125195202.png|250

ניקח את שתי המאורעות $A_{1, 2}$ המאורעות שמגדירות ש $x$ נמצא בקטע הראשון או השני בהתאמה. נקבל מהגדרת PDF

P (A_{1}) = \int_{0}^{1} \frac{1}{3} d x = \frac{1}{3} P (A_{2}) = \int_{1}^{2} \frac{2}{3} d x = \frac{2}{3}

מתכונות ההתניות על משתנה רציף אנחנו יודעים שהוא שומר על תכונות הפונקצייה הלא מותנת עם נורמליזצייה מסויימת ולכן גם הPDF המותנים במאורעות $A_{1}, A_{2}$ יתפלגו בצורה אחידה אבל כיוון שאנחנו עובדים רק בקטעים בהם $f_{X}$ מתפלגת בצורה אחידה מלאה בתוכם אז נוכל בקלות לחשב את התוחלת והשונות של X בהינתן שאנחנו נמצאים באחד מהקטעים האלה לפי התוחלת והשונות של משתנה שמתפלג בצורה אחידה . נזכיר בקצרה שהתוחלת בקטע $[a, b]$ היא $\frac{a + b}{2}$ ושל מומנט $\frac{a^{2} + a b + b^{2}}{3}$ .

E [X | A_{1}] = \frac{1}{2} E [X^{2} | A_{1}] = \frac{1}{3}

ובאופן דומה

E [X | A_{2}] = \frac{3}{2} E [X^{2} | A_{2}] = \frac{7}{3}

סך הכל נציב בנוסחת התוחלת השלמה ונקבל

E [X] = P (A_{1}) E [X | A_{1}] + P (A_{2}) E [X | A_{2}] = \frac{7}{6}

וגם

E [X^{2}] = P (A_{1}) E [X^{2} | A_{1}] + P (A_{2}) E [X^{2} | A_{2}] = \frac{15}{9}

ואת השונות נחשב בקלות לפי הנוסחה

v a r (X) = E [X^{2}] - (E [X])^{2} = \frac{11}{36}

חוק בייס הרציף

במקרים רבים , אנחנו מציגים תופעה לא מבוקרת כלשהי כמשתנה מקרי רציף $X$ עם $f_{X}$ ונבצע מדידה בהינתן שיש הפרעה כלשהי $Y$ . שזאת ממודלת עם ה PDF המותנה $f_{Y | X}$ . ברגע שמדדנו את $Y$ , נרצה להבין איזה מידע אפשר לחלץ מכך על $X$ . זה מאוד דומה למה שדיברנו עליו עד כה ההבדל היחיד שהוא שזה המקרה הרציף ולא הבדיד.

Pasted image 20230126131420.png

נשים לב שכל מידע שהמאורע ${Y = y}$ ייתפס על ידי הPDF $f_{X | Y}$ . אם כן ניעזר בסימטריה שדיברנו עליה בנוסחת הpdf המותנה.

f_{X} f_{Y | X} = f_{X, Y} = f_{Y} f_{X | Y}

נקבל סך הכל ש

f_{X | Y} (x | y) = \frac{f_{X} (x) f_{Y | X} (y | x)}{f_{Y} (y)}

נשים לב שזה כמובן pdf תקין שמקיים את תכונת הנורמליזצייה $\int_{- \infty}^{\infty} f_{X | Y} (x | y) = 1$

ועל ידי שימוש בנוסחת ההתסברות השלמה נקבל

f_{X | Y} (x | y) = \frac{f_{X} (x) f_{Y | X} (y | x)}{\int_{- \infty}^{\infty} f_{X} (t) f_{Y | X} (y | t) d t}

דוגמה:
נורה שמופקת על ידי מפעל כלשהו ידוע שיש לו מחזור חיים שמתפלג מעריכית, נסמנו $Y$ . למרות זאת, המפעל חווה לאחרונה בעיות בבקרת איכות. ביום מסויים הפרמטר $λ$ של $f_{Y}$ הוא למעשה משתנה מקרי אחר, שמתפלג בצורה אחידה באינטרוול $[1, 1.5]$ . נבחן את הנורה ונמדוד את זמן החיים שלה ביום זה ונרצה להבין איך זמן החיים של נורה משפיע על הצפיפות של $λ$ כלומר בהינתן ערך $y$ מההסיכוי ש $λ$ יהיה בטווח הערכים הנ״ל.

נסמן את $λ$ כמידור של משתנה אחיד עם פרמטר $Λ$ וה $P D F$ יקיים

\forall_{λ \in [1, 1.5]} : f_{Λ} (λ) = 2

כעת נשאל את עצמנו מה יהיה ערך הצפיפות של $Λ$ בהינתן שמחזור החיים של נורה כלשהי הוא $y$ , אומנם את זה אנחנו לא יכולים לענות באופן מיידי אבל התשובה לה מה יהיה $y$ בהינתן ערך $λ$ מסויים אנחנו יודעים מההתפלגות של $Y$ כמשתנה מעריכי. כלומר עבור $λ \in [1, 1.5]$ יתקיים

f_{Λ | Y} (λ | y) = \frac{f_{Λ} (λ) f_{Y | Λ} (y | λ)}{\int_{- \infty}^{\infty} f_{λ} (t) f_{Y | Λ} (y | t) d t} = \frac{2 λ e^{- λ} y}{\int_{1}^{1.5} 2 t e^{- t y} d t}

מסקנות על משתנה מקרי בדיד

כבר דיברנו על כך שישנם מצבים שהתופעה עמה אנחנו מתעסקים היא בדידה למרות שהעולם שהיא חיה בו היא רציפה למשל כאשר שולחים מידע בינארי במידול של מדידת זמן נורמלית. במצבים כאלה חוק בייס טיפה מתעוות.

נסמן את המאורע שלא מבוקר כ $A$ ען הסתברות $P (A)$ . כעת נגדיר $Y$ כמשתנה רציף ונניח ש $f_{Y | A}, f_{Y | A^{c}}$ ידועים. נרצה למצוא את $P (A | Y = y)$ . כפי שכבר אמרנו בעבר , בגלל שההסתברות לערך נקודתי היא $0$ אנחנו אנחנו מבעצם מחפשים ש $Y$ יהיה בסביבה אפסילונית קטנה מאוד סביב $y$ ולבסוף נקבל קירוב טוב

P (A | Y = y) \approx P (A | Y \in [y, y + ϵ]) \approx \frac{P (A) f_{Y | A} (y)}{f_{Y} (y)}

ומסקנה מתבקשת היא

f_{Y | A} (y) = \frac{f_{Y} (y) P (A | Y = y)}{P (A)}

ומוסחת ההסתברות השלמה תוכנה שקולה תהיה

f_{Y | A} (y) = \frac{f_{Y} (y) P (A | Y = y)}{\int_{- \infty}^{\infty} f_{Y} (t) P (A | Y = y) d t}

מנוסחת ההסתברות השלמה יתקיים

f_{Y} (y) = P (A) f_{Y | A} (y) + P (A^{c}) f_{Y | A^{c}} (y)

וסך הכל

P (A | Y = y) = \frac{P (A) f_{Y | A} (y)}{P (A) f_{Y | A} (y) + P (A^{c}) f_{Y | A^{c}} (y)}

אם $A$ ממודל באופן בדיד כלומר מהצורה ${N = n}$ כאשר $N$ הוא משתנה מקרי בדיד שמתאר את האפשרויות השונות עבור $A$ . יתקיים ש

P (N = n | Y = y) = \frac{p_{N} (n) f_{Y | N} (y | n)}{f_{Y} (y)}

וסך הכל מנוסחת ההסתברות השלמה

P (N = n | Y = y) = \frac{p_{N} (n) f_{Y | N} (y | n)}{\sum_{i} p_{N} (i) f_{Y | N} (y | i)}