קונבולוצייה, שונות משותפת , פונקציות על מ״מ ועוד

נרצה לגעת בסוגיות נוספות שעולות כשמדברים על משתנים מקריים בין היתר

א) חישוב פונקציות הצפיפות של פונקצייה על מ״מ או כמה.
ב) חישוב סכום של משתנים מקריים בלתי תלויים
ג) כימות מידת התלות בין שני משתנים אקראיים

כשיש לנו את המטרות האלה בראש, נכיר מספר כלים שיעזרו לנו כמו טרנפוסמצייה וקונבולוצייה, כמו כן נבין יותר לעומק את המשמעות של תוחלת מותנת.

פונקציות על מ"מ

נניח ש $Y=g(X)$ כאשר $X$ הוא משתנה מקרי רציף נרצה לחשב את ה $PDF$ של $Y$ בהינתן זה של $X$ . שתי השלבים הדרושים כדי לבצע את התהליך הזה:

א) חישוב ה $CDF$ של $Y$ :

ב) חשב לפי חוק הגזירה

דוגמה 1:
יהי $X$ משתנה אחיד ב $[0,1]$ ו $Y=\sqrt{X}$ . יתקיים בקטע הנתון:

אין כלל צורך לחשב את האינטגרל כיוון שאנחנו יודעים ש בכל הקטע $[0,1]$ יקיים את הנ״ל ולכן אנחנו פשוט מבצעים אינטגרצייה על $f_X=1$ בקטע הזה ונקבל כמובן $x=y^2$ .

כעת לאחר גזירה נקבל

מחוץ לקטע הזה מתקיים ש $F_Y(y)=0$ עבור $y\le 0$ ועבור $y\ge 1$ מתקיים :$F_Y(y)=1$ מכאן ש $f_Y(y)=0$ מחוץ לקטע.

דוגמה 2:
ג׳ון האיטי נוסע מבוסטון לניו יורק , מרחק של 180 קילומטר במהירות קבועה שהערך שלה מתפלג באופן אחיד בין 30 ל 60 קילומטר לשעה (כלומר יש התפלגות אחידה בין המהירות שיכולות להיות לו בטווח הזה). נרצה לחדשה את ה PDF של זמן הנסיעה.
נסמן את $X$ כמהירות ו $Y=g(X)$ ונסמן את $Y=g(X)$ כמשך הזמן של הטיול כלומר

כדי לחשב את ה $CDF$ של $Y$ עלינו לחשב

נשים לב שאנחנו יודעים לחשב את פונקציית צפיפות ההסתברות של $X$ בקלות בגלל שהיא מתפלגת בצורה אחידה

וה $CDF$ של $X$ יהיה

אם כן :

נוכל להתאים את הערך $\frac{180}{y}$ לטווחים הרצויים ונקבל

האמצעי זה שקול ל $1-\frac{6}{y}$ ולכן אם נבצע גזירה נקבל

דוגמה 3:
נגדיר $Y=g(X)=X^2$ כאשר $X$ הוא עם PDF ידוע. יתקיים שלכל $y\ge 0$ :

אם נבצע גזירה נקבל

פונקציות ליניאריות

נתמקד במקרה המיוחד שבו $Y$ היא פונקצייה ליניארית של $X$

ה $PDF$ של $ax+b$ במונחים של ה $PDF$ של $X$ . בתמונה למעלה $a=2,b=5$ . בשלב הראשון מוצאים את $PDF$ של $Y=aX$ . יתקיים כתוצאה מכפל בסקלר ש $Y$ מקבל טווח ערכים רחב יותר מהטווח של $X$ בפקטור $a$ . כלומר ישנה ״מתיחה״ לאורך ציר ה $x$ אבל בגלל שצריך לשמור על תכונת הנורמליזצייה צריך לנרמל את הערכים החוזרים מהפונקצייה ולכן ה״גובה״ שלה קטן. הוספת הערף $b$ לא תשפיע על הטווח של הפונקצייה אלא רק תזיז את ערכיו לאורך ציר ה $x$ ב $b$ . בסופו של דבר יתקבל הביטוי המתמטי

בהינתן ש a שונה מ0 כמובן

הוכחה:
בלי הגבלת הכלליות נניח $a>0$ כאשר המקרה על $a<0$ דומה

על ידי גזירה נקבל

המקרה ש $a<0$ פשוט יוביל לכך שהסימן למעלה יתהפך ונגזיר את $1-F_X$ אבל החיסור לא ישפיע על הנגזרת (אומנם נקבל מינוס לפני התוצאה אבל בגלל ש $a$ שלילי זה יקזז את זה וכאן נכנס הערך המוחלט מלמעלה).

פונקצייה על ליניארית על משתנה מקרי מעריכי

נניח ש $X$ הוא משתנה מתפלג מעריכית עם $\lambda >0$ שמקיים

נניח ש $Y=aX+b$ אזי לפי מה שהראנו למעלה

נשים לב שאם $b=0$ ו $a$ חיובי אזי $Y$ הוא גם כן משתנה מתפלג מעריכית כאשר ${\lambda }_y=\lambda \cdot a$ . באופן כללי אבל, $Y$ אינו מתפלג מעריכית למשל אם $a<0$ ו $b=0$ אז טווח הערכים של $Y$ הוא ציר ה $x$ השלילי .

פונקצייה ליניארית על משתנה מקרי נורמלי

נניח ש $X$ הוא משתנה מקרי נורמלי עם תוחלת $\mu$ ושונות ${\sigma }^2$ ויהי $Y=aX+b$ עם סקלרים $a\ne 0,b$ אזי

סך הכל נקבל

שזה גם כן משתנה מתפלג נורמלי עם תוחלת $a\mu +b$ ושונות $a^2{\sigma }^2$ .

פונקציות מונוטוניות

נוכל להכליל את המקרה הליניארי עבור המקרה ש $g$ היא מונוטונית. יהי $X$ משתנה מקרי רציף שתחום הערכים שלו מוכל ב $I$ אינטרוול כלשהו, כלומר $x\notin I\to f_X(x)=0$ .
כעת נגדיר $Y=g(X)$ כך ש $g$ מונוטונית ממש (עולה או יורדת) ונגדיר אותה גם כגזירה (נשים לב שהנגזרת בהכרח תהיה אי שלילית במקרה העולה ו אי חיובית במקרה היורד).

נוכל להוכיח באמצעות עוצמות שפונקציות אלה הן הפיכות תמיד כלומר קיימת פונקצייה הופכית ל $g$ כך

ו $h$ היא ההופכית.

אם $h$ היא גזירה גם כן אז ה PDF של $Y$ באזור שבו $f_Y(y)>0$ תהיה

המשמעות של מה שבתוך הערך המוחלט היא שגוזרים את $h$ לפי המשתנה $y$ .

ההוכחה לכך נובעת מהעובדה ש

קל לראות בתמונה למטה למה המעבר השני נכון

כעת אם נבצע גזירה על הנ״ל נקבל מכלל השרשרת

הסיבה לערך המוחלט היא בגלל הטיפול במקרה שבו הפונקצייה מונוטונית יורדת ולכן הנגזרת היא אי חיובית אבל זה טיפול דומה למקרה להוכחה על הפונקצייה הליניארית, פשוט עובדים עם $1-F_X(h(y))$ ומבצעים על זה גזירה.

קונבולוצייה

ישנם מקרים שבהם מפעילים פונקצייה $Z$ על שתי משתנים מקריים $X,Y$ , גם במצב זה התהליך של שתי השלבים שדיברנו עליו לא משתנה באופן משמעותי.
אנחנו נגע במקרה פרטי של מצב כזה שהוא הסכום של שתי משתנים מקריים בלתי תלויים . כלומר במצב שבו

עבור $X,Y$ בלתי תלויים.

המקרה הבדיד

כדי לקבל תובנה יותר עמוקה של הסוגייה הזאת, נכנס קודם כל למקרה הבדיד כלומר נבין מה קורה ל PMF במצב הזה.

במקרה הבדיד המתאר את הנ״ל יתקיים

המעבר השני נובע בגלל איך שהגדרנו חישוב של פונקציות על מספר משתנים מקריים בדידים .

התוצאה הסופית שקיבלנו על $p_Z$ נקראת קונבולוצייה של ה PMF של $X,Y$ .

ההסתברות $p_Z(3)$ היא בעצם סכום כל הנקודות במרחב שסכומן הוא $3$ שאלה הנקודות שנמצאות למעלה. ההסתברות של נקודה כללית כזאת היא:

הקונבולוצייה מאפשרת לנו בעצם לקבל ערך בודד שמייצג את ההתפזרות של הנקודות הרצויות שלנו לכן זה גם נקרא קונבולוצייה- סוכמים את כל ההסתברויות שמקיימות נתון רצוי לכדי תוצאה בודדת שתמודל ב $Z$ כערך כלשהו.

המקרה הרציף

המקרה הרציף ייראה אומנם כתהליך מורכב יותר, אבל בסופו של דבר נרצה להגיע לאותה תוצאה, סכימה של נקודות שמקיימות תנאי מסויים, כלומר נרצה למצוא את ה PDF של $Z=X+Y$ , תיכף גם נראה שלמעשה נגיד לאותה התוצאה בידיוק פשוט בתצורה של אינטגרל ולא בתצורה של סכום.

אם כן עבור $X,Y$ משתנים רציפים בלתי תלויים יתקיים

המעבר השלישי נובע מ אי תלות של משתנים רציפים. נשים לב שזה אומר ש $F_{Z|\{X=x\}}(z|x)=F_Y(z-x)$ ולכן בביצוע אינטגרצייה על שני האגפים נקבל $f_{Z|X}(z|x)=f_Y(z-x)$ . נשתמש ב חוק הכפל :

וסך הכל מהחילוץ של ה PMF השולי נקבל

שימו לב שזה מאוד דומה לנוסחה במקרה הבדיד פשוט מחליפים סכום באינטגרל ו PMF ב PDF . כיוון שהמשמעות היא די זהה, במקום לסכום מספר בדיד של נקודות סוכמים מספר אינסופי של נקודות שמקיים את זה.

מההבנה שההסתברות של הקו הזה היא המאורע $P(z\le X+Y\le z+\delta )\approx f_Z(z)\delta$ כפי שכבר ראינו בעבר שימוש בדומה במקומות אחרים. נוכל לחלץ את הנוסחה הנ״ל.

דוגמה:
עבור $X,Y$ משתנים בלתי תלויים שמתפלגים באופן אחיד באינטרוול $[0,1]$ הסכום $Z=X+Y$ יהיה:

האינטגרנל $f_X(x)f_Y(z-x)$ הוא שונה מ$0$ ושווה ל $1$ עבור $0\le x\le 1and0\le z-x\le 1$ .על ידי קיבוץ של שתי אי השיוויונות האלה האינטגרנד יהיה שונה מ $0$ עבור

באמצעות המידע שיש לנו אנחנו יודעים להגיד ש $z\in [0+x,1+x]=[0,2]$ כלומר זה הטווח המקסימלי של ערכי $z$.

סך הכל יתקיים

כאשר

הצורה המתקבלת היא המשולש הנ״ל

הגרף הזה בעצם מתאר לנו פונקצייה שהשטח שלה הוא בידיוק ״סכימת הנקודות״ שמקיימות את הדרוש והשטח זה ההסתברות של נקודה $(x,y)$ לקיים שסכומה הוא מספר ב $[0,2]$.

סכום של שתי משתנים נורמליים

יהי $X,Y$ משתנים מתפלגים נורמלית בלתי תלויים עם תוחלת ${\mu }_x,{\mu }_y$ ושונות ${\sigma }_x^2,{\sigma }_y^2$ בהתאמה ויהי $Z=X+Y$ נקבל :

לא אפרט את הליך החישוב את התוצאה הסופית תהיה

מה שחשוב לשים לב כאן היא שהתוצאה היא משתנה מתפלג נורמלית עם תוחלת ${\mu }_x+{\mu }_y$ ושונות ${\sigma }_x^2+{\sigma }_y^2$ . כלומר הסכום של שתי משתנים נורמלים הוא משתנה נורמלי בעצמו . מהמסקנה שהגענו עליה על הפעלת פונקצייה ליניארית על משתנה נורמלי נקבל סך הכל ש

הוא גם כן משתנה נורמלי עבור $a\ne 0$ וסקלר $b$.

חישוב גרפי של הקונבולוצייה

נרצה להבין באופן גרפי מה קורה ב $f_Z(z)$ בהינתן קלט כלשהו $z$ ביחס לגרפים שממנה היא בנויה. אם כן נשתמש במשתנה סתמי $t$ כקלט של שתי הפונקציות ונסתכל על $f_X(t),f_Y(t)$ . עבור ערך $z$ אנחנו יודעים שהערך שלה בגרף יהיה.

החישוב הגרפי יבוצע בשלבים הבאים:

א) נסתכל על $f_Y(z-t)$ כפונקצייה של $t$ ונבנה לה גרף. הצורה שלה תהיה זהה כשל $f_Y(t)$ חוץ מהעובדה שהיא מתהפכת בציר ה x ואז היא עוברת הזזה לפי $z$. אם $z>0$ היא זזה לימין אחרת היא זזה לשמאל.

ב) נשים את הפונקצייה הנ״ל ואת $f_X(t)$ אחד על השני ובונים את ההרכבה שלהם.

ג) מחשבים את הערך של $f_Z(z)$ על ידי חישוב האינטגרל של פונקציית ההרכבה משתי ההגרפים שבנינו.

בהינתן ערך של $z$ כלשהו השטח שנמצא בשרטוט התחתון ביותר ייתן את ערך הפונקצייה $f_Z(z)$

שונות משותפת ומתאם

נרצה להשתמש בכלי מדיד שיאפשר לנו לאמוד את ה״עוצמה״ וה״כיוון״ של קשר בין שתי משתנים מקריים.

השונות המשותפת של $X,Y$ מוגדרת להיות

כאשר $cov(X,Y)=0$ נומר ש $X,Y$ הם בלתי משוייכים. הסימן של ה cov עונה על השאלה האם $X-E[X]$ ו $Y-E[Y]$ הם עם אותו סימן או סימן הפוך.

עבור $X,Y$ כמו בתמונה, שמתפלגים באופן אחיד באליפסות הנתונות (כל אליפסה מייצגת ניסוי אחר) ניתן לראות שבתמונה השמאלית $X$ הסטייה ממרכז המסה של $X,Y$ הם באותו כיוון כלומר ככל ש $X$ גדל מהתוחלת שלו כך גם $Y$ גדל מהתוחלת שלו, במצב זה ה שונות המשותפת תהיה גדולה מ0. במצב השני בתמונה הימנית זה הפוך, ככל ש $X$ גדל ממרכז המסה שלו שלו ככה $Y$ הולכים וקטנים ממרכז המסה שלהם ולכן השונות המשותפת תהיה שלילית. הסיבה שההתפזרויות הנ״ל הן שליליות או חיוביות נובע ישירות מההגדרה שמבקשת את הכפל של מרחק של משתנה מסויים מהתוחלת כפול המרחק של השני ולכן האופן שבו הנקודות מתפזרות הוא קריטי.

נוסחה שקולה תהיה

הוכחה:

כאן ניתן לראות שגם פיזור הנקודות על גבי הרבעים משפיע על $E[XY]$ שיכול להשפיע על הסימן של התוחלת הנ״ל. הדוגמה זהה בתכליתה לתמונה למעלה רק שכאן זה מצב שבו התוחלת של $X$ או של $Y$ או של שניהם היא $0$ ואז מה שמשפיע על הסימן הוא הכפל בין ערכי הנקודות והפיזור שלהם לאורך הרבעים של הציר האנכי והאופקי..

תכונות השונות המשותפת

כמו כן בהינתן ש $X,Y$ בלתי תלויים אנחנו יודעים ש $E[XY]=E[X]E[Y]$ ולכן יתקיים $cov(X,Y)=0$ . כלומר אם $X,Y$ בלתי תלויים הם גם בלתי משוייכים. נשים לב שההפך לא בהכרח נכון , נראה זאת בדוגמה:

הזוג של המשתנים המקריים $(X,Y)$ לוקח את הערכים $(1,0),(0,1),(-1,0),(0,-1)$ . כל אחד בהסתברות $\frac{1}{4}$ .

אם כן קל לראות שה PMF השולי של $X,Y$ סימטרי סביב $0$ ולכן התוחלת של שתי המשנים היא $0$ . כמו כן נשים לב שלכל נקודה שנבחר יתקיים $XY=0$ ולכן $E[XY]=0$ , לכן

כלומר $X,Y$ הם בלתי משוייכים. עם זאת, $X,Y$ תלויים אחד בשני , אין סיבה כלל לבצע פה הליך חישובי כדי לראות זאת שכן

אבל

מקדם המתאם של פירסון

נגדיר את מקסם המתאם $\rho (X,Y)$ של שתי משתנים מקריים עם שונות שונה מ$0$ על ידי:

זאת מעין גרסה מנורמלת של השונות המשותפת ולמעשה לא נוכיח זאת כאן אבל $\rho$ מקבל ערכים בין $-1,1$ . ההתנהגות של מקדם המתאם כאשר הוא שונה מ0 זהה במשמעותה למה שהשונות המשותפת הייתה מראה לנו ההבדל הוא שהיא נותנת לנו מידע ללא תלות ביחידות מידע למשל אם $X,Y$ נמדדים במטרים אז השונות המשותפת נמדדת ב מטר מרובע ולכן זה יכול להפריע לתהליכים חישוביים שמשלבים בין השניים, לעומת זאת מקדם המתאם אינו תלוי ביחידות מידה , הוא יישאר במטרים.

באופן דומה נשמרת התכונה שאם המשתנים בלתי תלויים אז $\rho =0$ ולכן הם בלתי משוייכים .

אם כן, הגודל $|\rho |$ מספר לנו גרסה מנורמלת של השונות המשותפת בהינתן שאין לאף אחד מהמשתנים שונות ששווה ל0 (במצב זה המשתנה המקרי שקול לקבוע ואז מקדם המתאם אינו מוגדר היטב).

משפט:
$\rho =\pm 1$ אם ורק אם קיים קבוע $c$ כך ש

המקרה הכי קל יהיה

וכמו ש

(באופן דומה על $\rho (X,-X)=-1$)

דוגמה:
נניח שמטילים מטבע $n$ הטלות עם הסתברות ל head ששווה ל $p$ . יהי $X,Y$ מספר ה heads וה tails בהתאמה. נחפש את השונות המשותפת של $X,Y$ כאשר $X+Y=n$ וגם $E[X]+E[Y]=n$ (כי כל אחד מהם מתפלג גיאומטרית) .

דרך אחת להוכיח את זה:

דרך נוספת:

אם כן יתקיים מהעברת אגפים סטנדרטית :

כעת נחשב את השונות המשותפת של שניהם :

לאחר נרמול נקבל כמובן $\rho (X,Y)=-1$ .

השונות של סכום של משתנים מקריים

נוכל להשתמש בשונות המשותפת כדי לקבל נוסחה על השונות של סכום של מספר משתנים מקריים.
נניח ש $X_1,X_2,\dots ,X_n$ הם משתנים מקריים עם שונות סופית אזי :

הוכחה:

ויתקיים

ובאופן כללי יותר

הוכחה:

נסמן $\widehat{X_i}=X_i-E[X_i]$ ויתקיים

דוגמה:
נניח ש $n$ אנשים זורקים את הכובכים שלהם בקופסה ומוציאים את הכובע מהקופסא באקראי. נמצא את השונות של $X$ על ידי מידול של $n$ ניסויי ברנולי

כאשר $X_i$ מקבל $1$ אם האדם ה $i$ הוציא את הכובע שלו בהסתברות $\frac{1}{n}$ ואחרת $0$.

נקבל אם כן

עבור $i\ne j$ נקבל

וסך הכל:

נציב את מה שקיבלנו