משפטי גבול

נרצה לדון ולהבין בבעיות מרכזיות שעוסקות בחסמים של סדרות של משתנים רציפים.
עיקר הדיון יעשה סביב רצף $X_1,X_2,X_3\dots$ של משתנים מקריים בלתי תלויים שמתפלגים באופן זהה עם תוחלת $\mu$ ושונות ${\sigma }^2$ .

כעת, יהי

מליניאריות התוחלת אנחנו יודעים ש $E[S_n]=n\cdot \mu$ .

הסכום של $n$ המשתנים הראשונים. משפטי הגבול עוסקים בעיקר בתכונות של $S_n$ ומשתנים מקריים נוספים כאשר $n$ הוא מספר גדול מאוד. בגלל אי תלות נקבל

כלומר ככל ש $n$ גדל ההתפזרות של הערכים סביב התוחלת המשותפת גדלה ואין לה גבול שנותן לנו משמעות. הסיטואציה משתנה אם מסתכלים על הערך הממוצע

אם נחשב אנחנו נראה ש

כלומר עבור $M_n$ מתקיים שהשונות שלה קרבה ל $0$ ככל ש $n$ גדל כלומר התפזרות הערכים יותר שואפת ל $\mu$ ככל שכמות הערכים שמוסיפים גדלה. אם כן הצלחנו ליצור משתנה מקרי $M_n$ שמתכנס לתוחלת האמיתית $\mu$ באופן די מדויק.
החוקים האלה מהווים בסיס מתמטי לפרשנות של התוחלת $E[X]=\mu$ כממוצע של מספר גדול מאוד של דגימות בלתי תלויות שנלקחות מההתפזרות של $X$ .

נסתכל גם על משתנה כמותי שמשמש כערך ביניים בין $S_n$ ל $M_n$ . ראשית נחסר מ $S_n$ את $n\cdot \mu$ כדי לקבל משתנה חדש עם תוחלת $0$ : $S-n\mu$ . לאחר מכן נחלק אותו ב $\sigma \sqrt{n}$ כדי לקבל את המשתנה המקרי

אפשר לראות שמתקיים

זה משתנה שערכו לא משתנה לא משנה כמה פעמים נגדיל את $n$ . משפט הגבול המכרזי בודק ושואל על ההתפזרות של $Z_n$ ועל האופן שבו הוא חוסם ומבטיח שזוהי תהיה התפלגות נורמלית.

לפני שנכנס לכל החוקים שדיברנו עליהם למעלה, שנקרא גם החוק החלש של המספרים הגדולים (WLLN), נרצה לפתח מספר אי שיוויונות שיעזרו לנו לנתח הסתברויות קצה. האי שיוויונות שנציג יהיו יעילים כאשר נוכל לחשב את הערכים המדוייקים או החסמים של התוחלת והשונות של משתנה מקרי $X$ אבל ההתפלגות של $X$ לא ברורה או קשה לחישוב.

אי שוויון מרקוב (Markov inequality)

האי שיוויון הראשון שנתמקד בו הוא אי שיוויון מרקוב באופן מופשט, הוא מבטיח ש אם משתנה מקרי אי שלילי הוא עם תוחלת מאוד קטנה, אז ההסתברות שיהיה לו ערך גבוה חייב להיות קטן.

יהי $X$ משתנה מקרי אי שלילי אזי :

הוכחה:
יהי $a>0$ נגדיר משתנה מקרי $Y_a$ שמוגדר כך

מההגדרה מתקיים ש $Y_a\le X$ תמיד ולכן

מצד שני

בתמונה ניתן לראות דוגמה לאי שיוויון זה. למעלה זה ה PDF של $X$ משתנה מקרי אי שלילי ולמטה ה PMF של $Y_a$ . ההרכבה של $Y_a$ נעשה על ידי הפרדה בין הצפיפות של ה $PDF$ של $X$ בין $0$ ל $a$ על ידי שיוך ל $0$ בפונקציית מסת ההסתברות, וכל מי שגדול או שווה ל $a$ בפונקציית הצפיפות משוייך ל $a$. כלומר אנחנו מקטינים את המסה על ידי הזזה שמאלה ל $0$ או ל $a$ ולכן תמיד יתקיים

דוגמה:
יהי $X$ משתנה מתפלג אחיד באינטרוול $[0,4]$ ונניח ש $E[X]=2$ . אי שיוויון מרקוב מבטיח ש

במקרה הזה אנחנו יודעים כיצד $X$ מתפלג ולכן נוכל לחשב ישירות ולאמת את האי שיווין

אם כן , האי שיווינים נכונים אבל הם יכולים להיות בטווחים גדולים מדי לעתים.

אי שוויון צבישב (Chebyshev inequality)

אי שיוויון זה, באופן מופשט, מבטיח שאם משתנה מקרי הוא עם תוחלת נמוכה, אז ההסתברות שהוא ייקח ערך שרחוק מהתוחלת שלו היא גם כן נמוכה. אי שיוויון זה לא מצריך שהמשתנה המקרי יהיה אי שלילי

יהי $X$ משתנה מקרי עם תוחלת $\mu$ ושונות ${\sigma }^2$ אזי

אפשר לראות שבאופן מתמטי זה הוא מקרה פרטי של אי שיוויון מרקוב. ובמילים המשמעות היא
אם השונות קטנה , אז $X$ באופן סביר לא יהיה רחוק מהתוחלת . שזה מסר קצת אחר מאי שיוויון מרקוב.

הוכחה:
נגדיר משתנה מקרי $(X-\mu {)}^2$ ונפעיל את אי שיוויון מרקוב על $a=c^2$ , נקבל :

האי שיוויון $(X-\mu {)}^2\ge c^2$ שקול למאורע $|X-\mu |\ge c$ ולכן נוכל פשוט להחליף את הנ״ל בהסתברות הדרושה.

מקרה פרטי של אי שוויון צבישב יהיה מהצורה $c=k\sigma$ כאשר $k>0$ . זה יקיים

כלומר ההסתברות שהמרחק של $X$ מהתוחלת להיות $k$ פעמים השונות שלו היא לכל היותר $\frac{1}{k^2}$ .

אי שיוויון צבישב נוטה להיות חזק יותר מאי שיוויון מרקוב (החסמים שהוא נותן מדוייקים יותר), בגלל שהוא משתמש במידע מהשונות של $X$. עדיין, השונות והתוחלת של משתנה הן רק חלק קטן מהמידע שיש לנו על משתנה מקרי ולכן אין לצפות לחסמים מדוייקים למדי.

חסם עליון של אי שיוויון צבישב

כאשר $X$ נצמא בטווח ערכים $[a,b]$ נאמר ש

נוכיח את הטענה שהבאנו על החסם של ${\sigma }^2$ , ניקח $s$ קבוע כלשהו ונשים לב שמתקיים

אם $s=E[X]$ אז זה ערך מינימלי כיווון שנוכל להסתכל על הנ״ל כפונקצייה ריבועית של $s$ ונקבל

קל לראות שהמינימום של הפונקצייה הזאת מתקבל כאשר $(s-E[X]{)}^2=0$ כלומר כאשר $s=E[X]$. אם כן,

אם נציב $s=\frac{a+b}{2}$ נקבל

המעבר האחרון נכון כי מהטווח ערכים של $x$ נקבל

משלים של אי שיוויון צ׳בישב

נשים לב שבעזרת אי שיוויון צ׳בישב אפשר לחשב חסם תחתון להסתברות עבור מקרי האמצע בעזרת אותה נוסחה:

הוכחה:

החוק החלש של המספרים הגדולים

החוק החלש של המספרים הגדולים מבטיח שממוצע המדגם של מספר גבוה של משתנים בלתי תלויים שמתפלגים באופן זהה הוא מאוד קרוב לתוחלת בסבירות גבוהה.
כפי שהראנו כבר בתחילת ההסבר

וגם

אם נפעיל את אי שיוויון צבישב על $M_n$ נקבל

נשים לב שלכל אפסילון חיובי צד ימי שואף ל $0$ ככל שמגדילים את $n$. ההשלכה של זה, נותנת לנו את החוק החלש של המספרים הגדולים. נשים לב שהדרישה היחידה שצריך עבור זה היא ש $E[X_i]$ יהיה מוגדר היטב

יהי $X_1,X_2\dots$ סדרה של משתנים בלתי תלויים שמתפלגים באופן זהה עם תוחלת $\mu$ . אזי לכל $ϵ>0$ נקבל

המשמעות של זה היא שלא משנה כמה גדול $n$ יהיה וכמה קטן $ϵ$ יהיה ההתפלגות של $M_n$ מרוכזת סביב התוחלת $\mu$ . בעצם זה אומר שלכל אינטרוול $[\mu -ϵ,\mu +ϵ]$ מסביב ל$\mu$ , אזי יש הסתברות גבוהה ש $M_n$ יתפלג בתוך האינטרוול הזה וככל ש $n\to \mathrm{\infty }$ ההסתברות הזאת הולכת וקרבה ל $1$.
כמובן שאם אפסילון קטן יותר ככה נצטרך יותר ערכי $n$ כדי להגיע לתוצאה הזאת, אבל עדיין זה מובטח שזה יקרה מתישהו.

הסתברויות של תדרים:
נניח מאורע $A$ שמוגדר בניסוי הסתברותי כלשהו ונסמן $p=P(A)$ .
נבנה $n$ חזרות בלתי תלויות של אותו הניסוי ונגדיר $M_n$ להיות הממוצע של מספר הפעמים ש $A$ התרחש בסדרת הניסויים האלה , במצב זה מגדירים את $M_n$ להיות empirical frequency של $A$ . אם כן,

כאשר $X_i$ הוא משתנה אינדיקטור שמקבל $1$ כאשר $A$ קרה ו $0$ אם לא. יתקיים, $E[X_i]=p$ . המשמעות היא שככל ש $n$ גבוה יותר ככה $M_n$ שואף להיות בסביבה אפסילונית של $p$ . זה אומר שיש קשר הדוק בין כמות הניסויים שנעשה לבין ההסתברות להצליח בניסוי. כלומר נוכל לפרש את ההסתברות $p$ כ״תדירות ההתרחשות של מאורע $A$״.

polling - דגימות:
יהי $p$ שמייצג את החלק של המצביעים שתומכים שמועמד מסויים לרשות המשרד. אנחנו מראיינים $n$ מצביעים ״שנבחרו באקראיות״ ובודקים את $M_n$ ואת החלק ממנו שתומך במועמד הנ״ל. נרצה להסתכל על $M_n$ כהערכה של $p$ ונרצה לחקור את תכונותיו. נשים לב ש $n$ המצביעין שבחרנו נבחרים באופן בלתי תלוי ואחיד ביחס לשאר האוכלוסייה. כלומר נוכל למדל כל בן אדם שעונה האם הוא מצביע למועמד או לא כמשתנה ברנולי בלתי תלוי $X_i$ עם הסתברות להצלחה של $p$ ושונות ${\sigma }^2=p(1-p)$ .
אי שיוויון צבישב מעיד על כך ש

אומנם אנחנו לא יודעים מיהו $p$ אבל אנחנו יודעים שלכל $X_i$ טווח הערכים הוא בין $0$ ל $1$ ולכן כפי שכבר אמרנו נוכל לחסום :

כלומר

כך למשל יתקיים שבהצבת $ϵ=0.1$ ו $n=100$ יתקיים

כלומר עבור דגימה של 100 אנשים ההסתברות שההערכה שלנו לא נכונה ביותר מ $0.1$ היא לא יותר גבוהה מ$\frac{1}{4}$ . זה כבר נותן לנו מידע די אמין ומקורב להסתברות שהמועמד ייבחר , שכן בהתסברות של $0.75$ שההערכה שלנו כן תהיה בדיוק של $0.1$ סביב ההסתברות. נוכל להדק את ההסתברות להיות לפחות $0.95$ שהערכה שלנו תהיה נכונה בסביבה אפסילונית של $0.1$ סביב $p$ . אם כן

נרצה שיתקיים

אם נחשב נקבל שהדרישה היא ל $n\ge 50000$ . הבחירה של $n$ הזאת תספק אותנו אבל עדיין מוטלת בספק בגלל שהיא מובססת על אי שיוויון צבישב שהוא לא הדוק במיוחד..

משפט הגבול המרכזי

בתחילת ההסבר הגדרנו את

כמובן שמתקיים

נראה כי בניגוד ל$M_n$ , שבה השונות שואפת ל$0$ , כאן השונות

שואפת ל$\mathrm{\infty }$ ביחס ל$n$ . ביצענו נורמליזצייה והזזה של המשתנה הזה כדי לקבל משתנה עם תוחלת $0$ ושונות $1$. נזכר:

נקבל

נגדיר את משפט הגבול המרכזי באופן הבא:
יהי $X_1,X_2,\dots$ סדרה של משתנים בלתי תלויים וזהים בהתפלגותם עם תוחלת $\mu$ ושונות ${\sigma }^2$ אזי ה$CDF$ של $Z_n$ שואף ל $CDF$ של המשתנה הנורמלי הסטנדרטי

כלומר

המשפט הזה חזק מאוד, כי הוא כללי מאוד. חוץ מאי תלות והעובדה שהתוחלת והשונות מוגדרים היטב וסופיים, אין שום דרישות נוספות על המשתנים האלו. הם יכולים להיות בדידים, רציפים, מעורבים וכו.
למשפט זה יש חשיבות רבה ממספר סיבות , גם תיאורתית וגם פרקטית. בצד התיאורתי , זה מעיד על כך שהסכום של מספר רב של משתנים בלתי תלויים הוא בקירוב מתפלג נורמלית וניתן להשתמש בזה בכל מצב שבו יש אפקט מקרי כלשהו שהוא הסכום של מספר גבוה של גורמים בלתי תלויים. דוגמה טובה לזה היא מידוש של רעשים והפרעות במערכות מיחשוב ובעוד מגוון רחב של תרחישים נוספים. באופן כללי, הסטטיסטיקה של רעשין והפרעות הן ממודלות היטב על ידי התפלגות נורמלית בידיוק מהסיבה הזאת.
בצד הפרקטי, משפט הגבול המרכזי מוריד את הצורך במודלים הסתברותיים מפורטים ובמניפולציות מורכבות על פונקציות הצפיפות או המסה. כל שצריך לעשות הוא לגשת לטבלת ה CDF המוכרת של ההתפלגות הנורמלית.

קירובים מבוססים משפט הגבול המרכזי

משפט הגבול המרכזי מאפשר לנו לחשב הסתברויות שקשורות ל $Z_n$ כאילו הוא היה נורמלי.
כיוון שנורמליות נשמרת תחת טרנספורמציות ליניאריות נוכל באופן שקול להסתכל על $S_n$ כמשתנה נורמלי עם תוחלת $n\mu$ ושונות $n{\sigma }^2$

משפט קירוב נורמלי מבוסס משפט הגבול המרכזי:
יהי $S_n=X_1+X_2+\cdots +X_n$ נוכל להתייחס להסתברות $P(S_n\le c)$ בקירוב נורמלי באופן הבא:

1. חשב את $n\mu$ והשונות $n{\sigma }^2$ של $S_n$ .
2. חשב את הערך המנורמל $z=\frac{c-n\mu }{\sigma \sqrt{n}}$ .
3. תשתמש בקירוב:

דוגמה 1:
טוענים למטוס 100 חבילות שמשקלם הוא משתנה מקרי בלתי תלוי שמתפלג באחידות בין 5 ל 50 קילוגרם.
מהי ההסתברות שהמשקל הכולל של החבילות יעבור את 3000 קילוגרם?
זאת לא תהיה משימה קלה לחשב אתה CDF של כל המשקלים וההסתברות הרצויה, אבל נוכל להשיג קירוב טוב על ידי משפט הגבול המרכזי. נרצה אם כן, לחשב

כאשר $S_{100}$ זה משקל של 100 חבילות. התוחלת והשונות של כל חבילה מחושבת לפי התוחלת והשונות של משתנה אחיד

כעת נחשב את הערך המנורמל

כעת נוכל להשתמש בCDF של משתנה מקרי נורמלי

וההסתברות הרצויה תהיה

דוגמה 2:
מכונה מעבדת חלקים של מידע , חלק אחד כל פרק זמן. זמן העיבוד של החלקים השוני הם בלתי תלויים שמתפלגים באיחודים ב $[1,5]$.
נרצה לאמוד את ההסתברות שמספר החלקים המעובדים ב320 יחידות זמן יהיה לכל הפחות $100$.
באותו אופן, נשאף לחשב את $N_{320}$ , יהיה קשה לחשב אותו כסכום של משתנים בלתי תלויים אבל נוכל להסתכל על הבעיה מזוויצ אחרת של סכימת פיסות המידע המעובד. אם כן כמו מקודם , נחשב את $S_{100}$ שזה זמן העיבוד של 100 חתיכות המידע הראשונות, ונחליף את המאורע $\{N_{320}\ge 100\}$ במאורע השקול
$\{S_{100}\le 320\}$ , כעת נוכל להשתמש בקירוב הנורמלי כמו מקודים כאשר התוחלת של כל $X_i$ היא $3$ והשונות היא $\frac{4}{3}$ . יתקיים

כעת נוכל לחשב את הקירוב:

polling:
נחזור לבעייתה הדגימות ממקודם. אנחנו מעוניינים בהתסברות

בגלל הסימטריה של התפלגות נורמלית סביב התוחלת אנחנו יודעים שאפשר להוריד את הערך המוחלט אם פשוט נכפיל פעמיים את ההסתברות בלי הערך המוחלט כלומר

נזכיר של $M_n$ יש תוחלת $p$ ושונות של $p(1-p)$ . נשים לב שבמצב זה יש לנו בעיה שהשונות לא ידועה לנו כי היא תלויה ב $p$. אם כן, ניקח חסם עליון כלשהו על $M_n-p$ באמצעות חסם העליון על התוחלת שראינו כבר ולכן הוא יהיה $\frac{1}{4n}$ הסיבה בכלל שלקחנו חסם עליון היא שראינו שההסתברות הכי גדולה שהתפזרות הערכים תהיה רחוקה מהתוחלת באה לידי ביטוי כשהשונות היא הגדולה ביותר אז לקחנו את המקרה הגרוע אבל נראה שזה ייתן קירוב טוב יותר משימוש באי שיוויון צבישב. כמו כן, אם נציב בנוסחה נקבל שזה יקרה כש$p=\frac{1}{2}$ .

אם כן נחשב את הערך המנורמל

ובהצבה נקבל

כלומר יש לנו תלות במספר האנשים שאנחנו דוגמים. למשל אם נשאל $100$ אנשים ונרצה סביבה אפסילונית של $0.1$ כמו בדוגמה הקודמת אזי

זה הרבה יותר קטן ומדויק מההערכה של $0.25$ שקיבלנו על ידי שימוש באי שיוויון צבישב.

כמו כן נשים לב שגם חישוב הבעיה ההפוכה הופך להיות פשוט, אם נרצה לדעת מה $n$ צריך להיות כדי לקבל את $p$ בקירוב של $0.95$ פשוט מציבים את הגורמים הרלוונטים במשוואה ומחשבים

קירוב נורמלי של משתנה בינומי

משתנה מקרי בינומי $S_n$ עם פרמטר $n$ ו $p$ הוא בעצם הסכום של $n$ משתני ברנולי בלתי תלויים $X_1\dots X_n$ עם פרמטר משותף $p$. נזכר ש

נראה מה קורה כאשר משתמשים בקירוב שמשפט הגבול המרכזי נותן לנו כדי לספק קירוב טוב של ההסתברות למאורע $\{k\le S_n\le l\}$ , כאשר $k,l$ הם מספרים כלשהם. אם כן אם ננרמל כפי שעשינו עד כה

לפי משפט הגבול המרכזי נקבל ש $\frac{S_n-np}{\sqrt{np(1-p)}}$ מקורב להפלגות נורמלית ולכן

הקירוב הזה שקול ללהתייחס ל $S_n$ כמשתנה מתפלג נורמלית עם תוחלת $np$ ושונות $np(1-p)$

התמונה למעלה מראה לנו PMF של התפלגות בינומית עם הPDF הנורמלי. אפשר לראות שהקירוב של מציאת ההסתברות בא לידי ביטוי על ידי אינטגרצייה של השטח מתחת לPDF הנורמלי , בטווח שבין $k$ ל $l$ שזה השטח האפור בתמונה. מצב בעייתי יכול להיות במקרה זה שאם $k=l$ נקבל שההסתברות היא $0$ ולכן תיקון של זה יהיה להשתמש בטווח $k-\frac{1}{2}$ ל $k+\frac{1}{2}$ כדי לקבל קירוב של $P(S_n=k)$ . בתמונה הימנית אפשר לראות הרחבה של הרעיון הזה באופן כללי שלוקח את הטווח $[k-\frac{1}{2},l+\frac{1}{2}]$ כדי שיהיה אפשר לקבל קירוב טוב של הסתברות של כמו במקרה למעלה.

De Moivre-Laplace Approximation to the Binomial

אם כן אחרי שרשמנו באופן מופשט נגדיר את הקירוב הנ״ל. אם $S_n$ הוא משתנה המתפלג בינומית אזי

דוגמה:
יהי $S_n$ משתנה המתפלג בינומית עם פרמטר $n=36$ ו $p=0.5$ החישוב המדוייק יהיה

אם נחשב את הקירוב לפי התפלגות נורמלית נקבל

אם נחשב לפי הקירוב שאמרנו למעלה (להוריד את הטווח בחצי)

ניתן לראות שזה קירוב הרבה יותר טוב והוא גם מאפשר לנו לחשב לאמוד הסתברות לערך יחיד למשל

וזה מאוד קרוב לערך המדוייק