אמידה סטטיסטית נקודתית

דיברנו על הגשר מתורת ההסתברות אל הההסקה הסטטיסטית .
כעת נרצה לדבר על התאוריה שמשתמשת בתורת ההסתברות כדי להסיק מסקנות לגבי האוכלוסייה מתוך התוצאות של מדגם תצפיות.
אחד הנושאים המרכזיים של הסקה סטטיסטית הוא, אמידה של מאפיינים שונים של האוכלוסייה שבוא נתעסק בסיכום זה.

עקרונות של אמידה

במקרים רבים נרצה לדעת את ערכו של פרמטר מסוים באוכלוסייה. בגלל גודלה של האוכלוסייה איננו יכולים לחשב אותו ואנו נאלצים להתבסס על הסטטיסטי המתאים במדגם מקרי מתוך אותה אוכלוסייה. תהליך זה נקרא אמידה.

דוגמה לבעיה של אמידה היא למשל , אמידה של ההסתברות להצלחה של טיפול רפואי באמצעות מדגם של חולים שיקבלו את הטיפול.

בכל בעיית אמידה נרצה לאמוד מדד מסוים של המשתנה המקרי הנבדק או של האוכלוסייה הנבדקת. מדד זה נקרא פרמטר.

הפרמטרים החשובים ביותר של מ״מ שדיברנו עליהם הינם התוחלת והשונות של משתנה מקרי: $E(X),V(X)$ .
פרמטר חשוב נוסף שנאמוד בקורס הוא הפרמטר $p$ שציין את ״ההסתברות להצלחה״.

כיצד אומדים פרמטר?

בעזרת סטטיסטי מתאים.

נסמן ב $\theta$ את הפרמטר שיש לאמוד ואת הסטטיסטי המשמש לאמידתו $\hat{\theta }$ .
במקרה זה נאמר כי $\hat{\theta }$ הוא אומד נקודתי ל $\theta$.
הכוונה היא שהערך שיקבל המשתנה המקרי $\hat{\mathrm{\Theta }}$ עבור מדגם מסוים יהווה עבורנו אומדן לפרמטר $\theta$ שנסמנו ב $\hat{\theta }$.

למשל, עבור התוחלת $\mu$ שהוא בעצם פרמטר כבר ראינו שממוצע המדגם $\bar{X}$ הוא האומד הנקודתי לתוחלת.
הערך ש $\bar{X}$ יקבל עבור מדגם מתוך אוכלוסייה בעלת תוחלת $\mu$, שאותה אנו רוצים לאמוד, יהווה אומדן ל $\mu$, במקרה זה $\theta =\mu$ . סך הכל יתקיים $\hat{\mathrm{\Theta }}=\bar{X}$ ועבור המדגם המסויים $\hat{\theta }=\bar{x}$ .

נזכיר ש התפלגות הדגימה היא פונקציית ההסתברות של סטטיסטי כלשהו. גם לאומד $\hat{\mathrm{\Theta }}$ יש התפלגות דגימה.

כלומר, מתוך אוכלוסייה בעלת הפרמטר $\theta$ נוציא מדגם בגודל $n$, ונחשב בו את האומד $\hat{\mathrm{\Theta }}$ . אומד זה הוא מ״מ אשר יכול לקבל ערכים שונים בהסתברויות שונות (למשל, יכלנו להוציא אינסוף מדגמים בגודל $n$ ובכל אחד מהם לחשב את הממוצע, התפלגות הערכים השונים הייתה מתבטאת בהתפלגות ההסתברויות).

שגיאת אמידה:
כיוון שאומד הוא משתנה מקרי והוא מקבל ערכים שונים אז ברור שבניסויי דגימה שונים נוכל לקבל ערכים שונים לאומד. נגדיר שגיאת אמידה להיות $\hat{\theta }-\theta$ כלומר ההפרש בין האומדן הנקודתי לפרמטר עצמו.

תכונות האמד

א. עקביות- ככל שהמדגם גדול יותר ההסתברות שהאמד יתכנס לפרמטר האמיתי $\hat{\theta }{\to }_{n\to \mathrm{\infty }}\theta$ .
ב. אי הטיה- התוחלת של האמד שווה לפרמטר

נשים לב אלו תכונות לקביעה של אמד תקין, הם לא חייבים בהכרח להתקיים.

אומד חסר-הטיה

ננסה לענות על השאלה: כיצד נבחר איזה סטטיסטי יש לחשב במדגם שנוציא, כדי לאמוד את הפרמטר בצורה הטובה ביותר.

אנחנו מחפשים סטטיסטי שיקיים $E(\hat{\mathrm{\Theta }})=\theta$ .
כלומר, נחפש סטטיסטי כזה שאילו היינו מוציאים אינסוף מדגמים בגודל שהחלטנו עליו, ובכל מדגם היינו מחשבים את הסטטיסטי שבחרנו, אז ממוצע ההתפלגות של כל הערכים הללו הייתה שווה בידיוק לפרמטר.

אם כן, ממוצע המדגם הוא דוגמה לאומד חסר הטיה עבור הפרמטר התוחלת.
שכן התוחלת שלו שווה בידיוק לתוחלת של הפרמטר.

במצב שבו $\hat{\mathrm{\Theta }}$ הוא אומד חסר הטיה ל $\theta$ , אזי, אם נתבונן בשגיאת האמידה (שאף היא משתנה מקרי כי היא צירוף ליניארי של משתנה מקרי) נקבל כי

כלומר התוחלת של שגיאת האמידה היא $0$.

למשל , ההתפלגות הראשונה היא חסרת הטייה ביחס ל $\theta$ בעוד ההתפלגות השנייה הינה מוטה.

אומדים חסרי הטיה לתוחלת ושונות

ממוצע המדגם

הראנו כבר שממוצע המדגם , ללא תלות בגודלו וללא תלות בהתפלגות של $X$ תקיים

כפי שכבר אמרנו, המתבקש מכך הוא שממוצע המדגם הוא אומר חסר הטיה לתוחלת $\mu$.

אומד לשונות

ננסה לבנות אומד חסר הטיה לשונות $V(X)={\sigma }^2$ . נזכור כי ${\sigma }^2=V(X)=E(X-\mu {)}^2$ , לכן אומד טבעי ל ${\sigma }^2$ על פי המדגם $\{X_i\}$ יהיה

זה מאוד דומה לשונות המדגם אם כי ההבדל הוא שכאן מודדים את המרחק מהתוחלת ולא ממוצע המדגם.
נוכיח שזהו אומד חסר הטייה על ידי חישוב תוחלתו

לפי ההגדרה של מדגם מקרי, לכל $X_i$ יש את אותה ההתפלגות כמו המשתנה המקרי שממנו דוגמים $X$ ולכן

ולכן הנ״ל הוא אומד חסר הטייה לשונות.

החסרון העיקרי של אומד זה הוא התלות בתוחלת שהרבה פעמים לא ידועה לנו, לכן הפתרון הטבעי ביותר העולה על הדעת הוא להחליף את התוחלת באומד שלו $\bar{X}$ ולנסות לאמוד את ${\sigma }^2$ בעזרת הביטוי $\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2$ אך במהרה אם ננסה לחשב את התוחלת של הביטוי הזה נקבל אומד מוטה. נקבל שהתוחלת היא $(\frac{n-1}{n}){\sigma }^2$ . נוכל לתקן את האומד הזה ולהפוך אותו לחסר הטייה כך

באופן הזה התוחלת תהיה $\frac{1}{n-1}(n-1){\sigma }^2={\sigma }^2$ .

נסמן את הביטוי הנ״ל $\widehat{S^2}$ . בעצם זה מ״מ המקבל ערכים שונים שיסומנו $\widehat{s^2}$. הוא מתאים לכל $n>1$ .

ביטוי השונות עד כה:
א. השונות באוכלוסייה או במ״מ (בהתפלגות הסתברותיות) היא

ב. השונו במדגם מסוים (בהתפלגות שכיחויות) היא

בשני המקרים השונות היא מדד פיזור, המבוטא על ידי ממוצע ריבועי הסטיות מן הממוצע של האוכלוסייה או המדגם

ג. אומד חסר הטיה לשונות של האוכלוסייה על סמך מדגם

ד. במדגם מסוים נקבל את הערך

קיים כמובן קשר בין $\widehat{s^2}$ ל $s^2$ והוא

כלומר נוכל לקחת את האומדן לשונות של האוכלוסייה ולתאר איתו את מידת הפיזור של הסטטיסטי בתוך המדגם.

המסקנה : ככל שהמדגם גדול יותר כך ההבדל בין האומדן לבין שונות המדגם קטנה יותר ולכן שונות המדגם מהווה אומד כמעט חסר הטיה ל ${\sigma }^2$ .

שיטות אמידה

שיטת המומנטים

שיטת המומנטים היא שיטת אמידה לפרמטרים שמאפיינים התפלגות של אוכלוסייה מסויימת.
נגדיר את המומנט ה$k$ באמצעות ממוצע החזקה ה$k$ של המ״מ $X$ ממנו נדגום.

נניח שיש לנו התפלגות עם פרמטרים לא ידועים ${\theta }_1,\dots ,{\theta }_k$ . כעת נבצע מדגם ועל סמך המומנטים של המדגם נאמוד את הפרמטרים.

בהינתן המדגם בגודל $n$ ותצפיות המדגם $x_1,x_2,\dots ,x_n$ . המומנטים של המדגמים יהיו

בעצם הרעיון הוא:

1. נשווה כל מומנט מסדר $k$ לאומדן שלו במדגם.
2. נפתור מערכת של $k$ משוואות עם $k$ נעלמים עבור האומדנים כדי לקבל אומדן עבור כל פרמטר באוכלוסייה.

חשוב לשים לב שאנחנו עושים את זה עבור מדגם בודד מגודל כלשהו.

למה מומנטים?

• מומנט מסדר ראשון זוהי התוחלת: מדד למרכז ההתפלגות.
• מומנט מסדר שני מבטא שונות: מדד לפיזור סביב תוחלת ההתפלגות.
• מומנט מסדר שלישי מבטא skewness: מדד לסמטריה סביב התוחלת.
• מומנט מסדר רביעי מבטא kortosis: מדד מקובל למידת הריכוז של פונקציית צפיפות או התפלגות של משתנה מקרי ממשי.

המומנטים בעצם נותנים לנו את מידע על ההתפלגות כפי שהיינו יכולים להניח אם היה לנו את פונקציית ההסתברות מצויירת.

השיטה פשוטה וקלה לחישוב, אך יכולה לפעמים לתת אומדנים מוטים. בדרך כלל עדיף את שיטת הנראות המירבית עליה נדבר בהמשך.

נסתכל על הדוגמה הבאה

נרצה למצוא אומד לפי שיטת המומנטים ל$\theta$ . נחשב תוחלת על משתנה רציף :

כעת זהו ממוצע המדגם $\bar{x}=\frac{1}{\theta +1}$
נוכל אם כן להסיק ש $\hat{\theta }=\frac{1}{\bar{x}}-1$ . וזהו האומד ל$\theta$.

דוגמה 2:
בכד 100 כדורים וידוע ש $50$ מהכדורים הם בצבע כחול והשאר בצבעים שונים.
נדגמו $n$ כדורים עם החזרה ונמצא שעשרה מהם בצבע כחול. נרצה לחשב אומד על סמך שיטת המומנטים למספר הכדורים שהוציאו מהכד.

ההסתברות להוציא בצבע כדור כחול היא $p=\frac{50}{100}=\frac{1}{2}$
מספר הכדורים בצבע כחול $X$ זה מ״מ מתפלג בינומית $X\sim BIN(n,p)$ .
התוחלת של משתנה בינומי היא $E(X)=np$.
כלומר המומנט הראשון שהוא התוחלת יקיים שערכו הוא $\frac{n}{2}$ .
ממוצע הכדורים הכחולים במדגם שלנו הוא $10$ , נציב זאת כתוחלת ונקבל

כעת, חזרו על הניסוי פעמיים נוספות והפעם התקבלו $8$ ו $11$ כדורים, ונרצה לאמוד את מספר הכדורים שהוציאו מהכד על סמך שלושת המדגמים. נגדיר אם כן

מליניאריות התוחלת נקבל

דוגמה 3:
נסתכל על התפלגות מעריכית $X\sim exp(\theta )$ .
התוחלת שהיא המומנט מסדר ראשון שווה ל $E(X)=\frac{1}{\theta }$.
כעת נבצע מדגם $X_i$ כאשר $i\in [1,n]$ .
האומד לתוחלת על סמך המדגם יהיה ${\hat{\mu }}_1=\sum _{i=1}^n{X}_1\cdot \frac{1}{n}$ נשווה את זה עם התוחלת ונקבל אומדן ל$\theta$ שהוא:

דוגמה 4:
נסתכל על התפלגות אחידה $X\sim U(0,b)$
התוחלת היא $E(X)=\frac{0+b}{2}$ באותו אופן נוכל לקבל אומדן ל$b$ :

נשים לב להטייה שיכולה לקרות לנו כאן, אם $X\sim U(0,5)$ עבור מדגם של 10 תצפיות: $4,0,5,3,5,4,2,4,2,1$ נקבל שהאומדן $\hat{b}$ יהיה $6$.

מצב שבו יש לנו שתי נעלמים:

אמד נראות מקסימלית

בהינתן פרמטר לא ידוע $\theta$ משתנה מקרי $X$ ופונקציית הסתברות התלויה ב $X,\theta$ : $f(X,\theta )$.

נבצע מדגם בגודל $n$: $X_1,X_2,\dots ,X_n$
אומד נראות מקסימלית $\hat{\theta }$ יהיה הערך של $\theta$ מבין כל הערכים האפשריים כך שההסתברות הגבוהה ביותר שנקבל את המדגם שלנו.

פונקציית הנראות תהיה

נמצא את הערף $\theta$ שמביא את הפונקצייה לערך מקסימלי.
כדי לקבל את הערך המקסימלי נוכל לגזור ולהשוות ל $0$ ולוודא מקסימליות עם בדיקה עבור הנגזרת השנייה כלומר

דוגמה 1:
ישנם 3 כדים עם כדורים כחולים וסגולים.

בחרנו באופן מקרי כד והוצאנו ממנו 3 כדורים ללא החזרה, בנה אומדן נראות מקסימלית לכד הנבחר, אם הכדור הראשון ושני יצאו כחולים, והשלישי סגול.

נחשב את ההסתברות לקבל את התוצאה הרצויה בכל כד:
כד א:

כד ב:

כד ג:
$0$ כי אין כדורים סגולים.

בעצם נרצה את ההסתברות המקסימלית מבין הכדים שזה אומר ש אנ״מ - כד א׳ או כד ב׳.
כאשר אין תלות באיזשהו פרמטר פשוט ניקח את ההסתברות המקסימלית בהתפלגות.

דוגמה 2:
מספרי קלפי $V_{max}$ בחבילת קלפים של פוקימון מתפלג לפי ההתפלגות הבאה:

המספר קלפים יכול להיות $\{1,2,3\}$ וההסתברויות תלויות ב $\theta$.

נרצה למצוא אומדן נראות מקסימלית ל $\theta$ על סמך מדגם מקרי של 3 חבילות
$x_1=1,x_2=2,x_3=1$ .

נרשום את פונקציית הנראות

נגזור ונשווה ל$0$:

כמובן ש $\theta$ לא יכול להיות $0$ ולכן $\theta =\frac{2}{9}=0.222$ . נבדוק את הנגזרת השנייה כדי לוודא מקסימום

ולכן זאת נקודת מקסימום.

למשל, אם נרצה את אומדן נראות מקסימלית לקבל 3 קלפים. כלומר ל $2\theta$ .
מהתכונה הנ״ל אנחנו יודעים ש $f(\hat{\theta })=2\hat{\theta }$ היא ח״ע ולכן האנ״מ יהיה $2\cdot \frac{2}{9}=\frac{4}{9}$ .

דוגמה 3:
נתונה פונקציית הצפיפות הבאה, מצא אנ״מ על סמך 10 תצפיות ב״ת

המכפלה תהיה

מתקיים שככל שערכה של $\theta$ קטן יותר אז הפונקצייה גדולה יותר ולכן נבחר בערך הקטן ביותר האפשרי לפי תוצאות המדגם $\hat{\theta }=max(x_i)$ .

דוגמה 4:
זמן ההמתנה בדקות לנציג מתפלג מעריכית עם פרמטר $\lambda$ נרצה למצוא אנ״מ להסתברות ששלושה לקוחות יחכו כל אחד מהם פחות מ5 דקות תחת הנחת אי תלות.

נצטרף גם $P(X\ge 5)=F(X=5)=1-e^{-\lambda 5}$
פונקציית המכפלה תהיה

למקסם פונקציה שקול ללמקסם את הln ולכן :

מכאן כבר לא בעיה לגזור...

דוגמה 5:
נניח הטלת מטבע מזויף אשר בו בהסתברות $p=0.7$ נקבל עץ.
מה ההסתברות לקבל $7$ פעמים עץ במדגם בגודל $10$.
התפלגות הטלת המטבע היא בינומית $BIN(0.7,10)$ אנחנו יודעים שפונקציית ההסתברות של משתנה מתפלג בינומית היא

לרוב היינו רוצים לחשב את ההסתברות ולכן הנעלם היה $k$ . כעת אנחנו רוצים לאמוד את ההסתברות, נרצה למצוא את $p$ . פונקציית המכפלה במקרה הזה שקולה לפונקצייה ההסתברות $L(p)=P(X=k)$ רק שמתייחסים לנעלם כ $p$ ולא ל $k$.

גם כאן נוכל להשתמש בפונקציית ה$ln$ ולקבל את האומדן להסתברות $\hat{p}=\frac{k}{n}$ . הרעיון הוא שבעצם האומדן נותן לנו הסתברות למטבע שבקירוב טוב התנהגות המטבע ״באוכלוסייה״ עם ההסתברות הזאת תיתן מדגם כמו שלנו.

לסיכום:

משפט:
האנ״מ לתוחלת יהיה ממוצע המדגם.
האנ״מ לשונות תהיה השונות במדגם הוא מעט מוטה כפי שכבר הראנו והוא לא האומדן חסר הטייה שבו מחלקים ב $n-1$ . $\widehat{S^2}=\frac{\sum (x_i-\bar{x}{)}^2}{n}$

יעילות של אמדים

כאשר יש לי ${\mathrm{\Theta }}_1$ ו ${\mathrm{\Theta }}_2$ אמדים חסרי הטיה עבור $\theta$ נעדיף את האמד בעל השונות הקטנה ביותר .

MSE

במקרה הכללי של הנ״ל במצב שבוא האמדים אינם חסרי הטיה, נרצה לחשב את

אמידה סטטיסטית עבור קשר בין 2 משתנים

נניח שיש לנו שני משתנים מקריים $X,Y$ שיש בינהם קשר ליניארי כלומר

נשאלת השאלה איך בוחרים קו מגמה?
נזכיר שקו מגמה הוא האומד את הקשר בין שני המשתנים האלה למרות שלפי מקדם המתאם של פירסון יש בינהם קשר ליניארי שאינו חזק בהכרח.

האינטואיצייה תהיה לבחור גרף ישר שהכי קרוב לנקודות בדיאגרמה לשם כך נשתמש ב אמד ריבועים פחותים. בעצם אנחנו רוצים לאמוד את הקשר הליניארי הנ״ל

אם כן, העקרון הריבועים הפחותים מבקש שנבחר את הישר שיקיים :
א. $\sum _{i=1}^n{e}_i=0$
ב. $min\left(\sum _{i=1}^n{e}_i^2\right)$ כלומר סכום ריבועי הסטיות מינימלי.

כדי לחשב את הקו השיקיים את הנ״ל:
שיפוע הקו:

החותך:

נוכל לחשב גם בדרך נוספת:

כלומר מקדם המתאם כפול סטיית התקן של $y$ חלקי סטיית התקן של $x$

דרך נוספת:

וגם

טיב הקו, איכות ההסבר:
ברגרסיה אנחנו מדברים על להסביר את $Y$ על ידי $X$ . יותר נוכן לומר שאנחנו מדברים על להסביר את השונות של $Y$ עם השונות של $X$

כדי להסביר נרצה לחשב את אורך הכו הכחול. שבודק את השונות של ערך האומדן $\hat{y}$ מהממוצע. ונרצה את החלק האדום שהוא בעצם $e$ ובמילים אחרות את השונות של $e$, זאת נקראת השונות הלא מוסברת על ידי קו הרגרסייה.

כעת נגדיר את אחוז השונות המוסברת להיות על ידי

לא אוכיח את המעבר האחרון