#probability #computer_science

מודלים הסתברותיים

א) מרחב מדגם $Ω$ קבוצת כל התוצאות האפשריות של הניסוי.

ב) חוק הסתברות שמצמיד בין מאורע $A$ להסתברות שלו $P (A)$ שהיא אי שלילית ומייצגת את הסיכוי להתרחשות האיברים בתוך $A$ .

ג) תוצאות הן תמיד זרות אחת לשנייה

אקסיומות ההסתברות

א) $P (A) \geq 0$

ב) אדטיביות- בהינתן ש $A, B$ הן קבוצות זרות : $P (A \cup B) = P (A) + P (B)$ (עובד גם על $n$ מאורעות זרים).

ג) נורמליזציה $P (Ω) = 1$

ד) חוק ההסתברות הבדיד- אם מרחב המדגם מכיל מספר סופי או בן מנייה של תוצאות אז ההסתברות של כל מאורע ${s_{1} \dots s_{n}}$ יהיה

P ({s_{1}, \dots, s_{n}}) = P (s_{1}) + \dots + P (s_{n})

ה) אם כל $n$ התוצאות הן בסבירות שווה לקרות אזי

P (A) = \frac{| A |}{n}

תכונות נוספות

\begin{matrix} A \subset B \to P (A) \leq P (B) \\ P (A \cup B) = P (A) + P (B) - P (A \cap B) \\ P (A \cup B) \leq P (A) + P (B) \\ P (A \cup B \cup B) = P (A) + P (A^{c} \cap B) + P (A^{c} \cap B^{c} \cap C) \end{matrix}

התסברות מותנת

א)

P (A | B) = \frac{P (A \cap B)}{P (B)}

התנייה זה הסתברות לכל דבר תחת עולם חדש שהוא במקרה הנ״ל $B$ .

ב) במרחב מדגם שווה הסתברות

P (A | B) = \frac{| A \cap B |}{| B |}

ג)

P (A | B) = 1 - P (A^{c} | B)

חוק הכפל

P (\cap_{i = 1}^{n} A_{i}) = P (A_{1}) \cdot \frac{P (A_{1} \cap A_{2})}{P (A_{1})} \dots \frac{P (\cap_{i = 1}^{n} A_{i})}{P (\cap_{i = 1}^{n - 1} A_{i})}

Pasted image 20221106144043.png

התמונה מקלה לראות את החוק עבור 2 מאורעות למשל ,

P (A_{1} \cap A_{2}) = P (A_{1}) \cdot P (A_{2} | A_{1})

משפט ההסתברות השלמה וחוק בייס

משפט ההסתברות השלמה

P (B) = \sum_{i = 1}^{n} P (A_{i} \cap B) = \sum_{i = 1}^{n} P (A_{i}) P (B | A_{i})

חוק בייס

P (A_{i} | B) = \frac{P (A_{i}) P (B | A_{i})}{P (B)} = \frac{P (A_{i}) P (B | A_{i})}{\sum_{i = 1}^{n} P (A_{i}) P (B | A_{i})}

Pasted image 20221106160256.png|450

אי תלות

הגדרה:

P (A | B) = P (A)

או

P (A \cap B) = P (A) P (B)

מאורעות זרים הם תמיד בלתי תלויים.
אם $A, B$ בלתי תלויים כלומר ההתרחשות של $B$ לא משפיע על $A$ אז גם אי ההתרחשות ולכן אם $A, B$ בלתי תלויים אז גם $A, B^{c}$ בלתי תלויים.

אי תלות מותנת

הגדרה:

P (A \cap B | C) = P (A | C) P (B | C)

או

P (B | C) P (A | B \cap C)

אי תלות של n מאורעות

נאמר שהמאורעות $A_{1}, A_{2}, A_{3}, \dots, A_{n}$ בלתי תלויים אם מתקיים

P (⋂_{i \in S} A_{i}) = \prod_{i \in S} P (A_{i}) for every subset S of {1, 2, 3, 4, \dots, n}

למשל עבור $A_{1, 2, 3}$ אי תלות בין שלושתם תתקיים אם :

\begin{matrix} P (A_{1} \cap A_{2}) = P (A_{1}) P (A_{2}), \\ P (A_{1} \cap A_{3}) = P (A_{1}) P (A_{3}), \\ P (A_{2} \cap A_{3}) = P (A_{2}) P (A_{3}), \\ P (A_{1} \cap A_{2} \cap A_{3}) = P (A_{1}) P (A_{2}) P (A_{3}) \end{matrix}

שלושת התנאים הראשונים מבטיחים לנו שכל שתי מאורעות הם בלתי תלויים, התכונה הזאת נקראת pairwise independent כלומר אי תלות בזוגות. אי תלות בזוגות לא מראה על אי תלות

מנייה, צירופים וחלוקות

מספר תרחישים בהם אנחנו משתמשים בספירה כדי לחשב הסתברות.

כאשר מרחב המדגם $Ω$ הוא מרחב מדגם שווה הסתברות בדיד. כלומר יש בו מספר סופי של תוצאות שלכל אחת הסתברות זהה. במצב זה ההסתברות של מאורע $A$ תהיה

P (A) = \frac{| A |}{| Ω |}

כאשר נרצה לחשב התסברות של מאורע $A$ עם מספר סופי של תוצאות אפשריות כאשר לכל אחד יש הסתברות $p$ . במצב זה ההסתברות של מאורע $A$ תהיה

p \cdot | A |

עקרונות ספירה

Pasted image 20221113215020.png|350
נכליל את עקרונות הספירה כך:
נניח שיש תהליך שמכיל $r$ שלבים

בשלב הראשון יש $n_{1}$ תוצאות אפשריות.
לכל תוצאה אפשרית בשלב הראשון יש $n_{2}$ , תוצאות אפשריות בשלב השני.
באופן כללי, לכל רצף של תוצאות אפשריות ב $i - 1$ השלבים הראשונים יש $n_{i}$ אפשרויות בשלב ה $i$ .

דוגמאות

מספר הסוגים האפשריים למספר טלפון - מספר טלפון הוא בעל 7 ספרות כאשר הספרה הראשונה חייבת להיות שונה מ $0, 1$ . נוכל לתאר את הבעיה הזאת כתיאור של עץ סדרתי כאשר הרמה ה $i$ מייצגת את הספרה ה $i$ ואפשרותיה. כלומר באופן הזה עבור הספרה הראשונה יש לנו 8 אפשרויות וכל השאר עם 10 ולכן נקבל

8 \cdot \underset{6 times}{\underset{⏟}{10 \cdot 10 \dots 10}} = 8 \cdot 10^{6}

מספר תתי הקבוצות לקבוצה בגודל $n$ . נוכל להסתכל על זה כבחירה על כל איבר בקבוצה של האם להכניס אותו לתת הקבוצה או לא. כלומר שישנן $2^{n}$ אפשרויות לבניית תת קבוצה מ $n$ איברים.

פרמוטציה מסדר k

נרצה לבחור k אובייקטים מתוך אוסף המכיל n אובייקטים שונים ולסדר אותם איכשהו.

n (n - 1) (n - 2) \dots (n - k + 1) = \prod_{i = 1}^{k} n - i + 1 \cdot \frac{(n - k) \dots 2 \cdot 1}{(n - k) \dots 2 \cdot 1} = \frac{n!}{(n - k)!}

במקרה הפרטי ש $k = n$ זה פשוט נקרא פרמוטצייה ונקבל $n!$ אפשרויות.

צירופים

רצה לבנות ועדה של $k$ חברי צוות מקבוצה של $n$ אנשים.

\frac{n!}{k! (n - k)!}

זה שקול ל מקדם בינומי שזה בעצם בחירה של $k$ מתוך $n$ איברים. כלומר

(\binom{n}{k}) = \frac{n!}{k! (n - k)!}

משתנים מקריים בדידים

p_{X} (x) = P ({X = x}) = P ({w \in Ω | X (w) = x})

ניתן גם לסמן $P (X = x)$

נורמליות:

\sum_{x} p_{X} (x) = 1

פונקציות של משתנים רנדומיים בדידים

p_{Y} (y) = \sum_{{x | g (x) = y}} p_{X} (x)

תוחלת ושונות

תוחלת:

E [X] = \sum_{x} x p_{X} (x)

E [g (X)] = \sum_{x} g (x) \cdot p_{X} (x)

שונות:

var (X) = E [(X - E [X])^{2}]

סטיית תקן:

σ_{X} = \sqrt{v a r (X)}

תכונות חשובות של תוחלת ושונות

ליניאריות התוחלת:

Y = a X + b

כאשר $a, b$ הם סקלרים כלומר $Y$ הוא פונקצייה ליניארית על $X$ , יתקיים:

E [Y] = \sum_{x} (a x + b) p_{X} (x) = a \sum_{x} x p_{X} (x) + b \sum_{x} p_{X} (x) = a E [X] + b

v a r (X) = E [X^{2}] - (E [X])^{2}

$X \geq 0 \to E [X] \geq 0$
עבור $c$ קבוע יתקיים $E [c] = c$

v a r (a X + b) = a^{2} v a r (X)

אחיד

ב $[a, b]$ :

p_{X} (k) = {\begin{cases} \frac{1}{b - a + 1} & k \in {a, a + 1, \dots, b} \\ 0 & e l s e \end{cases}

E [X] = \frac{a + b}{2}

v a r (X) = \frac{(b - a) (b - a + 2)}{12}

ברנולי

עבור פרמטר $p$ המייצג הסתברות להתרחשות של מאורע או הצלחה של ניסוי.

p_{X} (k) = {\begin{cases} p & k = 1 \\ 1 - p & k = 0 \end{cases}

E [X] = p

v a r (X) = p (1 - p)

בינומי

עבור $p$ ו $n$

p_{X} (k) = (\binom{n}{k}) p^{k} (1 - p)^{n - k} k = 0, 1, \dots, n

E [X] = n p

v a r (X) = n p (1 - p)

גיאומטרי

עבור פרמטר $p$ ההסתברות להצלחה בניסוי

p_{X} (k) = (1 - p)^{k - 1} p k \in N

E [X] = \frac{1}{p}

v a r (X) = \frac{1 - p}{p^{2}}

CDF:

F_{g e o} (n) = 1 - (1 - p)^{n}

חוסר זכרון של גיאומטרי:

p_{X - n | X > n} (k) = p_{X} (k)

או

P (X = n + k | X > n) = P (X = k)

משתנה מתפלג גיאומטרי שסופר את הכשלונות בלבד

עד כה מידלנו את ההתפלגות הגיאומטרית ככזאת שסופרת את מספר הניסיונות כולל ההצלחה הראשונה, נוכל בקלות למדל אותו כך שיספור רק את הכשלונות . למשל נוכל פשוט להחסיר מהתוחלת את $1$ כדי לקבל את התוחלת הרצוייה. כלומר ה pmf יהיה פשוט

p_{X} (k) = (1 - p)^{k} p

כלומר ספרנו את כל הכשלונות לא כולל ההצלחה. ההשפעה של זה על התוחלת תהיה :

E [X] = \frac{1}{p} - 1 = \frac{1 - p}{p}

ההחסרה נובעת מכך שפשוט הורדנו ספירה אחת בניסוי.
כמו כן- השונות נשארת אותו דבר כלומר:

\frac{1 - p}{p^{2}}

פואסון

עם פרמטר $λ$ (כאשר $n$ גדול ממש ו $p$ קטן ממש נקבל $λ = n p$ )

\forall_{k \in N} : p_{X} (k) = e^{- λ} \cdot \frac{λ^{k}}{k!}

E [X] = v a r (X) = λ

איחוד PMF של מספר משתנים רנדומיים

p_{X, Y} (x, y) = P (X = x, Y = y)

עבור $Z = g (X, Y)$ :

p_{Z} (z) = \sum_{(x, y) | g (x, y) = z} p_{X, Y} (x, y)

E [g (X, Y)] = \sum_{(x, y)} g (x, y) p_{X, Y} (x, y) = \sum_{x} \sum_{y} g (x, y) p_{X, Y} (x, y)

במקרה הליניארי :

E [g (X, Y)] = E [a X + b Y + c] = a E [X] + b E [Y] + c

הפונקציות השוליות

p_{X} (x) = \sum_{y} p_{X, Y} (x, y) p_{Y} (y) = \sum_{x} p_{X, Y} (x, y)

E [\sum_{i = 1}^{n} a_{i} \cdot X_{i}] = \sum_{i = 1}^{n} a_{i} \cdot E [X_{i}]

הכללה למספר משתנים אקראיים

p_{X, Y, Z} (x, y, z) = P (X = x, Y = y, Z = z)

p_{X, Y} (x, y) = \sum_{z} p_{X, Y, Z} (x, y, z)

p_{X} (x) = \sum_{y} \sum_{z} p_{X, Y, Z} (x, y, z)

E [g (X, Y, Z)] = \sum_{x} \sum_{y} \sum_{z} g (x, y, z) p_{X, Y, Z} (x, y, z)

E [a X + b Y + c Z + d] = a E [x] + b E [Y] + c E [Z] + d

התניות על משתנה רנדומי בדיד

התנייה של משתנה רנדומי עם מאורע

p_{X | A} (x) = P (X = x | A) = \frac{P ({X = x} \cap A)}{P (A)}

P (A) = \sum_{x} P ({X = x} \cap A)

התנייה של משתנה רנדומי עם משתנה רנדומי אחר

p_{X | Y} (x | y) = \frac{P (X = x, Y = y)}{P (Y = y)} = \frac{p_{X, Y} (x, y)}{p_{Y} (y)}

p_{X, Y} (x, y) = p_{X | Y} (x | y) \cdot p_{Y} (y)

p_{X, Y} (x, y) = p_{X} (x) \cdot p_{Y | X} (y | x)

תוחלת מותנת

E [X | A] = \sum_{x} x \cdot p_{X | A} (x)

E [g (x) | A] = \sum_{x} g (x) \cdot p_{X | A} (x)

E [X | Y = y] = \sum_{x} x \cdot p_{X | Y} (x | y)

התוחלת השלמה :
אם $A_{1}, A_{2}, A_{3}, \dots, A_{n}$ הן מאורעות זרים שמהווים חלוקה של מרחב המדגם וכל אחד מהם עם התסברות גדולה מ0 אזי

E [X] = \sum_{i = 1}^{n} P (A_{i}) E [X | A_{i}]

יתרה מכך, לכל מאורע $B$ שיקיים $\forall_{1 \leq i \leq n} : P (A_{i} \cap B) > 0$ אזי

E [X | B] = \sum_{i = 1}^{n} P (A_{i} | B) E [X | A_{i} \cap B]

E [X] = \sum_{y} p_{Y} (y) \cdot E [X | Y = y]

אי תלות על משתנה רנדומי בדיד

אי תלות של משתנה רנדומי עם מאורע

P (X = x \cap A) = P (X = x) P (A) = p_{X} (x) P (A)

כל עוד $P (A) > 0$ , אי תלות היא זהה לתנאי

\forall_{x} : p_{X | A} (x) = p_{X} (x)

אי תלות בין משתנים רנדומים

\forall_{x, y} : p_{X, Y} (x, y) = p_{X} (x) p_{Y} (y)

אי תלות מותנת

\forall_{x, y} : P (X = x, Y = y | A) = P (X = x | A) P (Y = y | A)

תוחלת ואי תלות

E [g (X) h (Y)] = E [g (X)] E [h (Y)]

מסקנה

E [X Y] = E [X] E [Y]

שונות ואי תלות

v a r (X + Y) = v a r (X) + v a r (Y)

אי תלות של מספר משתנים רנדומים

\forall_{x, y, z} : p_{X, Y, Z} (x, y, z) = p_{X} (x) p_{Y} (y) p_{Z} (z)

משפט אם $X_{1}, \dots, X_{n}$ הם משתנים בלתי תלויים אזי

v a r (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} v a r (X_{i})

תוחלת ושונות של sample mean

נגדיר את ה sample mean $S_{n}$ להיות

M_{n} = \frac{\sum_{i = 1}^{n} X_{i}}{n}

E [M_{n}] = \sum_{i = 1}^{n} \frac{1}{n} E [X_{i}] = \frac{1}{n} n p = p

נשים לב שזה משתנה רנדומי שמהווה אסטימצייה טובה לשיעורי ההצבעה בגלל שהתוחלת שלו היא עדיין $p$ שמייצג את שיעור ההצבעה ״האמיתי״ של ביידן. נשים לב שכל עוד $X_{i}$ בלתי תלויים אחד בשני ויש להם תוחלת ושונות שווים אז יתקיים

v a r (M_{n}) = \frac{v a r (X)}{n}

משתנים רנדומיים - רציף

PDF

P (X \in B) = \int_{B} f_{X} (x) d x

P (a \leq X \leq b) = \int_{a}^{b} f_{X} (x) d x

התכונות ש $f_{X}$ צריכה לקיים כדי להיות $P D F$ תקין הן:

$f_{X} (x) \geq 0$ כלומר פונקצייה אי שלילית לכל ערכיה
נורמליזציה הסכום של כל ערכי התמונה האפשריים צריך להיות $1$

\int_{\pm \infty} f_{X} (x) d x = P (- \infty < X < \infty) = 1

תוחלת

E [X] = \int_{- \infty}^{\infty} x f_{X} (x) d x

משתנה רנדומי אחיד רציף

f_{X} (x) = {\begin{cases} \frac{1}{b - a} & x \in [a, b] \\ 0 & e l s e \end{cases}

E [X] = \frac{a + b}{2}

v a r (X) = \frac{(b - a)^{2}}{12}

ה CDF של התפלגות אחידה:

\int_{a}^{x} f_{X} (t) d t = \frac{x - a}{b - a}

משתנה מקרי מעריכי

f_{X} (x) = {\begin{cases} λ e^{- λ x} & x \geq 0 \\ 0 & e l s e \end{cases}

נשים לב שההסתברות של $X$ לעלות על ערך מסויים קטנה באופן מעריכי. עבור $a \geq 0$ נקבל

P (X \geq a) = - e^{- λ x} |_{a}^{\infty} = e^{- λ a}

Pasted image 20221218014805.png|350

\begin{matrix} E [X] = \frac{1}{λ} \\ v a r (X) = \frac{1}{λ^{2}} \end{matrix}

CDF:

F_{e x p} (x) = 1 - e^{- λ x}

משתנה מקרי נורמלי

f_{X} (x) = \frac{1}{\sqrt{2 π} σ} e^{\frac{- (x - μ)^{2}}{2 σ^{2}}}

E [X] = μ v a r (X) = σ^{2}

נהוג לסמן משתנה נורמלי $X$ כ $N (μ, σ^{2})$

משתנה נורמלי ופונקצייה ליניארית

אם $X$ הוא משתנה נורמלי עם תוחלת $μ$ ושונות $σ^{2}$ נגדיר עבור $a \neq 0$ ו $b$ סקלרים:

Y = a X + b

אזי, $Y$ הוא משתנה נורמלי ומקיים

E [Y] = a μ + b v a r (Y) = a^{2} σ^{2}

משתנה נורמלי סטנדרטי

משתנה נורמלי $Y$ עם תוחלת 0 ושונות באורך 1 מוגדרת כ נורמלי סטנדרטי . ה CDF שלה מסומן כ $Φ$ והיא מקיימת

Φ (Y) = P (Y \leq y) = P (Y < y) = \frac{1}{\sqrt{2 π}} \int_{- \infty}^{y} e^{\frac{- y^{2}}{2}} d t

Φ (- y) = 1 - Φ (y)

Pasted image 20230104022924.png|600

נירמול משתנה נורמלי:
בהינתן משתנה מקרי $X$ עם תוחלת $μ$ ושונות $σ^{2}$ , נבצע תהליך בין 2 שלבים:
א) ״נירמול״ $X$ והגדרת משתנה נורמלי סטנדרטי $Y = \frac{x - μ}{σ}$
ב) חישוב ה CDF באופן הבא

P (X \leq x) = P (\frac{X - μ}{σ} \leq \frac{x - μ}{σ}) = P (Y \leq \frac{x - μ}{σ}) = Φ (\frac{x - μ}{σ})

CDF פונקציית ההתפלגות המצטברת

F_{X} (x) = P (X \leq x) = {\begin{cases} \sum_{k \leq x} p_{X} (k) & if X is discrete \\ \int_{- \infty}^{x} f_{X} (t) d t & if X is continuous \end{cases}

Pasted image 20221218025342.png|350

תכונות

$F_{X}$ היא מונוטונית עולה כלומר $x \leq y \to F_{X} (x) \leq F_{X} (y)$
$F_{X} (x)$ שואפת ל $0$ כאשר $x \to - \infty$ ושואפת ל $1$ כאשר $x \to \infty$ .
אם $X$ הוא משתנה רציף אז $F_{X} (x)$ היא פונקצייה רציפה של $x$ כלומר רציפה מימין. ויתקיים

\frac{d}{d x} F_{X} (x) = f_{X} (x)

אם $X$ הוא בדיד ומקבל ערכים טבעיים, נוכל לחלץ את ה CDF וה PMF על ידי סכימת ההפרשים כלומר

p_{X} (k) = P (X \leq k) - P (X \leq k - 1) = F_{X} (k) - F_{X} (k - 1)

אם $X$ הוא רציף, ה $P D F$ וה $C D F$ מתקבלים אחד מהשני על ידי גזירה ואינטגרצייה.
$P (a \leq X \leq b) = F_{X} (b) - F_{X} (a)$

הרבה פעמים נרצה להשתמש ב CDF כדי לחשב את ה PMF או ה PDF, את ה PDF נוכל לחשב על ידי חישוב CDF וגזירה ובאופן דומה על ה PMF על ידי הנוסחה הנ״ל

משתנה מקרי מעורב

מודלים הסתברותיים לרוב מערבים משתנים רנדומים שמערבים בתוכם מעין מיקס של בדיד $Y$ ורציף כלשהו $Z$ בכך אנחנו מתכוונים שהערך של $X$ מורכב מהחוקים ההסתברותיים הפועלים תחת $Y$ עם הסתברות $p$ ומהחוקים ההסתברותיים הפועלים תחת $Z$ עם הסתברות משלימה של $1 - p$
הרעיון הוא שיש אזורים נקודתיים במרחב שלנו שיש בהם נקודות אי רציפות ואז במקום שההסתברות של ערך בודד תהיה 0 במקרה רציף יהיה שם ערך מסויים וסכום כל ההסתברויות של הנקודות האלה יהיה המשלים של שאר השטח.

במצב זה $X$ ייקרא משתנה מקרי מעורב. וה CDF שלו ניתן לחישוב באמצעות נוסחת ההסתברות השלמה

F_{X} (x) = P (X \leq x) = p P (Y \leq x) + (1 - p) P (Z \leq x) = p F_{Y} (x) + (1 - p) F_{Z} (x)

באמצעות משפט התוחלת השלמה נקבל

E [X] = p E [Y] + (1 - p) E [Z]

איחוד PDF ו CDF של מספר משתנים רנדומיים

JOINT PDF

P ((X, Y) \in B) = \int_{(x, y) \in B} \int f_{X Y} (x, y) d x d y

P (a \leq X \leq b \cap c \leq Y \leq d) = \int_{c}^{d} \int_{a}^{b} f_{X, Y} (x, y) d x d y

השוליות:

f_{X} (x) = \int_{- \infty}^{\infty} f_{X, Y} (x, y) d y

באופן דומה נקבל

f_{Y} (y) = \int_{- \infty}^{\infty} f_{X, Y} (x, y) d x

PDF משותף אחיד

לכל תת קבוצה $S$ במישור הדו מימדי, הPDF המשותף האחיד על S יהיה

f_{X Y} (x, y) = {\begin{cases} \frac{1}{area(S)} & (x, y) \in S \\ 0 & e l s e \end{cases}

ולכל $A \subset S$ ההסתברות ש $(X, Y)$ נמצא ב $A$ תהיה

P ((X, Y) \in A) = \frac{area(A)}{area(S)}

CDF משותף

F_{X, Y} (x, y) = P (X \leq x, Y \leq y) = \int_{- \infty}^{x} \int_{- \infty}^{y} f_{X, Y} (s, t) d t d s

תוחלת משותפת

E [g (X, Y)] = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} g (x, y) f_{X, Y} (x, y) d x d y

E [a X + b Y + c] = a E [X] + b E [Y] + c

הכללה למספר משתנים מקריים

ה PDF המשותף של שלושה משתנים מקריים $X, Y, Z$ מוגדר באופן דומה למקרה של שתי משתנים מקריים רציפים:

P ((X, Y, Z) \in B) = \underset{(x, y, z) \in B}{\int \int \int} f_{X, Y, Z} (x, y, z) d x d y d z

באופן דומה למקרה של שתי משנים נוכל לחלץ את הפונקציות השוליות

\begin{matrix} f_{X, Y} (x, y) = \int_{- \infty}^{\infty} f_{X, Y, Z} (x, y, z) d z \\ f_{X} (x) = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} f_{X, Y, Z} (x, y, z) d y d z \end{matrix}

התוחלת תקיים:

E [g (X, Y, Z)] = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} g (x, y, z) f_{X, Y, Z} (x, y, z) d x d y d z

והמקרה הפרטי הליניארי:

E [g (X, Y, Z)] = E [a X + b Y + c Z] = a E [X] + b E [Y] + c E [x]

כמובן שנוכל להכליל את הנוסחה של התוחלת הנ״ל באופן ברור עבור $X_{1}, X_{2}, \dots, X_{n}$ משתנים מקריים רציפים:

E [\sum_{i = 1}^{n} a_{i} X_{i}] = \sum_{i = 1}^{n} a_{i} E [X_{i}]

אי תלות בין משתנים מקריים רציפים

f_{X, Y} (x, y) = f_{X} (x) f_{Y} (y)

F_{X, Y} (x, y) = P (X \leq x, Y \leq y) = P (X \leq x) P (Y \leq y) = F_{X} (x) F_{Y} (y)

E [g (X) h (Y)] = E [g (X)] E [h (Y)]

אם $X, Y, Z$ בלתי תלויים אז גם כל $f (X), g (Y), h (Z)$ שנבחר יהיו בלתי תלויים. באופן דומה , כל 2 משתנים מקריים מהצורה $g (X, Y), h (Z)$ הם בלתי תלויים.
למרות זאת ברוב המקרים שתי פונקציות $g (X, Y), h (Y, Z)$ כן יהיו תלויות אחד בשני בגלל ששתיהן מושפעות מ $Y$ .

קונבולוצייה

\begin{matrix} p_{Z} (z) = P (X + Y = z) = \sum_{x} p_{X} (x) p_{Y} (z - x) \end{matrix}

f_{Z} (z) = \int_{- \infty}^{\infty} f_{X, Z} (x, z) d x = \int_{- \infty}^{\infty} f_{X} (x) f_{Y} (z - x) d x

שונות משותפת ומתאם

c o v (X, Y) = E [(X - E [X]) (Y - E [Y])]

c o v (X, Y) = E [X Y] - E [X] E [Y]

תכונות השונות המשותפת

\begin{matrix} c o v (X, Y) = c o v (Y, X) \\ c o v (X, X) = v a r (X) \\ c o v (X, a Y + b) = a \cdot c o v (X, Y) \\ c o v (X, Y + Z) = c o v (X, Y) + c o v (X, Z) \\ c o v (X + Y, Z) = c o v (X, Z) + c o v (Y, Z) \\ c o v (X, a) = 0 \\ c o v (X, a X + b) = a \cdot v a r (X) \end{matrix}

כמו כן בהינתן ש $X, Y$ בלתי תלויים אנחנו יודעים ש $E [X Y] = E [X] E [Y]$ ולכן יתקיים $c o v (X, Y) = 0$ .

מקדם המתאם של פירסון

ρ (X, Y) = \frac{c o v (X, Y)}{\sqrt{v a r (X) v a r (Y)}}

השונות של סכום של משתנים מקריים

v a r (X_{1} + X_{2}) = v a r (X_{1}) + v a r (X_{2}) + 2 c o v (X_{1} + X_{2})

v a r (\sum_{i = 1}^{n} X_{i}) = \sum_{i = 1}^{n} v a r (X_{i}) + \sum_{{(i, j) | i \neq j}} c o v (X_{i}, X_{j})

משפטי גבול

אי שוויון מרקוב (Markov inequality)

P (X \geq a) \leq \frac{E [X]}{a} for all a>0

אי שוויון צבישב (Chebyshev inequality)

יהי $X$ משתנה מקרי עם תוחלת $μ$ ושונות $σ^{2}$ אזי

P (| X - μ | \geq c) \leq \frac{σ^{2}}{c^{2}} for all c>0

משלים של אי שיוויון צ׳בישב

P (| X - E [X] | \leq c) = 1 - P (| X - E [X] | \geq c) \geq 1 - \frac{v a r (X)}{c^{2}}

החוק החלש של המספרים הגדולים

M_{n} = \frac{X_{1} + \dots + X_{n}}{n} = \frac{S_{n}}{n}

E [M_{n}] = μ v a r (M_{n}) = \frac{σ^{2}}{n}

הגדרה

הי $X_{1}, X_{2} \dots$ סדרה של משתנים בלתי תלויים שמתפלגים באופן זהה עם תוחלת $μ$ . אזי לכל $ϵ > 0$ נקבל

P (| M_{n} - μ | \geq ϵ) = P (| \frac{X_{1} + \dots + X_{n}}{n} - μ | \geq ϵ) \overset{n \to \infty}{\to} 0

משפט הגבול המרכזי

S_{n} = X_{1} + \dots + X_{n} = n M_{n}

E [S_{n}] = n E [M_{n}] = n μ

v a r (S_{n}) = v a r (X_{1}) + v a r (X_{2}) + \dots + v a r (X_{n}) = n σ^{2}

נגדיר:

Z_{n} = \frac{S_{n} - n μ}{σ \sqrt{n}} = \frac{X_{1} + \dots + X_{n} - n μ}{σ \sqrt{n}}

הוא בעל תוחלת 0 ושונות 1

נגדיר את משפט הגבול המרכזי באופן הבא:

lim_{n \to \infty} P (Z_{n} \leq z) = ϕ (z)

קירובים מבוססים משפט הגבול המרכזי

משפט קירוב נורמלי מבוסס משפט הגבול המרכזי:
יהי $S_{n} = X_{1} + X_{2} + \dots + X_{n}$ נוכל להתייחס להסתברות $P (S_{n} \leq c)$ בקירוב נורמלי באופן הבא:

חשב את $n μ$ והשונות $n σ^{2}$ של $S_{n}$ .
חשב את הערך המנורמל $z = \frac{c - n μ}{σ \sqrt{n}}$ .
תשתמש בקירוב:

P (S \leq c) \approx Φ (z)