חוק המספרים הגדולים

מאת ויקיפדיה, אך משופר ויזואלית

בתורת ההסתברות ובסטטיסטיקה, חוק המספרים הגדולים הוא שמם המשותף של שני משפטים העוסקים בהתנהגות הממוצע במדגמים גדולים, הנקראים החוק החלש והחוק החזק. משפט הגבול המרכזי מספק תיאור מדויק יותר של התנהגות הממוצע, אבל חוקי המספרים הגדולים חלים במקרים כלליים יותר.

גלה עוד נושאים הקשורים לחוק המספרים הגדולים

החוק החלש

החוק החלש של המספרים הגדולים קובע כי סדרת הממוצעים מתכנסת בהסתברות אל התוחלת, כלומר, הסיכוי של הממוצע להיות רחוק מן התוחלת שואף לאפס כאשר גודל המדגם שואף לאינסוף.

גרסה פרטית

תהי $X_{1},X_{2},\dots$ סדרה של משתנים מקריים בלתי מתואמים, בעלי אותה תוחלת סופית $\mu$ ואותה שונות סופית $\sigma ^{2}$ . נסמן ${\bar {X}}_{n}={\frac {X_{1}+\dots +X_{n}}{n}}$ .

החוק החלש של המספרים הגדולים קובע שלכל $\varepsilon >0$ מתקיים ${\displaystyle \lim _{n\rightarrow \infty }{P(|{\bar {X}}_{n}-\mu |$ .

ניתן להוכיח גרסה זו מאי-שוויון צ'בישב:

${\textstyle [\operatorname {Var} ({\bar {x}})=\operatorname {Var} ({\tfrac {1}{n}}\sum _{k=1}^{N}x_{k}))={\tfrac {1}{n^{2}}}\operatorname {Var} (\sum _{k=1}^{N}x_{k}))={\tfrac {1}{n^{2}}}\cdot n\sigma ^{2}={\tfrac {\sigma ^{2}}{n}}]}$

$P(|{\bar {X}}_{n}-\mu |>\varepsilon )\leq {\frac {{\operatorname {Var} }({\bar {X}}_{n})}{\varepsilon ^{2}}}={\frac {\sigma ^{2}/n}{\varepsilon ^{2}}}={\frac {\sigma ^{2}}{n\varepsilon ^{2}}}\to 0$

גרסה מוכללת

ניתן להחליש את תנאי המשפט – אין צורך להניח כי למשתנים המקריים יש שונות סופית, אם כי במקרה זה לא מספיק להניח שהמשתנים המקריים בלתי מתואמים, אלא צריך להניח אי תלות מלאה, וכן שהם שווי התפלגות. הוכחת גרסה זו מסובכת יותר.

ראשית נוכיח כי יש התכנסות של הממוצע אל התוחלת בהתפלגות. ידוע כי טענה זו שקולה לכך שיש התכנסות של הפונקציה האופיינית: $\varphi _{{\bar {X}}_{n}}\to \varphi _{\mu }$ . בנוסף, ידוע ש- $\varphi _{X_{i}}(t)=1+it\mu +o(t),t\to 0$ , ולכן:

$\varphi _{{\bar {X}}_{n}}(t)=E[e^{it{\bar {X}}_{n}}]=E[e^{{\frac {it}{n}}(X_{1}+\dots +X_{n})}]=\prod _{j=1}^{n}{E[e^{{\frac {it}{n}}X_{j}}]}=(\varphi _{X_{1}}({\frac {t}{n}}))^{n}=(1+{\frac {it\mu }{n}}+o({\frac {t}{n}}))^{n}=e^{n\ln {(1+{\frac {it\mu }{n}}+o({\frac {t}{n}})}}\to e^{it\mu }$

וזו אכן הפונקציה האופיינית של המ"מ הקבוע $\mu$ .

כעת, ניתן להוכיח את טענת המשפט. מתקיים:

$P(|{\bar {X}}_{n}-\mu |>\varepsilon )=P({\bar {X}}_{n}-\mu >\varepsilon )+P({\bar {X}}_{n}-\mu {\frac {\varepsilon }{2}})+F_{{\bar {X}}_{n}}(\mu -\varepsilon )=$

${\displaystyle =1-P({\bar {X}}_{n}-\mu$

כעת, לפי החלק הראשון, מתקיים ${\displaystyle F_{{\bar {X}}_{n}}(x)\to {F}_{\mu }(x)={\begin{cases}1\quad \quad x\geq \mu \\0\quad \quad x$ , ולכן

$P(|{\bar {X}}_{n}-\mu |>\varepsilon )\leq 1-F_{{\bar {X}}_{n}}(\mu +{\frac {\varepsilon }{2}})+F_{{\bar {X}}_{n}}(\mu -\varepsilon )\to 1-1+0=0$

כפי שנטען במשפט.

גלה עוד נושאים הקשורים להחוק החלש

החוק החזק

החוק החזק של המספרים הגדולים קובע שסדרת הממוצעים מתכנסת כמעט בוודאות, ושגבולה הוא התוחלת. מהתכנסות כמעט בוודאות הנובעת מהחוק החזק אפשר להסיק את החוק החלש; מצד שני, ההתכנסות בהתפלגות של ${\frac {1}{\sqrt {n}}}(X_{1}+\cdots +X_{n})$ שאותה מבטיח משפט הגבול המרכזי, גוררת התכנסות כמעט בוודאות של הממוצעים.

תהי $X_{1},X_{2},\dots ,X_{n}$ סדרה של משתנים מקריים בלתי תלויים בעלי אותה התפלגות, שיש לה תוחלת $\mu$ סופית ואינטגרבילית לבג (שונות סופית אינה נדרשת).

נסמן ${\bar {X}}_{n}=(X_{1}+\dots +X_{n})/n$ . החוק החזק של המספרים הגדולים קובע שבהסתברות 1, מתקיים $\lim _{n\rightarrow \infty }{\bar {X}}_{n}=\mu$ .

המתמטיקאי אנדריי קולמוגורוב הראה שהמשפט מתקיים גם אם המשתנים אינם שווי התפלגות, ובלבד שיש להם אותה תוחלת, ושסדרת השונויות מקיימת את תנאי קולמוגורוב: הטור $\sum {\frac {V(X_{n})}{n^{2}}}$ מתכנס.

גלה עוד נושאים הקשורים להחוק החזק

החוק החלש לעומת החוק החזק

ייתכנו מקרים בהם החוק החזק אינו תקף מכיוון שערך התוחלת של המשתנה המקרי בערך מוחלט אינו סופי - כלומר מתקיים $EX^{+}=EX^{-}=\infty$ , ואילו החוק החלש כן תקף. בתורת ההסתברות מנסים למצוא תנאים אחרים או חלשים יותר בהם מתקיימים משפטי גבול שונים.

שני החוקים שונים מהותית ואין חוק שמכליל את שניהם. התנאים עבור כל אחד מהחוקים נותר שונה; החוק החלש חל במקרים יותר כלליים מהחוק החזק.

מתמטיקאים חלוקים בדעתם לגבי האפשרות למצוא חוק אחד שיכליל את שני החוקים, ולגבי חשיבות החוק החלש לעומת החזק^[1]

להלן מספר דוגמאות בהם תנאי החוק החזק אינם תקפים אך החוק החלש תקף:

טרנספורמציה של מ"מ $X$ המתפלג מעריכית עם פרמטר 1, בעל התוחלת: $E\left({\frac {\sin(x)e^{x}}{x}}\right)=\ \int _{0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}$ .
טרנספורמציה של מ"מ בדיד $X$ המתפלג גאומטרית עם הסתברות 0.5 בעלת התוחלת : $E\left({\frac {2^{x}(-1)^{x}}{x}}\right)=\ \sum _{1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-ln(2)$ .
עבור ההתפלגות $F(x)={\begin{cases}1-{\frac {e}{2x\ln(x)}}&x\geq e\\{\frac {e}{-2x\ln(-x)}}&x\leq -e\end{cases}}$ (להרחבה ראו גם כאן (אורכב 26.08.2014 בארכיון Wayback Machine))

יישומים והכללות

חוק המספרים הגדולים הוא משפט חשוב בתורת ההסתברות, לו יישומים בתורה עצמה ומחוצה שלה.

בתורת ההסתברות

חוק המספרים הגדולים בעצם מפרמל את העובדה הפשוטה, שכשממצעים מספיק דגימות ההתפלגות תהיה בערך כמו התוחלת. עובדה זו משמעותית בסטטיסטיקה, כי היא בדיוק אומרת שגם אם לעיתים עלולות להיות שגיאות ב"ניסוי", לאורך זמן הן תהיינה זניחות (באופן מעשי משתמשים במשפט הגבול המרכזי, שגם מעריך את השגיאה בכל שלב; אבל בשביל האינטואיציה גם חוק המספרים הגדולים מספיק).

מחוץ להסתברות

באנליזה

בעזרת החוק החלש ניתן לחשב גבולות של אינטגרלים. למשל, נציג דרך לחישוב הגבול $L=\lim _{n\to \infty }\int _{0}^{1}\dots \int _{0}^{1}\sin \left({\frac {x_{1}+\dots +x_{n}}{n}}\right)dx_{1}\dots dx_{n}$ .

כדי לעשות זאת, ניקח משתנים מקריים בלתי תלויים $X_{1},\dots ,X_{n}$ מתפלגים אחיד על $[0,1]$ (עם מידת לבג). למשתנים אלו תוחלת ${\frac {1}{2}}$ , ובפרט סופית. כעת, המשתנים $x_{1},\dots ,x_{n}$ במרחב האוקלידי הם בלתי תלויים, ולכן האינטגרל הוא $E\left[\sin \left({\frac {X_{1}+\dots X_{n}}{n}}\right)\right]$ . כעת, לפי חוק המספרים החלש יש התכנסות ${\frac {X_{1}+\dots +X_{n}}{n}}{\overset {d}{\to }}\mu$ ; התכנסות בהתפלגות שקולה להתכנסות חלשה, ולכן מתקיים

$L=E\left[\sin \left({\frac {1}{2}}\right)\right]=\sin \left({\frac {1}{2}}\right)$ .

בתורת המספרים

ערך מורחב – מספר נורמלי

בעזרת החוק החזק אפשר להוכיח שכמעט כל המספרים הממשיים הם מספרים נורמליים, כלומר הספרות בפיתוח העשרוני שלהם מופיעות כאילו נבחרו באקראי תחת התפלגות שווה. עם זאת, קשה להצביע על מספרים קונקרטיים המקיימים את התכונה.

התורה הארגודית

התורה הארגודית מכלילה את חוק המספרים הגדולים. ביתר פירוט, משפט הארגודיות של בירקהוף מוכיח את החוק החזק של המספרים הגדולים, ומאפשר גם להכליל אותו למקרים רבים נוספים (כגון מקרים מסוימים בהם יש תלות בין משתנים שונים).