הסתברות — הדרך ל-Machine Learning

קורס אישי: מאפס ועד שמבינים למה ה-loss, ה-softmax והרגולריזציה נראים כמו שהם נראים.

★איך הקורס בנוי

כל שיעור בנוי באותו סדר, כי ככה מבינים לעומק ולא רק "מריצים נוסחאות":

  1. רקע — מאיפה הרעיון בא ולמה הוא נוצר (בלי זה הכל נראה כמו קסם).
  2. אינטואיציה — תמונה או דוגמה לפני הנוסחה.
  3. הפורמליזם — ההגדרה המדויקת, עם הוכחות קצרות כשהן מחדדות הבנה.
  4. ויזואליזציה אינטראקטיבית — משחקים עם זה במקום רק לקרוא.
  5. אי-הבנות נפוצות וטריקים — שם נופלים במבחנים (ובקוד).
  6. גשר ל-ML — איפה זה מופיע באמת.
  7. תרגול — שאלות קצרות עם פתרון מוסתר.
🎯 איך ללמוד מזה

לפני שאתה פותח פתרון — תכתוב תשובה על דף. 5 דקות של ניסיון כושל שוות יותר מ-30 דקות של קריאה פסיבית.

⌘מפת הדרכים

הסדר נבנה כך שכל שיעור נשען על הקודמים, והמטרה הסופית: להבין מה קורה כש"מאמנים מודל".

שיעור 1 זמין

איך מדברים במדויק על "סיכוי"?

שרשרת של שאלות: מהו סיכוי, חלק של מה, איך משלבים מאורעות, אילו חוקים, איך סופרים, והאם זה מתיישב עם האינטואיציה. כולל תרגול לכל סעיף.

🤖 ל-ML: למה softmax הוא "התפלגות" ומה זה אומר שהמודל "בטוח ב-90%"
שיעור 2 זמין

מה משתנה כשמקבלים מידע?

הסתברות מותנית כצמצום היקום, כלל הכפל ועצים, אי-תלות, הסתברות שלמה ומשפט בייס. כולל מעבדה של 10,000 אנשים שמסבירה את פרדוקס המבחן הרפואי.

🤖 ל-ML: מסווג כ-P(y|x), Naive Bayes, ולמה 99% דיוק יכול להטעות
שיעור 3א זמין

משתנים מקריים בדידים

משתנה מקרי כפונקציה, PMF, טור הנדסי והתפלגות גיאומטרית, CDF, פונקציות וסכומים של משתנים. כלי חדש: סכום אינסופי.

🤖 ל-ML: פלט המודל כהתפלגות, דגימה מ-softmax וטמפרטורה
שיעור 3ב בקרוב

משתנים מקריים רציפים וצפיפות

צפיפות הסתברות (PDF), ולמה היא יכולה להיות גדולה מ-1. כלי חדש: אינטגרל כשטח.

🤖 ל-ML: מודלים רציפים, רגרסיה, גאוסיאנים
שיעור 4 בקרוב

תוחלת, שונות וקו-שונות

"ממוצע" מדויק, פיזור, וקשר בין משתנים.

🤖 ל-ML: loss = תוחלת, bias-variance, PCA
שיעור 5 בקרוב

ההתפלגויות החשובות

ברנולי, בינומית, קטגורית, פואסון, אחידה, מעריכית, גאוסית.

🤖 ל-ML: כל loss מגיע מהתפלגות מסוימת
שיעור 6 בקרוב

התפלגויות משותפות ורב-משתנות

שולית, מותנית, גאוסית רב-ממדית.

🤖 ל-ML: הנחות אי-תלות, מודלים גרפיים
שיעור 7 בקרוב

חוק המספרים הגדולים ו-CLT

למה ממוצעים מתנהגים יפה.

🤖 ל-ML: למה mini-batch ו-test set עובדים
שיעור 8 בקרוב

אמידה: MLE ו-MAP

איך בוחרים פרמטרים שמסבירים את הדאטה הכי טוב.

🤖 ל-ML: MSE = גאוסית, cross-entropy = קטגורית, L2 = prior
שיעור 9 בקרוב

הסקה בייסיאנית

Prior, likelihood, posterior.

🤖 ל-ML: Bayesian ML, אי-ודאות במודל
שיעור 10 בקרוב

תורת האינפורמציה

אנטרופיה, cross-entropy, KL.

🤖 ל-ML: loss של סיווג, VAE, distillation
שיעור 11 בקרוב

מבחני השערות ורווחי סמך

מה זה p-value ומה זה לא.

🤖 ל-ML: A/B tests, השוואת מודלים
שיעור 12 בקרוב

שרשראות מרקוב ודגימה (MCMC)

תהליכים עם "זיכרון קצר".

🤖 ל-ML: RL, HMM, מודלי דיפוזיה

📎נספחים

חומר שאפשר לקרוא ברצף או לחזור אליו כשצריך, בלי קשר לסדר השיעורים.

נספח א1 זמין

קומבינטוריקה: יסודות הספירה

חיבור, כפל ומשלים; תמורות; צירופים, משולש פסקל ומשפט הבינום; מקדם מולטינומי; כוכבים וקווים. עם בורר נוסחאות ותרגול מגוון.

🤖 ל-ML: נרמול ההתפלגות הבינומית, bag-of-words, גודל מרחבי חיפוש
נספח א2 זמין

קומבינטוריקה: כלים מתקדמים ויישומים להסתברות

הכלה והפרדה, בעיית הכובעים, שובך יונים, מסלולי סריג, ספירה לשם הסתברות (היפרגאומטרית, ידי פוקר, בינומי), סטירלינג ואנטרופיה.

🤖 ל-ML: תכנות דינמי (HMM), התנגשויות hash, סימטריות ברשתות, אנטרופיה כספירה

🧰ארגז הכלים: מתמטיקה שנלמד בדיוק כשצריך

הנחת היסוד: יש לך חדוא 1 (גבול, נגזרות), אלגברה לינארית 1 ומתמטיקה בדידה, אבל לא סדרות ואינטגרלים. אז לא נעשה "קורס השלמה" מראש. כל כלי חדש ילמד מאפס, בקופסה ייעודית, ברגע שהקורס נזקק לו, כך שתמיד תדע למה אתה לומד אותו.

הכלינלמד בשיעורמדוע שם
סכום אינסופי וטור הנדסי3א"הטלות עד העץ הראשון": אינסוף תוצאות שצריך לסכום
$e^x$ כטור (טיילור), $\sum\frac{\lambda^k}{k!}$5התפלגות פואסון
אינטגרל כשטח, אינטגרל לא אמיתי3בצפיפות הסתברות רציפה: "שטח מתחת לעקומה"
הצבה ואינטגרציה בחלקים4תוחלת ושונות של התפלגויות רציפות
אינטגרל כפול (בקצרה, אינטואיטיבי)6התפלגות משותפת של שני משתנים
נגזרות חלקיות וגרדיינט8מציאת פרמטרים מיטביים (MLE) עם כמה פרמטרים
לוגריתמים, וקמירות (אי-שוויון ינסן)8, 10log-likelihood, אנטרופיה, KL
מטריצות סימטריות וערכים עצמיים (ריענון)6מטריצת שונות משותפת, גאוסית רב-ממדית, PCA

לא נלמד: תורת המידה, אנליזה פורמלית (ε-δ), משוואות דיפרנציאליות. הם לא נדרשים להבנת ML.

✓מה עוד צריך

קבצים: פתח את הדף בדפדפן. הנוסחאות נטענות מ-CDN (KaTeX), אז צריך חיבור לאינטרנט.