این راهنما نسخهٔ فشرده و کاربردی از مهم‌ترین مفاهیم درس Machine Learning دانشگاه استنفورد (CS229) است. این نسخه شامل خلاصهٔ دقیق معیارهای ارزیابی، روش‌های انتخاب مدل، مفهوم Cross Validation، Regularization و تحلیل خطا می‌باشد.

Accuracy = (TP + TN) / Total
Precision = TP / (TP + FP)
Recall = TP / (TP + FN)
Specificity = TN / (TN + FP)
F1 = 2TP / (2TP + FP + FN)

ROC منحنی مقادیر TPR و FPR را برای آستانه‌های مختلف نشان می‌دهد.
TPR = Recall
FPR = 1 - Specificity
مساحت زیر منحنی (AUC) عملکرد مدل را خلاصه می‌کند.

SSres = مجموع مربعات خطا
SStot = مجموع مربعات کل
R² = 1 − (SSres / SStot)

نسخهٔ اصلاح‌شده R² Adjusted برای جلوگیری از بیش‌برازش هنگام وجود متغیرهای زیاد استفاده می‌شود.

AIC — BIC — Mallows Cp

یکی از مهم‌ترین مراحل انتخاب مدل است. در k-Fold داده‌ها به k بخش تقسیم می‌شوند؛ هر بار یکی برای تست و بقیه برای آموزش استفاده می‌شوند.

روش‌های رایج:
• Leave-one-out
• 5-fold / 10-fold CV

هدف کاهش واریانس مدل و جلوگیری از بیش‌برازش است.

• Ridge → L2
• Lasso → L1
• Elastic Net → ترکیب L1 و L2

Bias = میزان فاصله خروجی با مقدار واقعی
Variance = میزان حساسیت مدل به داده‌های جدید

• مدل ساده → Bias بالا / Variance پایین
• مدل پیچیده → Bias پایین / Variance بالا