Machine Learning Cheatsheet

核心章节

1. 机器学习基础概念
   • 定义（目标函数建模 Y = f(X) + e）
   • 参数化与偏差-方差权衡
   • 欠拟合与过拟合
   • 监督学习 vs 无监督学习

2. 优化方法
   • 普通最小二乘法（OLS）
   • 梯度下降（批量/随机）
   • 最大似然估计（MLE）

3. 线性算法
   • 线性回归
     • 正则化变体（Lasso/Ridge）
   • 逻辑回归
   • 线性判别分析（LDA）

4. 非线性算法
   • 分类与回归树（CART）
   • 朴素贝叶斯分类器
   • K-近邻（KNN）
   • 支持向量机（SVM）

5. 集成算法
   • Bagging与随机森林
   • Boosting与AdaBoost

关键子章节

通用章节

• 数据预处理原则（标准化、离群值处理）

• 模型评估指标（Gini指数、SSE）

• 算法选择标准（线性/非线性权衡）

算法专项章节

• 表示形式（如SVM的分离超平面、逻辑回归的Sigmoid函数）

• 学习过程（如CART的递归二分、AdaBoost的权重更新）

• 变体与改进（如多项式SVM核、高斯朴素贝叶斯）

• 优缺点对比（如随机森林的抗过拟合能力 vs KNN的维度灾难）

• 典型应用场景（如LDA用于客户流失预测、SVM用于图像识别）

特别模块

• 优化技巧
  • 学习率调整策略
  • 早停法（Early Stopping）

• 资源索引
  • 机器学习实战指南
  • Scikit-learn工具库
  • 概率论速查表

文档结构特征

1. 问题导向设计
   • 每个算法包含"数据准备→表示→学习→变体→应用"完整链路

2. 对比式内容
   • 明确标注算法特性（如逻辑回归的"概率输出优势" vs 随机森林的"并行计算优势"）

3. 数学符号系统
   • 统一使用LaTeX公式（如岭回归目标函数：RSS+λ∑βj2​）