机器学习｜基础知识学习笔记
来自吴恩达《机器学习》，闲暇的时候看了一点，比较基础所以看的很快，但是也补充了一些基础知识。老师很风趣幽默，点赞👍爱来自华东师大。祝食用愉快～～🐟
引言：机器学习是什么
- 经典定义（Arthur Samuel）：不用显式编程，让计算机从数据/经验中自己获得能力。（编写了自己和自己下棋的程序hhh）
- Tom Mitchell 的形式化说法：程序在任务 T 上，用经验 E 学习，使性能度量 P 得到提升。
机器学习的分类
| 类型 | 数据是否有标签 | 学什么 | 典型任务 |
|---|---|---|---|
| 监督学习 Supervised | 有标签 (x, y) | 从 x 到 y 的映射 | 回归、分类 |
| 无监督学习 Unsupervised | 无标签，只有 x | 数据里自发存在的结构 | 聚类、降维、异常检测 |
| 半监督 / 自监督 | 少量标签 / 自造标签 | 用海量无标注数据预训练 | 大模型预训练 |
| 强化学习 RL | 无标签，只有奖励信号 | 在环境中试错的策略 | 下棋、机器人控制 |
- 课程简单介绍了无监督学习，重点还是在监督学习内容。
- 无监督学习的核心特点：没人告诉它“正确答案”，算法要自己找到一种结构（structure）。最典型的就是聚类（clustering）——把相似的样本自动分成簇，例如新闻自动归类、用户分群、基因分组。此外还有降维（PCA）和异常检测。
监督学习
| 回归 Regression | 分类 Classification | |
|---|---|---|
| 输出 | 连续的任意数值 | 有限个离散的类别标签 |
| 例子 | 房价、气温、销量 | 垃圾邮件 / 肿瘤良恶性 / 手写数字 |
| 常用模型 | 线性回归、多项式回归 | 逻辑回归、决策树、神经网络 |
线性回归
1. 模型
线性拟合不够用时，可以构造 等特征做多项式（非线性）拟合——注意它本质上仍是“对参数线性”的线性回归。
2. 代价函数：均方误差 MSE
- 衡量预测值与真实标签的平均偏差；除以 2 只是为了求导后系数变干净。（梯度下降时导数可以约去）
- 对线性回归而言， 是凸函数（碗状），只有一个全局最小值。（此时存在一个convex）
3. 梯度下降
- 是学习率：太小收敛慢，太大会震荡甚至发散。
- w，b必须同步更新（simultaneous update）
- 判断是否收敛：画 学习曲线（J 随迭代次数下降），J 应单调下降并趋于平缓。
逻辑回归（分类）
1. 不用线性回归
线性回归输出会跑到 0 1 之外，且一个远处的离群点就能把决策边界拽偏。
2. Sigmoid
输出被压到 (0,1)，解释为 ；一般以 0.5 为阈值判定类别。
3. 决策边界 Decision Boundary
所对应的那条线/面，就是把两类分开的边界。
- 特征是一次项 → 线性边界（直线、平面）
- 加入 等高次特征 → 非线性边界（圆、椭圆等复杂形状）
4. 代价函数（交叉熵）
- 预测对了损失趋近 0，预测得又错又自信 → 损失趋近 +∞
- 如果对 sigmoid 硬套 MSE， 会变成非凸、坑坑洼洼、梯度下降容易卡在局部最优；换成对数损失后 重新变凸。
5. 梯度下降
更新式子长得和线性回归一模一样：
但 的定义变了（里面套了 sigmoid），所以只是“形似神不似”hhhh
工程优化手段
| 手段 | 解决什么问题 | 具体做法 |
|---|---|---|
| 特征缩放 / 归一化 | 各特征量纲差太多 → 等高线椭长、梯度下降走 Z 字、收敛慢 | 除以最大值、均值归一化、Z-score 标准化 |
| 特征工程 | 原始特征表达力不足 | 组合/变换出新特征（如 长×宽 = 面积）、多项式特征 |
| 向量化 Vectorization | 纯 for 循环太慢 | 用 NumPy 矩阵运算，底层并行（CPU SIMD / GPU），代码更短更快 |
| 正则化 Regularization | 过拟合 | 在 后加惩罚项 ，压小参数、简化模型 |
关于拟合状态：
- 欠拟合 = 高偏差（模型太简单）→ 加特征、加多项式次数、减小 λ
- 过拟合 = 高方差（模型太复杂、把噪声也背下来了）→ 加数据、减特征、增大 λ
“ 所以更准确的说法是：特征缩放 + 向量化 = 训练得更快；正则化 = 泛化得更好。 ”
吴恩达与李飞飞的对谈
“ 我个人又看了他们放在课程里面的40多分钟的交谈，不得不说真是很厉害的人呢～这里是我看到后得到的一些观点总结 ”
- AI 仍处于非常早期：机会窗口仍然很大，入场不算晚。
- 跨学科是优势不是劣势：生物、医学、物理、艺术、社科……任何专业背景的人都能进入这个领域，因为 AI 需要的是真实世界的问题和需求来牵引技术演进。
- 从问题出发，而不是从技术出发：更多真实需求 → 更多交流碰撞 → 技术才有方向。
- 找到自己的“北极星”（North Star）：李飞飞用它比喻那个能长期指引你的核心问题或使命（而她自己是“让机器看懂世界”hhh），它比追热点更能支撑一个人走远。
- 她的期望：激励各个领域正在做研究的人拥抱 AI，把 AI 当作放大自己专业能力的工具。
小结
“ 休息的时候看看这个感觉还可以，感觉巩固了知识体系，之后打算再看一下后续的深度学习板块。总的来说讲的比较通俗易懂，整个概念过完了之后找些代码项目来练习理解一下就应该会好多了。我的计划是这样的，睡觉时间到了不过，先休息吧😴 ”