李宏毅机器学习 (1)机器学习介绍
机器学习的本质
机器学习 寻找（拟合）函数
机器学习的类型
- 输入量：向量、矩阵（图像）、序列（语音、文字）。
-
Regression（回归）: outputs a scalar. （输入多类数据，输出一个预测值）
-
Classification（预测）: given classes, outputs the correct one.（输入多个类型，输出正确的那个分类）
-
Structured Learning（结构化学习）: create something with structure (image, document).（根据输入生成图像）
机器学习的训练过程
Function with unknown parameters （构建具有未知参数的函数）
(Based on domain knowledge)
根据猜测、已知信息等假设函数关系。 代表预测结果， 代表今天的结果。 和 为未知参数，需要从数据中找出。
在机器学习中称该函数 为 Model（模型）。
Define Loss from training data （定义损失函数）
损失函数用于定义预测值的有多准。
Optimization （梯度下降）
遍历所有 和 使得 最低。
一开始随机（特定）选定 和 ，后期通过不断计算修正，使得 最低。
- 随机（特定）选定 和
- 计算 和
- 循环修正 和
- 学习率需要自己设定，所以是超参。
- 尽管有时候会找到局部最优(local minima)，找不到全局最优(global minima)，但并不是最主要的问题。
- 由于函数非常复杂，所以统一使用 来表示。根据梯度进行修正。
- Batch training
将数据分为多组，计算第一组 并更新 ，计算第二组 并更新 ……
Batch size 也是超参，决定了一次训练中更新的次数。
从线性函数到非线性函数
线性函数难以表现复杂曲线，使用一系列的非线性函数相加拟合函数。
Sigmoid 函数
- Sigmoid 函数（平滑）
层数缺陷
Overfitting
在训练集上表现得更好，但是在测试集上表现得更差。
测试集的表现 更重要。
博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议
