Deep Learning Review
目录 线性分类器 正则化与优化 神经网络与反向传播 卷积神经网络 复习笔记只记录一些重点内容和需要记住的公式 考试回忆 01线性分类器 线性分类器：非常重要的概念——低维不可分但是高维可分 也是由于上面的特质使得线性分类器一般作为深度神经网络的最后一层 😼 图像分类任务 图像分类任务的困难——语义鸿沟（semantic gap）：人眼看到的图像和机器处理的输入数据之间存在巨大的差异 挑战：视角差异、形变、光照变化、类内差异、杂乱的背景、类间混淆、遮挡、环境干扰 KNN 记住所有数据和标签，将测试图像预测为与其最相似的训练图像的标签 对于 1 近邻的情况，存在的问题是无法处理离群点 而多近邻的情况，会出现空白区域问题 不可以直接使用像素之间的距离作为度量标准，不具备鲁棒性！ 线性分类器 SVM 的损失函数可以表示为 $$ L = \frac{1}{N} \sum_{i=1}^{N} \sum_{j \neq y_i} \max(0, s_j - s_{y_i} + \Delta) \quad (\text{PPT中 } \Delta = 1) $$ $Q_1$: 损失函数的最大值可以逼近正无穷，最小值为0 $Q_2$: 如果将 Loss 中的 sum 换成 mean，那么新损失函数的值会等缩小，从而减小梯度 $Q_3$: 如果将每一个样本的损失函数替换成 $$ L_i = \sum_{j \neq y_i} \max(0, s_j - s_{y_i} + \Delta)^2 $$ 那么新损失函数会对错误分类的样本有更大的惩罚力度 ...