概述¶

思维导图¶

数据集构成：含训练集（6万手写数字图片+对应标签）、测试集（1万手写数字图片+对应标签），获取地址为http://yann.lecun.com/exdb/mnist/。
数据格式：图片为28×28像素，每个像素用[0,255]无符号整数表示（255=黑色，0=白色）；标签可采用one-hot编码。

单隐层神经网络模型：输入为784维像素列向量，输出为10维结果列向量，预测函数为\(y=f\left(W_{2} f\left(W_{1} x+b_{1}\right)+b_{2}\right)\)，预测标签为\(lable =arg max _{i} y_{i}\)。
损失与风险函数：损失函数含平方残差损失（\(loss =\| y- label \| ^{2}\)）、0-1损失函数等；风险函数含期望风险（\(R_{exp }(f)=\int _{x× y}L(Y,f(x))P(x,y)\, dxdy\)）、经验风险（\(R_{emp }(f)=\frac{1}{N} \sum_{i=1}^{N} L(Y, f(x))\)）。
训练方法：采用梯度下降法，通过调整学习速率控制参数更新幅度，以迭代优化实现损失最小化；当数据量较大时，损失计算为\(loss =\sum_{i=1}^{N}\left\| y^{(i)}-l a b l e^{(i)}\right\| ^{2}\)。

1949年：Hebb提出Hebbian学习理论；1952年：Arthur Samuel开发西洋棋程序，定义“机器学习”；1957年：Rosenblatt提出感知器算法。
1980-1990年代：1986年J.R.Quinlan提出ID3决策树算法，1986年BP算法应用于多层感知器，1995年Vapnik和Cortes提出SVM，1997年Freund和Schapire提出Adaboost、Hochreiter提出LSTM。
2000年后：2001年Breiman提出随机森林，2006年Hinton提出深层神经网络训练方法，2012年AlexNet推动深度卷积神经网络发展，2017年Transformer架构问世，2025年预计GPT5发布。

几何模型：基于几何特征（直线、曲线、距离等）构建，含线性分类器、SVM、K均值聚类等；逻辑模型：基于推理方法，含决策树、关联规则挖掘、概念学习（推断布尔函数）。
概率模型：分判别式（如感知机、决策树、逻辑斯蒂回归）与生成式（如朴素贝叶斯、隐马尔可夫模型），分别建模后验概率与联合概率；神经网络模型：含多层神经网络、CNN、RNN、Transformer。

模块序号	模块名称	教学内容	教学目标与要求
1	机器学习概述	概念及发展、构成要素	理解概念与发展，掌握任务、模型、特征内涵
2	几何模型	基本线性模型、两分类任务	理解线性分类器、SVM分类器
3	逻辑模型	概念学习、决策树方法	了解概念学习定义，掌握假设空间与概念学习方法
4	人工神经网络	神经网络基本概念、BP算法	理解神经网络原理与适用任务，掌握BP算法
5	机器学习实验相关讨论	模型评估方法、度量指标选择与解释	掌握指标选取、度量方式与结果解释
6	计算学习理论	一般学习模型、一致收敛性、偏差与复杂性权衡、VC维	掌握PAC学习理论，理解偏差与复杂性权衡
7	概率模型	产生式概率模型、含隐变量的概率模型	理解贝叶斯最优性，掌握朴素贝叶斯、逻辑回归等
8	集成学习	集成学习概念、Boosting/Bagging/随机森林、结合策略	理解集成学习分类，掌握经典算法与集成策略
9	强化学习	强化学习基本概念、有模型/免模型学习	理解核心概念，掌握免模型学习方法
10	深度学习	基本概念、典型模型（CNN、RNN等）、应用举例	理解深度学习内涵，掌握经典模型原理
11	项目实践	结合前述知识解决实际问题	应用机器学习方法完成实践任务