湖南师范大学 3965 机器学习与模式识别考博真题

1. 考博信息网官网：http://www.kaoboinfo.com/
2. 湖南师范大学历年考博真题下载专用页面：http://www.kaoboinfo.com/shijuan/school/408061_1_1202431.html

湖南师范大学 3965 机器学习与模式识别考博真题（精选）

一、分析题

二、答案解析（附考点定位、逻辑推导及学术扩展）

问题 a：多层前馈神经网络反向传播算法的工作原理与步骤

• 工作原理：反向传播算法基于链式法则，通过计算输出层的误差，从后向前逐层传播误差，调整网络中各层的权重，以最小化网络的损失函数。
• 算法步骤：
  1. 前向传播：将输入数据通过网络的输入层、隐藏层，计算到输出层的预测值。
  2. 计算损失：根据输出层的预测值与真实标签，计算损失函数（如均方误差、交叉熵损失）。
  3. 反向传播误差：从输出层开始，按照链式法则计算损失函数对各层权重的偏导数（梯度）。
  4. 更新权重：利用梯度下降法（或其他优化算法）更新网络各层的权重，以减小损失。
  5. 迭代训练：重复前向传播、计算损失、反向传播、更新权重的过程，直到损失收敛或达到预设的训练轮数。

问题 b：梯度消失与爆炸的现象、原因及解决方案

• 现象与原因：
  • 梯度消失：在深层网络中，靠近输入层的权重梯度变得极小，导致这些权重更新缓慢甚至不更新，网络难以收敛。原因是当使用 sigmoid、tanh 等激活函数时，其导数在输入远离 0 时趋近于 0，多层链式求导后梯度被不断衰减。
  • 梯度爆炸：靠近输入层的权重梯度变得极大，导致权重更新幅度过大，网络训练不稳定。原因是激活函数导数或权重矩阵的特征值大于 1，多层链式求导后梯度被不断放大。
• 解决方案：
  • 采用 ReLU、Leaky ReLU 等激活函数，其导数在正区间为 1，可缓解梯度消失问题。
  • 使用批量归一化（Batch Normalization），对各层的输入进行归一化，稳定梯度传播。
  • 采用残差网络（ResNet）的跳连结构，使梯度能更直接地回传，缓解深层网络的梯度问题。
  • 合理初始化权重（如 He 初始化、Xavier 初始化），使各层的输入输出分布更稳定，减少梯度消失或爆炸的概率。

问题 c：非前馈神经网络模型及其特性与应用

• 循环神经网络（RNN）：
  • 核心特性：具有循环连接，能处理序列数据，记忆历史信息。
  • 典型应用场景：自然语言处理（如文本生成、机器翻译）、时间序列预测（如股票价格预测、气象预测）。
• 长短期记忆网络（LSTM）：
  • 核心特性：是 RNN 的改进版，通过遗忘门、输入门、输出门控制信息的记忆与遗忘，解决了 RNN 的长期依赖问题。
  • 典型应用场景：长序列的文本理解（如文章摘要生成）、语音识别、生物序列分析（如 DNA 序列分析）。
• 图神经网络（GNN）：
  • 核心特性：以图结构为输入，通过聚合邻居节点的信息来更新自身节点表示，能有效处理图结构数据（如社交网络、知识图谱）。
  • 典型应用场景：节点分类（如社交网络用户分类）、链路预测（如知识图谱中实体关系预测）、图分类（如分子结构分类）。

1. 考博信息网官网：http://www.kaoboinfo.com/
2. 湖南师范大学历年考博真题下载专用页面：http://www.kaoboinfo.com/shijuan/school/408061_1_1202431.html