文章拆解优化黑箱：动量法如滑翔破风浪，自适应学习率似巡航定速。Dropout随机遗忘冗余记忆，BatchNorm稳数据航向，优化器合奏成AI自我精进的乐章，数学律动中模型悄然蜕变。

有时我们需要计算输入和输出都为向量的函数的所有偏导数。包含所有这样的偏导数的矩阵被称为Jacobian矩阵。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

变分推断与变分学习是机器学习领域的智慧结晶，它们通过巧妙近似复杂分布，让概率计算化繁为简，极大提升模型效率与可解释性，意义深远。

在其他机器学习文献中的许多结果则使用了更为通用的欧拉--拉格朗日方程（Euler-Lagrange Equation），它能够使得g不仅依赖于f 的值，还依赖于f 的导数。但是在本书中我们不需要这个通用版本。

在深度学习中，配分函数（Partition Function）是一个关键概念，尤其是在处理概率模型（如无向图模型）时。配分函数用于将未归一化的概率分布归一化为有效的概率分布。然而，对于许多复杂的模型，配分函数的计算非常困难，甚至在高维空间中是不可行的。

循环神经网络（Recurrent Neural Network, RNN）是一种专门用于处理序列数据的神经网络架构。 1. 核心思想 时间展开与参数共享：RNN将序列的每个时间步（如句子中的每个词、时间序列的每个点）视为同一网络的重复模块，但这些模块共享同一组参数（权重矩阵）。这种设计使网络能够处理任意长度的序列。 隐藏状态（Hidden State）：RNN通过隐藏状态 \( h(t) \) 传递历史信息。\( h(t) \) 是网络的“记忆”，由当前输入 \( x(t) \) 和前一时刻的隐藏状态 \( h(t-1) \) 共同计算得到。 2. 常见设计模式 (1) 经典RNN（图10.3） 结构： 每个时间步接收输入 \( x(t) \)，产生输出 \( o(t) \)。 隐藏单元之间通过权重矩阵 \( W \) 循环连接（\( h(t) \) 依赖 \( h(t-1) \)）。 输入到隐藏（\( U \)）、隐藏到输出（\( V \)）的连接。 特点： 万能性：理论上可以逼近任何图灵可计算函数（需足够多的隐藏单元）。 训练代价高：需通过时间反向传播（BPTT）计算梯度，内存和计算成本随序列长度增加。 (2) 输出反馈RNN 结构： 循环连接仅存在于当前输出 \( o(t) \) 到下个隐藏状态 \( h(t+1) \)。 特点： 表达能力较弱：隐藏状态仅通过输出传递信息，可能丢失部分历史信息。 训练更高效：时间步可部分并行化（因隐藏状态间无直接循环）。 (3) 单输出RNN 结构： 整个序列处理后仅产生一个输出（如文本分类、序列摘要）。 应用： 适用于需要将序列映射为固定长度表示的任务。

深度学习中的模型结构是其性能和应用效果的核心基础，涉及多层次、多类型的组件设计。以下从基础架构、核心组件、典型网络类型及优化策略等方面进行系统分析

其兴也悖焉，其亡也忽焉”。这个教训也同样值得当今基于深度学习的创业界、工业界和学术界等警醒。

深度学习中的MLP（多层感知机），是一种前馈人工神经网络。它由输入层、多个隐藏层和输出层组成，层与层神经元间全连接，通过激活函数引入非线性。借助反向传播算法优化权重，能学习复杂非线性映射，在图像识别、语音处理、数据分类预测等领域广泛应用，是深度学习基础模型。