多维函数

多维实值函数

定义域为 ，值域为 或者 ​ 的函数。

函数水平集

即函数的“等高线”。

二次型（Quadratic form）

指二次齐次多项式。

二次型函数

最高阶为二次型的实函数，即 其中 是一个 的实数矩阵，即 。

观察：给出 ，其中 ，我们可以将 转化为一个对称矩阵

对任意 ​ 有

上述观察说明我们总可将二次型函数中的矩阵 变成对称阵。

将二次型函数写成矩阵的形式，例如将 写成 的形式，要求 是对称矩阵。

判断正定矩阵

正定矩阵定义：

给出对称矩阵 ，如果对于任意一个非零向量 满足：

则是一个正定矩阵。如果 ，则 是一个半正定矩阵。
相应的，如果对于所有的 ， ​ 是负定矩阵(半负定矩阵)

• 性质2：对称矩阵 是正定（半正定）矩阵当且仅当所有的特征值都是正的（非负的）。
• 性质1：对称矩阵 是正定的当且仅当 的所有顺序主子式是正的。

注意：顺序主子式非负是矩阵半正定的必要条件，非充分条件。即，矩阵半正定 => 顺序主子式非负，但顺序主子式非负 矩阵半正定。

范数函数

• 1 - 范数 (L1): ——曼哈顿距离
• 欧式范数(L2——欧式距离
• - 范数：
• 无穷范数：

梯度

梯度(Gradient)：如果函数 一阶可微,那么函数

称为 在点 ​ 处的梯度。

处的梯度 和水平集 在 处的切线正交。

常见的多维函数梯度

• 常数向量，则
• ，则
• ，则
• 若是阶对称矩阵， ，则
• 若是阶对称矩阵， ，则 ​

雅可比矩阵

雅可比矩阵（Jacobi matrix）：如果，即且​可微，那么

称为 在 处的导数，也称为 在 的雅可比矩阵。

当 时， 。

多维函数求导的链式法则

给定复合函数

设 ，其 中 每 个 都是关于 的函数，即 ，有

其中 表示 关 于 的导数（雅可比矩阵）。

可行方向和方向导数

沿某一方向的增长率是标量。

黑塞（Hessian）矩阵

黑塞矩阵(Hessian)如果​是二阶可微的,矩阵

称为 在点 处的黑塞矩阵，其中 表示 首先对 然后再对 求导。注意:教材中常记为 ，或 。

对于二阶导数连续的函数，其 Hessian 阵为对称矩阵。

多维函数二阶泰勒展开式