如何证明:二阶导数矩阵负半定时,函数是凹
小柯老师对函数凹凸性的解释有点问题。事实上凹凸性是向量空间( 比如R^n)上的实值函数的一个性质(在优化问题中有重要应用)。
任意x,y, 令
g(t) = f(z(t)), z(t) = t *x + (1 - t) * y, t为任意实数。
g(t)是一元函数。容易计算
g'(t) = (向量内积)
g''(t) = (二次型),
其中:
D为f在z点的一阶导数(梯度向量);
H为f在z点的二阶导数矩阵(Hessian matrix)。
如果H半负定,则g''(t) ≤ 0, 则由一元函数的知识可知(比如用泰勒展开容易证明),g(t)是凸函数(向下弯),如果0 ...全部
小柯老师对函数凹凸性的解释有点问题。事实上凹凸性是向量空间( 比如R^n)上的实值函数的一个性质(在优化问题中有重要应用)。
任意x,y, 令
g(t) = f(z(t)), z(t) = t *x + (1 - t) * y, t为任意实数。
g(t)是一元函数。容易计算
g'(t) = (向量内积)
g''(t) = (二次型),
其中:
D为f在z点的一阶导数(梯度向量);
H为f在z点的二阶导数矩阵(Hessian matrix)。
如果H半负定,则g''(t) ≤ 0, 则由一元函数的知识可知(比如用泰勒展开容易证明),g(t)是凸函数(向下弯),如果0 ≤ t ≤ 1,有
g(t) ≥ t * g(0) + (1 - t) * g(1),
即
f(t *x + (1 - t) * y) ≥ t * f(x) + (1 - t) * f(y)
注意:“negative semidefinite”一般翻译是“半负定”,不是“负半定”。
收起