ConvexLearning

凸学习算法

凸学习（Convex Learning）

凸光滑有界(convex smooth bounded)是针对一个假设H可学习性的一个定义，有关但有别于凸函数的定义（具体到凸优化算法，我们后面会涉及凸损失函数）。一个凸光滑有界的学习问题一定是可学习的。

随机梯度下降（SGD）

对于凸光滑有界的学习问题，我们有

算法如下：

梯度下降（Gradient Descent）

梯度下降的推导来源于泰勒展开。算法如下：

不可导函数情形

如果函数不可到，可以计算sub-gradient

相应地，更新一步修改为

其中