2018-04-10 Alex Sun
1. 序列模型的例子 2. 符号定义 例如一个识别人名的模型,输入 $x$ 和输出 $y$ 如下表所示: $x$ Harry Potter and Hermione Granger invented a new spell $x^{\langle 1 \rangle}$ $x^{\langle 2 \rangle}$ $x^{\langle 3 \rangle}$ $x^ 继续阅读 »
2018-04-03 Alex Sun
1. 风格迁移 2. 算法 具体可以参考论文 A Neural Algorithm of Artistic Style。 继续阅读 »
2018-04-03 Alex Sun
1. 人脸验证和人脸识别 人脸验证(Face Verification):1对1问题,即输入图片,判断图片是否是正确的那个人(即已经有了一个人的信息) 人脸识别(Face Recognition):1对n问题,即输入图片,需要输出对应的那个人信息(即已经有了n个人的信息) 继续阅读 »
2018-03-25 Alex Sun
1. 目标定位 图片左上角为$(0,0)$,图片右下角为$(1,1)$ 目标中心点为$(b_x,b_y)$,宽度为$b_w$,高度为$b_h$ 继续阅读 »
2018-03-18 Alex Sun
1. 论文 V1: Going Deeper with Convolutions V2: Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift V3: Rethinking the Inception Architecture for Computer Vision V4: Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 继续阅读 »
2018-03-16 Alex Sun
1. Shortcut Connection 随着网络层次的越来越深,就容易出现梯度消失或者梯度爆炸的问题,因此网络层数无法很深。残差网络(Residual Network)的出现很好的解决了这个问题。相关论文可以参考Deep Residual Learning for Image Recognition。 继续阅读 »
2018-03-15 Alex Sun
1. LeNet-5 论文参考Gradient-Based Learning Applied to Document Recognition。 继续阅读 »
2018-03-13 Alex Sun
1. CNN特点 假设一批图片样本,图片尺寸都是100 × 100(单通道)。使用神经网络来进行训练,假设第一个隐藏层有2500个神经单元,则参数个数一共为 10000 × 2500 = 2500W 存在的问题: 参数数据量太多,需要大量的计算资源 图片是一个二维结构,相邻像素之间的关联较强,距离远的像素之间关联较弱,因此不必要一次性把所有像素在一起计算 继续阅读 »
2018-03-12 Alex Sun
1. 超参数 到目前为止,已经涉及到了许多个超参数: 学习速率 $\alpha$ Momentum优化算法的 $\beta$ Adam优化算法的 $\beta_1,\beta_2,\epsilon$ 网络层数 $L$ 每个隐藏层的神经单元个数 学习率衰减 $decay\text{-}rate$ $batch\text{-}size$ 继续阅读 »
2018-02-27 Alex Sun
1. BGD BGD即批量梯度下降(Batch Gradient Descent),是最原始的梯度下降形式,即每次使用所有训练样本来进行梯度下降。 优点是得到的是全局最优解。 缺点是在样本数量较大的情况下,BGD会运行的很慢。 继续阅读 »