2017-09-08 Alex Sun
1. Sigmoid 线性回归针对的是连续值,逻辑回归则是针对离散的分类问题。如图所示: 需要注意的是,虽然绘图是在二维平面内,但是数据其实是有三个维度:$$x_1$$,$$x_2$$ 和 $$y$$。假设: 继续阅读 »
2017-09-14 Alex Sun
1. 优化目标 SVM 即支持向量机(Support Vector Machines),是一种大间距分类算法。 回顾在逻辑回归中,一个样本的损失函数为: $$ Cost(h_\theta(x),y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x)) $$ 继续阅读 »
2016-04-01 Borg
Coursera 华盛顿大学机器学习系列课程回归分析第二周 那么这门课讲的其实还蛮简单的,主要关注如何得到w,所以都在搞gradient descent。John Hopkins的数据科学课程就难多了= =。 传送们 有道好方便,懒得搬啦。。。 继续阅读 »
2016-04-01 Borg
Coursera 华盛顿大学机器学习系列课程回归分析第一周 传送们 有道好方便,懒得搬啦。。。 继续阅读 »
2015-08-15 王财勇
训练阶段我们采用了分批处理,可以优化部分内存。 原先我们的代码使用一次性载入数据,然后开始若干次迭代,直至收敛。这样保存image与shape的数据矩阵Data就一直占用内存,但实际上,数据集的image与shape 的作用仅仅是计算$\Delta X$和$\Phi$,两变量的定义参考《 Supervised Descent Method and its Applications to Face Alignment》,其实也就是init shape与true shape的差值以及init shape的特征向量。计算完了,Data就没用了。于是我们设想分批处理,每次迭代载入一次数据,用完了就clear。这样就需要载入多次,可能时间上 继续阅读 »
2015-07-26 王财勇
本文是笔者在阅读众多资料,包括网上资料、教科书的基础上,编写而成。 其基本写作框架是: 1.从数学的角度,对奇异值分解做更加准确的描述,包括定义和性质; 2.matlab的奇异值分解函数简介; more 数学上的SVD 我们阐述关于SVD的定义。 【定义】令$A\in R^{m\times n}$,则存在正交矩阵 $U\in R^{m\times m}$, $V\in R^{n\times n}$使得: $$ A=U\Sigma V$$,其中$$\Sigma = diag(\Sigma_1,O) \in R^{m\times n}$$且 $\Sigma_1=diag(\sigma_1,\sigma_2,...,\sigma_r) 继续阅读 »
2015-08-14 王财勇
本篇我们阐述对Github上给出的SDM程序,我们做的一些Bug修正。关于SDM for face alignment,请参考: 《 Supervised Descent Method and its Applications to Face Alignment》 more 我们的程序在开始阶段需要载入数据,由于数据层次不齐,所以需要做形状归一化。其中的一个必要操作就是裁剪图片,取出包含人脸的那部分区域。如下图: , 实际上我们不要这么大,我们只需要人脸的那部分,于是我们根据shape的包围盒并且向左上和右下拓展,扩大截取区域,得到: 但是在截取过程中,我们发现对于一些人脸过于靠近边界的图片,我们的截取区域超过了图片的范围,如图 继续阅读 »
2015-08-14 王财勇
我们下载了Github上的代码,并仔细阅读了其中的细节。最后我们对源代码做了一些修正(新代码已上传到Github),主要包括: 修复了代码运行中出现的一些bug 添加了一些函数,使代码更简洁 训练阶段我们采用了分批处理,优化了内存 参考论文《Extended Supervised Descent Method for Robust Face Alignment》,优化了源程序 在测试阶段,我们使用了逆的缩放和平移变换将得到的aligned_shape 转换为原始图片的特征点true_shape 添加了详细的注释,使之更容易明白。 more Dependency: Vlfeat library: http://www.vlfeat 继续阅读 »
2018-12-01 石头人m
一.常用的时间序列模型 常用的时间序列模型有:自回归模型 AR(p)、移动平均模型 MA(q)、自回归移动平均模型 ARMA(p,q)、自回归差分移动平均模型 ARIMA(p,d,q), 可以说前三种都是 ARIMA(p,d,q)模型的特殊形式。 继续阅读 »
2018-05-15 石头人m
Machine Learning Yearning,Technical Strategy for AI Engineers,In the Era of Deep Learning. Andrew NG. Machine Learning Yearning is a deeplearning.ai project. 继续阅读 »