2017-09-06 Alex Sun
1. 单一变量线性回归 假设: $$ h_\theta(x)=\theta_0+\theta_1x $$ 则 cost function 为: $$ J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2 $$ 继续阅读 »
2017-09-14 Alex Sun
1. K-Means K-Means 是一种聚类算法,属于无监督学习。其算法非常简单。 输入是: 聚类数 $$ K $$ 样本 $$ x^{(1)},x^{(2)},...,x^{(m)} $$ 算法过程: 随机初始化 $$ K $$ 个聚类的中心点 $$ \mu_1,\mu_2,...,\mu_K $$ 重复如下过程: 对于每个样本,选择离该样本最近的聚类中心点 $$ \mu_k $$,将该样本标记为第 $$ k $$ 类 对于每个聚类,更新该聚类的中心点 $$ \mu_k $$ 为所有该聚类的点的中心 继续阅读 »
2016-04-01 Borg
Coursera 华盛顿大学机器学习系列课程回归分析第一周 传送们 有道好方便,懒得搬啦。。。 继续阅读 »
2016-04-01 Borg
Coursera 华盛顿大学机器学习系列课程回归分析第二周 那么这门课讲的其实还蛮简单的,主要关注如何得到w,所以都在搞gradient descent。John Hopkins的数据科学课程就难多了= =。 传送们 有道好方便,懒得搬啦。。。 继续阅读 »
2020-12-07 安兴乐-siler
好久之前写过K-Means, 但写的极其丑陋,使用的时候还得用 sklearn.cluster.KMeans 包来干。最近需要手撕k-Means,自己也受不了多重for 循环这么disgusting的方式。sklearn.cluster.KMeans等包加入了相当多细节优化和向量化计算,同时也想能否用 numpy 来原生实现更高效的加速。在网上找了半天,终于看到简洁又高效的numpy 实现 了。 继续阅读 »
2015-08-15 王财勇
论文《Extended Supervised Descent Method for Robust Face Alignment》对SDM方法做了扩展,使程序更鲁棒。 more 论文主要在三方面做了Improments,分别是: Adaptive Feature Block 在初始的SDM方法中,我们使用fixed-size blocks去提取SIFT特征进而预测shape。但实际上,从直观上来看,the feature extraction block size与the value of shape increment有很大关系。当shape increment比较大时,我们应该提取较大块的SIFT特征,这样就可以获取更多有用 继续阅读 »
2015-07-06 王财勇
首先说明一下我的安装环境: 操作系统:Win7 64位 SP1 Matlab: 2012a 64位& 2013a 64位(两个版本均试验过) Visual Studio:2010 sp1旗舰版 下面介绍具体的安装方法: more Windows SDK 7.1 的安装(Win 7 64bit,x64平台) 闲话少说,先准备素材。这里我已经为您准备好了一切。 Windows SDK 7.1 安装包 vs2010 sp1 VC-Compiler-KB2519277 注意:在安装VS2010时还自动安装了 Microsoft Visual C++ 2010 x86 Redistributable - 10.0.30319 及更高版本 继续阅读 »
2015-11-17 安兴乐-siler
计算机视觉 一颗中二的哨牙 袁勇的博客 小村长的博客 CNN以及深度学习方向 待读列表 继续阅读 »
2015-08-15 王财勇
训练阶段我们采用了分批处理,可以优化部分内存。 原先我们的代码使用一次性载入数据,然后开始若干次迭代,直至收敛。这样保存image与shape的数据矩阵Data就一直占用内存,但实际上,数据集的image与shape 的作用仅仅是计算$\Delta X$和$\Phi$,两变量的定义参考《 Supervised Descent Method and its Applications to Face Alignment》,其实也就是init shape与true shape的差值以及init shape的特征向量。计算完了,Data就没用了。于是我们设想分批处理,每次迭代载入一次数据,用完了就clear。这样就需要载入多次,可能时间上 继续阅读 »
2016-05-01 Borg
最后两周懒得做笔记了,一张张截图好费时间。已经把pdf,ipython notebook,data都上传到github,ipython notebook还转换成了markdown文件方便阅读。 Github Repo 华盛顿大学的这门公开课真的很棒,很照顾新手,把用到的数学符号都解释了,同时又不会太水。比起约翰霍普金斯的数据科学偏向理论,后者的回归模型主要讲的怎么用,而这门则是深入讲解回归模型的参数如何得来,还有各种问题以及对应的解决方案。 关键词: Close-form solution gradient descent ridge regression lasso re 继续阅读 »