1. 优化目标
SVM 即支持向量机(Support Vector Machines),是一种大间距分类算法。
回顾在逻辑回归中,一个样本的损失函数为:
$$ Cost(h_\theta(x),y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x)) $$
继续阅读 »
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
继续阅读 »
Coursera 华盛顿大学机器学习系列课程回归分析第一周
传送们 有道好方便,懒得搬啦。。。
继续阅读 »
Coursera 华盛顿大学机器学习系列课程回归分析第二周
那么这门课讲的其实还蛮简单的,主要关注如何得到w,所以都在搞gradient descent。John Hopkins的数据科学课程就难多了= =。
传送们 有道好方便,懒得搬啦。。。
继续阅读 »
计算机视觉
一颗中二的哨牙
袁勇的博客
小村长的博客
CNN以及深度学习方向
待读列表
继续阅读 »
本文是笔者在阅读众多资料,包括网上资料、教科书的基础上,编写而成。
其基本写作框架是:
1.从数学的角度,对奇异值分解做更加准确的描述,包括定义和性质;
2.matlab的奇异值分解函数简介;
more
数学上的SVD
我们阐述关于SVD的定义。
【定义】令$A\in R^{m\times n}$,则存在正交矩阵 $U\in R^{m\times m}$, $V\in R^{n\times n}$使得:
$$ A=U\Sigma V$$,其中$$\Sigma =
diag(\Sigma_1,O)
\in R^{m\times n}$$且 $\Sigma_1=diag(\sigma_1,\sigma_2,...,\sigma_r)
继续阅读 »
好久之前写过K-Means, 但写的极其丑陋,使用的时候还得用 sklearn.cluster.KMeans 包来干。最近需要手撕k-Means,自己也受不了多重for 循环这么disgusting的方式。sklearn.cluster.KMeans等包加入了相当多细节优化和向量化计算,同时也想能否用 numpy 来原生实现更高效的加速。在网上找了半天,终于看到简洁又高效的numpy 实现 了。
继续阅读 »
一.常用的时间序列模型
常用的时间序列模型有:自回归模型 AR(p)、移动平均模型 MA(q)、自回归移动平均模型 ARMA(p,q)、自回归差分移动平均模型 ARIMA(p,d,q), 可以说前三种都是 ARIMA(p,d,q)模型的特殊形式。
继续阅读 »
首先说明一下我的安装环境:
操作系统:Win7 64位 SP1
Matlab: 2012a 64位& 2013a 64位(两个版本均试验过)
Visual Studio:2010 sp1旗舰版
下面介绍具体的安装方法:
more
Windows SDK 7.1 的安装(Win 7 64bit,x64平台)
闲话少说,先准备素材。这里我已经为您准备好了一切。
Windows SDK 7.1 安装包
vs2010 sp1
VC-Compiler-KB2519277
注意:在安装VS2010时还自动安装了 Microsoft Visual C++ 2010 x86 Redistributable - 10.0.30319 及更高版本
继续阅读 »
训练阶段我们采用了分批处理,可以优化部分内存。
原先我们的代码使用一次性载入数据,然后开始若干次迭代,直至收敛。这样保存image与shape的数据矩阵Data就一直占用内存,但实际上,数据集的image与shape 的作用仅仅是计算$\Delta X$和$\Phi$,两变量的定义参考《 Supervised Descent Method and its Applications to Face Alignment》,其实也就是init shape与true shape的差值以及init shape的特征向量。计算完了,Data就没用了。于是我们设想分批处理,每次迭代载入一次数据,用完了就clear。这样就需要载入多次,可能时间上
继续阅读 »