2017-09-14 Alex Sun
1. 优化目标 SVM 即支持向量机(Support Vector Machines),是一种大间距分类算法。 回顾在逻辑回归中,一个样本的损失函数为: $$ Cost(h_\theta(x),y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x)) $$ 继续阅读 »
2017-09-10 Alex Sun
1. 过拟合 在线性回归和逻辑回归中,容易出现过拟合的情况,即训练模型可以很好地适用于训练集,得到代价函数 $$ J(\theta)≈0 $$,但是这样的模型并无法泛化,对于测试数据,会偏差很大。 在样本特征数多,而样本数少的情况下,很容易发生过拟合。解决过拟合的方法: 继续阅读 »
2016-04-01 Borg
Coursera 华盛顿大学机器学习系列课程回归分析第二周 那么这门课讲的其实还蛮简单的,主要关注如何得到w,所以都在搞gradient descent。John Hopkins的数据科学课程就难多了= =。 传送们 有道好方便,懒得搬啦。。。 继续阅读 »
2016-04-01 Borg
Coursera 华盛顿大学机器学习系列课程回归分析第一周 传送们 有道好方便,懒得搬啦。。。 继续阅读 »
2015-07-26 王财勇
本文是笔者在阅读众多资料,包括网上资料、教科书的基础上,编写而成。 其基本写作框架是: 1.从数学的角度,对奇异值分解做更加准确的描述,包括定义和性质; 2.matlab的奇异值分解函数简介; more 数学上的SVD 我们阐述关于SVD的定义。 【定义】令$A\in R^{m\times n}$,则存在正交矩阵 $U\in R^{m\times m}$, $V\in R^{n\times n}$使得: $$ A=U\Sigma V$$,其中$$\Sigma = diag(\Sigma_1,O) \in R^{m\times n}$$且 $\Sigma_1=diag(\sigma_1,\sigma_2,...,\sigma_r) 继续阅读 »
2016-06-28 Borg
openCV 计算机视觉库Ubuntu 16 kylin下的安装过程,其实从链接搬运的,只是自己过了一遍有些不同的用汉语标注了。 第三步libtiff4升级到5了 第七步pip已经有了就不用看了 第八步conda也可以创建虚拟python环境,所以暂且用conda 第十一步用conda把cv包装入虚拟的环境,最后cource activate cv启用虚拟环境 继续阅读 »
2015-08-15 王财勇
训练阶段我们采用了分批处理,可以优化部分内存。 原先我们的代码使用一次性载入数据,然后开始若干次迭代,直至收敛。这样保存image与shape的数据矩阵Data就一直占用内存,但实际上,数据集的image与shape 的作用仅仅是计算$\Delta X$和$\Phi$,两变量的定义参考《 Supervised Descent Method and its Applications to Face Alignment》,其实也就是init shape与true shape的差值以及init shape的特征向量。计算完了,Data就没用了。于是我们设想分批处理,每次迭代载入一次数据,用完了就clear。这样就需要载入多次,可能时间上 继续阅读 »
2016-05-01 Borg
最后两周懒得做笔记了,一张张截图好费时间。已经把pdf,ipython notebook,data都上传到github,ipython notebook还转换成了markdown文件方便阅读。 Github Repo 华盛顿大学的这门公开课真的很棒,很照顾新手,把用到的数学符号都解释了,同时又不会太水。比起约翰霍普金斯的数据科学偏向理论,后者的回归模型主要讲的怎么用,而这门则是深入讲解回归模型的参数如何得来,还有各种问题以及对应的解决方案。 关键词: Close-form solution gradient descent ridge regression lasso re 继续阅读 »
2018-12-01 石头人m
一.常用的时间序列模型 常用的时间序列模型有:自回归模型 AR(p)、移动平均模型 MA(q)、自回归移动平均模型 ARMA(p,q)、自回归差分移动平均模型 ARIMA(p,d,q), 可以说前三种都是 ARIMA(p,d,q)模型的特殊形式。 继续阅读 »
2015-07-06 王财勇
首先说明一下我的安装环境: 操作系统:Win7 64位 SP1 Matlab: 2012a 64位& 2013a 64位(两个版本均试验过) Visual Studio:2010 sp1旗舰版 下面介绍具体的安装方法: more Windows SDK 7.1 的安装(Win 7 64bit,x64平台) 闲话少说,先准备素材。这里我已经为您准备好了一切。 Windows SDK 7.1 安装包 vs2010 sp1 VC-Compiler-KB2519277 注意:在安装VS2010时还自动安装了 Microsoft Visual C++ 2010 x86 Redistributable - 10.0.30319 及更高版本 继续阅读 »