2018-11-07 安兴乐-siler
这里是示例的Jupyter Notebook。 最近详细研究了研究TensorFlow的seq2seq库。为了能实现一个神经语言翻译模型,我希望能尽快了解一个大概。这里我就仅仅想知道“我需要清除知道关于这个库的哪些细节”,而不是一个“8层双向基于注意力机制使用集束搜索…的网络”吧啦吧啦有惊人的效果。我这里就像怎么来实现最基本的NMT模型。翻了好多材料来寻找一份“简单”的参考代码时,我一点也不惊讶。 继续阅读 »
2018-08-12 安兴乐-siler
本文是im2latex系列的第二篇,希望能够讲清楚 如何将seq2seq模型应用于LaTex生成 如何使用Tensorflow实现 如果你对Seq2Seq还不熟悉。 [请看seq2seq介绍](https://anxingle.github.io) 继续阅读 »
2018-08-07 安兴乐-siler
这篇文章是im2latex系列的第一篇,希望能够讲清楚基于attention的Sequence-to-Sequence和Beam Search的一些基本概念。 如果你对Seq2Seq和熟悉了,想直接跳到tensorflow代码部分的话。 继续阅读 »
2018-07-30 安兴乐-siler
AlphaGo出来之后,对它的解读一直不断,而AlphaGo Zero和AlphaZero文章发表后,复现的文章也是层出不穷。写这篇博文的时候,真是感觉诚惶诚恐—不太可能将AlphaZero讲的比知乎上的这篇文章更清晰明了了。作者写的MCTS的讲解纠正了我对UCT算法的好多误解。 继续阅读 »
2018-01-08 安兴乐-siler
动态计算图模型时代 经典的深度学习框架比如caffe,mxnet,tensorflow等都是使用的静态计算图模型(当然最近tensorflow推出新的Execution模式—Eager,mxnet也开始使用新的前端框架Gluon…这是后话),也就是先定义一个计算图,然后往里面“喂”数据,这是经典的Define-and-Run模式…..(我也不知道继续该怎么编了,反正大家都知道怎么用tensorflow和caffe,就是和我们用numpy不一样)直到Chainer横空出世,引入了动态图机制,让深度学习研究工作者眼前焕然一新,pytorch也来了,春天近了。 继续阅读 »
2017-11-04 安兴乐-siler
第二課:宣告并准备圣灵降临(1:1 – 26) 引言 – (1:1 – 3) 第一节中所说的前书是指那一本书? 第二节中为什么说祂藉著圣灵昐咐,而不说衪自己吩咐? 宣告圣灵的降临– (1:4 – 8) 继续阅读 »
2017-10-27 安兴乐-siler
无人驾驶 不用多说,自从深度学习开始席卷机器学习领域,计算机视觉相关技术突飞猛进。从阿尔法狗到Dota比赛,人类节节败退,强化学习也逐渐的开始进入人们的视野。无人驾驶技术从当年的实验室阶段真的开始走入了工业界(更像是从工业界反传到了学术界)。还等什么,这么激动人心的高新科技,我们怎么能不赶紧上车呢? 继续阅读 »
2017-10-27 安兴乐-siler
第一课:总论 (9:1 – 9) 作者:路加---医生, 保罗的同工 . 日期:约主后六十三年,大逼迫快临未临之时 . 对象 : 提阿非罗大人 , 可能是一位罗马的官员 . 提阿非罗的意思是 “爱神的人” . 当时己有一些罗马官员成为基督徒 . 背景 A.政治背景: 以色列是罗马帝国的属国.由罗马巡抚及分封的王–希律–共同治理.从主后三十年到六十年罗马政府对基督教的传播采取放任制度因此福音传播很快 . 主后六十年起罗马政府开始愈來愈厉害的逼迫 . B.法律背景: 民事及轻微的刑事归分封的王经祭司及律法师审理.重大的刑事,特別是死刑必须由巡抚处理.凡是罗马公民不受属国法律的管轄.任何罗马公民 (人数相当少) 都可直接上告 继续阅读 »
2017-09-06 安兴乐-siler
什么是强化学习 简单通俗来讲就是Agent在Environment中探索找到最优策略Policy,使得Reward最多的学习策略(游戏)。它是一个MDP(Markov Decision Process)马尔可夫决策过程:一个状态$S_{t}$是MarKov当且仅当 $P(S_{t+1}|S_{t})=P(S_{t+1}|S_{t},S_{t-1},...,S_{0})$。再通俗点讲就是未来只取决于现在。 继续阅读 »
2017-08-11 安兴乐-siler
字符级别的识别 早期深度学习在自然语言上的应用比较暴力,直接把数据往CNN里怼。文章Text Understanding from Scratch解释了为啥子CNN也能对文本分类:它先对字符集做了一个类似盲文的编码,将字符编码为定长(l)的向量,然后送入CNN网络来分类。 文章厉害的地方在于直接把所有的文本(中文换成拼音)直接怼进去,然后就能取得很厉害的分类结果。表示怀疑,有空了重复实验。还有一篇文章CNN for Sentence Classification稍有改进,把文本进行word embedding后,再送入了CNN。 ,Max-pooling后得到固定长度的fea 继续阅读 »