好久之前写过K-Means, 但写的极其丑陋，使用的时候还得用 sklearn.cluster.KMeans 包来干。最近需要手撕k-Means，自己也受不了多重for 循环这么disgusting的方式。sklearn.cluster.KMeans等包加入了相当多细节优化和向量化计算，同时也想能否用 numpy 来原生实现更高效的加速。在网上找了半天，终于看到简洁又高效的numpy 实现 了。
继续阅读 »
nnUNet首先进行plan_and_preprocess来对数据进行预处理，生成预处理（裁剪，分析数据属性）后的中间阶段数据。
继续阅读 »
Attention is all you need---可视化理解Transformer结构
在上一篇文章中我们介绍了注意力机制—目前在深度学习中被广泛应用。注意力机制能够显著提高神经机器翻译任务的性能。本文将会看一看Transformer---加速训练注意力模型的方法。Transformers在很多特定任务上已经优于Google神经机器翻译模型了。不过其最大的优点在于它的并行化训练。Google云强烈建议使用TPU云提供的Transformer模型。我们赶紧撸起袖子拆开模型看一看内部究竟如何吧。
继续阅读 »
这篇文章是将会是知识图谱系列的第一篇，也算是学习中的一些笔迹吧，希望能够讲清楚一些基本概念。
前世今生
早在12年Google就提出了知识图谱的概念（Knowledge Graph）。实际上知识图谱技术由来已久，只是不停地换名字：专家系统，与以往，链接数据….我们在各个搜索引擎中也看到了相关的应用：
继续阅读 »
这里是示例的Jupyter Notebook。
最近详细研究了研究TensorFlow的seq2seq库。为了能实现一个神经语言翻译模型，我希望能尽快了解一个大概。这里我就仅仅想知道“我需要清除知道关于这个库的哪些细节”，而不是一个“8层双向基于注意力机制使用集束搜索…的网络”吧啦吧啦有惊人的效果。我这里就像怎么来实现最基本的NMT模型。翻了好多材料来寻找一份“简单”的参考代码时，我一点也不惊讶。
继续阅读 »
@staticmethod
不需要实例化一个对象再调用，直接类名.方法名()便可调用。
python
class A(object):
bar = 1
def foo(self):
print("foo call")
@staticmethod
def static_foo():
print("static foo:")
print(A.bar)
@classmethod
def class_foo(cls):
print("class foo:")
print(cls.bar)
cls
继续阅读 »
本文是im2latex系列的第二篇，希望能够讲清楚
如何将seq2seq模型应用于LaTex生成
如何使用Tensorflow实现
如果你对Seq2Seq还不熟悉。
[请看seq2seq介绍](https://anxingle.github.io)
继续阅读 »
这篇文章是im2latex系列的第一篇，希望能够讲清楚基于attention的Sequence-to-Sequence和Beam Search的一些基本概念。
如果你对Seq2Seq和熟悉了，想直接跳到tensorflow代码部分的话。
继续阅读 »
AlphaGo出来之后，对它的解读一直不断，而AlphaGo Zero和AlphaZero文章发表后，复现的文章也是层出不穷。写这篇博文的时候，真是感觉诚惶诚恐—不太可能将AlphaZero讲的比知乎上的这篇文章更清晰明了了。作者写的MCTS的讲解纠正了我对UCT算法的好多误解。
继续阅读 »
动态计算图模型时代
经典的深度学习框架比如caffe，mxnet，tensorflow等都是使用的静态计算图模型（当然最近tensorflow推出新的Execution模式—Eager，mxnet也开始使用新的前端框架Gluon…这是后话），也就是先定义一个计算图，然后往里面“喂”数据，这是经典的Define-and-Run模式…..（我也不知道继续该怎么编了，反正大家都知道怎么用tensorflow和caffe，就是和我们用numpy不一样）直到Chainer横空出世，引入了动态图机制，让深度学习研究工作者眼前焕然一新，pytorch也来了，春天近了。
继续阅读 »