2017-06-01 Lu Huang
之前简单介绍过 LSTM,网址,本文将利用 LSTM 来实现一个文本情感分类模型,是基于 Keras 和 Python 的。 概要 本文以词为单位,先分词,然后将每个句子截断为100词(不够则补空字符串),然后将句子以“词-词向量(embedding)”的矩阵形式输入到 LSTM 模型中进行学习分类。 本文使用的语料和参考来源于 文本情感分类(三):分词 OR 不分词. 数据预处理 数据读取与分词 ```python 读取数据并分词 pos = pd.read_excel('pos.xls', header=None) pos['label'] = 1 neg = pd.read_excel('neg.xls', he 继续阅读 »
2017-05-31 Lu Huang
There is a book about Deep Learning, http://www.deeplearningbook.org/, which is wrote by Ian Goodfellow, Yoshua Bengio and Aaron Courville. 继续阅读 »
2017-05-31 Lu Huang
Got from zzw922cn/awesome-speech-recognition-papers. Automatic speech recognition paper roadmap, including HMM, DNN, RNN, CNN, Seq2Seq, Attention Introduction Automatic Speech Recognition has been investigated for several decades, and speech recognition models are from HMM-GMM to deep neural networks today. It's ver 继续阅读 »
2017-05-31 Lu Huang
之前简单介绍过 LSTM,网址,本文将利用 LSTM 构建一个故事生成的模型。 数据及其预处理 数据源 我们使用的数据是 Aesop’s Fables 里的一部分内容,如下: long ago , the mice had a general council to consider what measures they could take to outwit their common enemy , the cat . some said this , and some said that but at last a young mouse got up and said he had a proposal to make 继续阅读 »
2017-05-31 Lu Huang
I got a good things on GitHub, and share it here. There are some classical papers about deep learning. Survey Review Deep learning (2015), Y. LeCun, Y. Bengio and G. Hinton [pdf] :sparkles: Deep learning in neural networks: An overview (2015), J. Schmidhuber [pdf] :sparkles: Representation learning: A review and new 继续阅读 »
2017-05-30 Lu Huang
This blog is reprinted from colah's blog and some changes are added by myself. About RNN Humans don’t start their thinking from scratch every second. And traditional neural networks have a major shortcoming, and they cannot learn from the previous information. Recurrent neural networks (RNN) address this issue. RNN 继续阅读 »
2017-02-22 Lu Huang
本文主要参考的是 kaldi-asr.org,主要介绍我们在使用 kaldi 的时候可能用到的数据处理的脚本以及相关文件的信息。 简介 在运行完 kaldi 提供的例子之后,也许你想用自己的数据来建立一个系统,本节主要介绍如何准备自己的数据。请确保你使用的是例程脚本是最新的脚本。在本文中,你可以参考这些例子中有关数据准备的脚本。在每一个例子的根目录有一个 run.sh,该文件一般在开头会有若干行和数据准备有关的操作。比如在 RM 的例子中有: local/rm_data_prep.sh /export/corpora5/LDC/LDC93S3A/rm_comp || exit 1; utils/prepare_lang.sh 继续阅读 »
2017-02-22 Lu Huang
本文主要参考的是 kaldi-asr.org,主要讲述的是用自己的录音来构建一个数字串识别系统。 继续阅读 »
2017-02-22 Lu Huang
本文主要参考的是 kaldi-asr.org,主要介绍我们在使用 kaldi 的时候可能想要了解的术语词汇表。当然这里介绍的只是一部分例子,相信不久 kaldi-asr.org 就会增加新的内容。 acoustic scale 可以翻译为声学尺度吧,是在解码时使用的。在 C++ 程序中经常被写成 –acoustic-scale,而在其他程序中可能被写作 –acwt。这是对声学对数概率的描述,是一个在 HMM-GMM 和 HMM-DNN 系统中通常使用的系统,以说明帧与帧之间的相关性。其值都成被设置为 0.1,这意味着声学对数概率比语言模型的对数概率具有更低的权重。在打分(score)的脚本中,经常会看到语言模型的权重被搜索的范围 继续阅读 »
2017-02-20 Lu Huang
本文翻译和总结与 kaldi.org。本文主要介绍 kaldi 代码的组织结构以及依赖结构,以及一些修改和调试代码的经验。如果想更深入了解,可以点击这里。 常用的使用工具 进入 src/base/,查看 kaldi-common.h,其内容主要为下: ```c++ ifndef KALDI_BASE_KALDI_COMMON_H_ define KALDI_BASE_KALDI_COMMON_H_ 1 include include include // C string stuff like strcpy include include include include include 继续阅读 »