Table of Contents
{:toc}
上一篇介绍了 airflow 的基本概念和操作,隔了两个月,终于觉得要写些进阶内容了,
同时也在公司内开始摸索着使用了起来,中间也是遇到了许多问题,如这个项目的网址所表达的,
现在仍是一个孵化项目,使用在线上仍需谨慎。我就来做回吃螃蟹的人,分享下最近使用的心得,
以及遇到的一些问题。
继续阅读 »
之前简单介绍过 LSTM,网址,本文将利用 LSTM 来实现一个文本情感分类模型,是基于 Keras 和 Python 的。
概要
本文以词为单位,先分词,然后将每个句子截断为100词(不够则补空字符串),然后将句子以“词-词向量(embedding)”的矩阵形式输入到 LSTM 模型中进行学习分类。
本文使用的语料和参考来源于 文本情感分类(三):分词 OR 不分词.
数据预处理
数据读取与分词
```python
读取数据并分词
pos = pd.read_excel('pos.xls', header=None)
pos['label'] = 1
neg = pd.read_excel('neg.xls', he
继续阅读 »
每次进入应用客户端时,都需要进行后端鉴权服务,接口会调用某牌照方的鉴权接口,根据用户的MAC地址决定用户是否有权限登陆使用服务。由于调用的接口不是很稳定,有时会出现连续一段时间误判,导致终端大量用户无法使用APP,所以决定在接口这边做一个策略:
统计一段时间内的第三方鉴权接口鉴权失败数量,当超过某一阈值时,接口暂时对用户请求返回成功。
由于只是周期性的计数,比如十分钟,所以当第三方服务异常,连续大量用户请求失败的时候,只要同时做好监控报警工作,及时上报给第三方,同时,并不影响用户使用服务。第三方发现后可以及时处理,处理正常后,接口又可以继续以牌照方的响应为准,所以基本也不违背广电总局可管可控的原则。
这种周期性计数功能,使用R
继续阅读 »
Tornado本身的设计目标是单线程异步非阻塞,要想很好的发挥它的性能最好使用异步IO,并且Tornado本身也提供了异步的AsyncHttpClient的实现,配合gen.coroutine和yield,可以让请求异步执行从而不阻塞当前线程,对于单线程服务器来说,阻塞(blocking)和同步的sleep这种会挂起线程的动作都是服务器的噩梦,因为只有一个线程,所以任何等待都会影响服务器对于其他请求的处理。
异步非阻塞对于第三方IO是http请求的情况还好,毕竟可以使用Tornado提供的异步实现,但是对于有些数据库的IO,则需要异步库的支持,比如针对MongoDB的Motor等。但是第三方异步库的质量也是参差不齐,在实际的工程中
继续阅读 »
距离上一篇airflow 进阶居然过了两个月了,
不得不说从上线 airflow 以来问题出了一些,这篇我就来分享下使用过程中踩过的坑,
也欢迎有兴趣的同学发信分享你遇到的问题或者解决办法。
继续阅读 »
什么是 robots.txt ?
robots.txt 文件放置在网站根目录下,定义了什么样的客户端(web服务器以User-Agent识别客户端)可以访问的资源有哪些,不能访问的资源有哪些。以百度的 robots.txt 为例,如下:
继续阅读 »
Hot-Samer.club一个色色的samer网站
hot-samer.club
过年无聊,整理的一个图片网站
代码在 这里
继续阅读 »
使用 Flask 处理文件上传
Web 应用程序的一个常见特性是允许用户将文件上传到服务器。在 RFC 1867 中协议记录了客户端上传文件的机制,我们最喜欢的 Web 框架 Flask 完全支持这一机制,但是对于许多开发者来说,还有许多实现细节未遵循该正式规范。诸如在何处存储上传的文件,如何事后使用它们,或者如何保护服务器不受恶意文件上传的影响,这些都会产生很多混乱和不确定性。
继续阅读 »
使用 Systemd将Flask应用程序作为服务运行
在服务器上部署应用程序时,需要确保应用程序不间断地运行。如果应用程序崩溃,则希望它自动重启,如果服务器断电,则希望该应用程序在恢复电源后立即启动。 基本上,您需要的是监视应用程序并在发现不再运行时将其重启。
继续阅读 »
在 HTTPS 上运行 FLASK 应用程序
介绍
在开发FLASK 应用过程中,通常会运行开发 web 服务器,它提供了一个基本的、但功能齐全的 WSGI HTTP 服务器。但是当部署应用程序到生产环境中,需要考虑的事情之一是,是否应该要求客户端使用加密连接以增加安全性。
那么应该如何在 HTTPS 上运行 FLASK 应用程序呢?在这篇文章中,我将介绍几个为 Flask 应用程序添加加密功能的选项,从一个只需要5秒钟就可以实现的非常简单的解决方案,到一个健壮的A+ 评级的解决方案。
继续阅读 »