2018-11-02 Mithrilwoodrat
之前看了 a-python-interpreter-written-in-python 和 byterun,就想试试用 JAVA 解析 Python 生成的 pyc 文件,读取 bytecode 后在 JAVA 中实现解释执行。 继续阅读 »
2018-10-27 Mithrilwoodrat
在存储能力和数据量有限的情况下,我们可以选择 MySQL 来进行简单的数据存储和分析。 Logstash 支持监听文件更新,并可以解析日志后写入 MySQL 数据库。使用 Logstash 可以免去繁琐的开发流程,快速实现旁路日志监控上报功能。 继续阅读 »
2018-10-21 Mithrilwoodrat
什么是 ELK ELK 是三个开源项目的首字母缩写,分别为: Elasticsearch,Logstash 和 Kibana。 分别解决什么问题 1. Logstash 继续阅读 »
2018-10-09 Mithrilwoodrat
前言 除了上一篇中提到的使用 Shell 处理日志等文本数据,我们在日常工作中更多时候需要处理各种结构化数据。 存储结构化数据的组件通常而言是关系型数据库,各种各样的业务数据和统计数据通常都会存放到关系型数据库中。 继续阅读 »
2018-09-08 Mithrilwoodrat
在日常的工作过程中,我们常常会遇到各种需要分析数据的场景,简单的比如说统计今天服务访问中有多少请求的 status_code 是 500,或是从几天的后台服务 log 中寻找特定的 log 来定位错误。复杂的情况下可能涉及到多天的数据聚合发现异常,或是从实时日志中统计用户信息,甚至是从TB、PB级别的数据中检索、聚合出需要的信息。 继续阅读 »
2018-09-08 Mithrilwoodrat
假设我们现在有这样一个任务,需要快速从 Nignx logs 中统计出访问量前10的 ip 及其访问次数。 以 github 上的nginx_logs 为例 (格式参考官方文档) 继续阅读 »
2018-01-29 Mithrilwoodrat
2017年过去了,我很怀念它。 写2017新年杂谈的时候,我提到过,之前的目标是找到一个能够糊口的工作。 所谓能糊口的工作,即不考虑长远的情况下,工资足够维持在祖国的首都的基本生活支出,能够有机会沉下心学习技术。这个目标基本算是完成了,虽然持续的时间不怎么长。 继续阅读 »
2017-08-28 Mithrilwoodrat
PyLongObject PyLongObject 定义在 include/longobject.h 中,实际的 longobject 对象定义在 include/longintrepr.h 中。 ~~~C // include/longobject.h typedef struct _longobject PyLongObject; /* Revealed in longintrepr.h */ ~~~ 继续阅读 »
2017-07-30 Mithrilwoodrat
PyObject CPython 中基本的数据结构是 Object,所有的 Python 对象都可以用PyObject *来访问,CPython 中通过 Object 手动实现了对象系统。 PyObject 定义于 include/object.h 中,可以看到,结构体里只是一个简单的 PyObject_HEAD 宏。 继续阅读 »
2017-06-21 Mithrilwoodrat
准备调试环境 目前 CPython 的开发已经迁移到了 Github 上,可以直接去 Github clone 对应的分支。 我们将基于 Python 2.7.13 版本, Linux x86_64 环境进行接下来的工作。 下载好代码以后以 继续阅读 »