2016-06-14 刘太华
用redis造一个分布式rate limiter 号称分布式, 其实是装逼了呢。我也潮流用一发高逼格词 =。= 场景是: 我有一个服务, 需要对用户请求进行限速, 根据uid或者其他user信息, 服务进程是多节点的 经典的限速方式有很多种, token bucket(令牌桶), leaky bucket(漏桶), 它们的区别基本是对Burst(突发流量)的限制不一样,token bucket能允许一定突发流量, 具体算法查看wiki描述吧。 继续阅读 »
2017-02-01 张炎泼
文字版: Erasure-Code: 工作原理, 数学解释, 实践和分析 more 继续阅读 »
2015-11-11 张炎泼
Paxos 已经逐渐被承认是分布式系统中不可缺少的核心算法, 越来越多的分布式系统都是以paxos或其变种来达到强一致性的. 本文是一篇paxos入门教程, 从基本的分布式中的问题: 主从复制,quorum-rw等算法出发, 通过逐步解决和完善这几个问题, 最后推导出paxos的算法. 继续阅读 »
2017-02-01 张炎泼
mdtoc start 内容简介 分布式系统的可靠性问题: 冗余和多副本 EC的基本原理 栗子🌰1: 实现k+1的冗余策略, 大概需要小学3年级的数学知识 栗子🌰2: 实现k+m的冗余策略, 大概需要初中2年级的数学知识 增加1个校验块, 变成k+2 实现k+m 的冗余 EC编码矩阵的几何解释 k=2, 为2个数据块生成冗余校验块 k=3, 4, 5...时的数据块的冗余 通过高次曲线生成冗余数据 从曲线方程得到的系数矩阵 EC解码过程: 求解n元一次方程组 [Vandermonde] 矩阵保证方程组有解 新世界: 伽罗华域 [Galois-Field] GF(7) EC在计算机里的实现: 基于 伽罗华域 [Galois-Fiel 继续阅读 »
2015-12-28 veryyoung
Docker An open platform for distributed applications for developers and sysadmins 给开发人员和系统管理员提供的分布式应用开放平台。 继续阅读 »
2013-06-05 Klaus Ma
0MQ (also spelled ZeroMQ, 0MQ or ZMQ) was originally a high-performance asynchronous messaging library aimed at use in scalable distributed or concurrent applications. It provides a message queue, but unlike message-oriented middleware, a 0MQ system can run without a dedicated message broker. The library is designed to 继续阅读 »
2015-11-12 Klaus Ma
Docker Volume Plugin The above picture show the overall architecture of Docker volume plugin. The docker daemon communicate with VolumePlugin by volume_driver.sock (Unix Domain Socket); the volume plugin take responsibility to mount the distributed FS into local FS and return the mount point to docker daemon. The do 继续阅读 »