distributed rate limiter

2016-06-14 刘太华
redis rate limiter
用redis造一个分布式rate limiter 号称分布式， 其实是装逼了呢。我也潮流用一发高逼格词 ＝。＝ 场景是： 我有一个服务， 需要对用户请求进行限速， 根据uid或者其他user信息， 服务进程是多节点的 经典的限速方式有很多种， token bucket(令牌桶), leaky bucket(漏桶)， 它们的区别基本是对Burst(突发流量)的限制不一样，token bucket能允许一定突发流量， 具体算法查看wiki描述吧。 继续阅读 »

xp的分布式系统系列教程之: Erasure-Code: 工作原理, 数学解释, 实践和分析.

2017-02-01 张炎泼
theory distributed tutorial replication erasure
文字版: Erasure-Code: 工作原理, 数学解释, 实践和分析 more 继续阅读 »

后分布式时代: 多数派读写的'少数派'实现

2020-10-18 张炎泼
distributed quorum majority replication paxos
前言 excerpt paxos可以看做是2次 [多数派读写] 完成一次强一致读写. 多数派要求半数以上的参与者(paxos中的Acceptor)接受某笔操作. 但 [多数派读写] 并不一定需要多于半数的参与者, 分布式系统中某些场合的优化, 可以通过减少参与者数量来完成的. 本文介绍这些优化对系统可用性产生的影响, 根据什么标准来选择和调整这些参数. 继续阅读 »

xp的分布式系统系列教程之: Erasure-Code: 工作原理, 数学解释, 实践和分析.

2017-02-01 张炎泼
theory distributed tutorial replication erasure
mdtoc start 内容简介 分布式系统的可靠性问题: 冗余和多副本 EC的基本原理 栗子🌰1: 实现k+1的冗余策略, 大概需要小学3年级的数学知识 栗子🌰2: 实现k+m的冗余策略, 大概需要初中2年级的数学知识 增加1个校验块, 变成k+2 实现k+m 的冗余 EC编码矩阵的几何解释 k=2, 为2个数据块生成冗余校验块 k=3, 4, 5...时的数据块的冗余 通过高次曲线生成冗余数据 从曲线方程得到的系数矩阵 EC解码过程: 求解n元一次方程组 [Vandermonde] 矩阵保证方程组有解 新世界: 伽罗华域 [Galois-Field] GF(7) EC在计算机里的实现: 基于 伽罗华域 [Galois-Fiel 继续阅读 »

可靠分布式系统基础 Paxos 的直观解释

2015-11-11 张炎泼
paxos network theory distributed consensus
Paxos 已经逐渐被承认是分布式系统中不可缺少的核心算法, 越来越多的分布式系统都是以paxos或其变种来达到强一致性的. 本文是一篇paxos入门教程, 从基本的分布式中的问题: 主从复制，quorum-rw等算法出发, 通过逐步解决和完善这几个问题, 最后推导出paxos的算法. 继续阅读 »

Docker：the container engine

2015-12-28 veryyoung
Docker An open platform for distributed applications for developers and sysadmins 给开发人员和系统管理员提供的分布式应用开放平台。 继续阅读 »

0MQ – Introduction

2013-06-05 Klaus Ma
0MQ (also spelled ZeroMQ, 0MQ or ZMQ) was originally a high-performance asynchronous messaging library aimed at use in scalable distributed or concurrent applications. It provides a message queue, but unlike message-oriented middleware, a 0MQ system can run without a dedicated message broker. The library is designed to 继续阅读 »

Hyper: Storage in Docker & Kubernetes

2015-11-12 Klaus Ma
Docker Volume Plugin The above picture show the overall architecture of Docker volume plugin. The docker daemon communicate with VolumePlugin by volume_driver.sock (Unix Domain Socket); the volume plugin take responsibility to mount the distributed FS into local FS and return the mount point to docker daemon. The do 继续阅读 »