简介
Dremel 是Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB级别的数据。MapReduce处理一个数据，需要分钟级的时间。作为MapReduce的发起人，Google开发了Dremel将处理时间缩短到秒级，作为MapReduce的有力补充。Dremel作为Google BigQuery的report引擎，获得了很大的成功。最近Apache计划推出Dremel的开源实现Drill，将Dremel的技术又推到了浪尖上。
继续阅读 »
目录
Table of Contents
{:toc}
文/Robin
本站推广
币安是全球领先的数字货币交易平台，提供比特币、以太坊、BNB 以及 USDT 交易。
币安注册: https://accounts.binancezh.pro/cn/register/?ref=11190872
邀请码: 11190872
一 什么是读写分离
MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询，而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。 当然，主服务器也可以提供查询服务。使用读写分离最大
继续阅读 »
Drill：大数据的交互式分析
简介
Drill是开源世界中“交互式”的数据分析系统。目标是可以组建超过10000台机器的集群，并且可以在秒级处理PB级别或者万亿条数据。Hadoop作为大数据处理的事实标准，设计目标是实现大数据处理的高吞吐量。MapReduce处理一个数据，需要分钟级的时间。而业界对交互式的低延迟的数据分析和挖掘提出了新的需求，Google的Dremel希望将处理时间缩短到秒级。当前Dremel已经为Google的bigquery提供服务。Drill作为Google Dremel的开源实现，并非Hadoop的替代品，只是其补充。和Dremel一样，Drill可以高效的处理嵌套式数据格式。此外，Drill加入了额
继续阅读 »
Kubernetes是一个Docker集群管理工具，主要包含资源管理，部署运行，服务发现，扩容缩容等功能，帮助用户把所有的应用都部署在Docker Container里边，Kubernetes可以看成是一个mini的PaaS平台，主要用来帮助用户管理Docker Container。
继续阅读 »
本文翻译自文章Service Discovery via Consul with Amazon ECS
现如今随着微服务架构的出现，很多应用都是以一套分布式组件的形式来部署。在这样的架构中，你需要在多个EC2实例上的多个Docker容器中，配置和协调各种各样的应用程序。
亚马逊EC2容器服务(ECS)提供了一个用于管理资源、任务以及容器调度的集群管理框架。但是，很多应用仍然需要额外的组件来管理分布式组件之间的联系。服务发现的概念就是用来定义这种帮助管理这些联系的组件。
继续阅读 »
mdtoc start
依赖: group-replication 需要gtid支持,多主复制基于gtid格式的binlog
特性: 多主模式:
限制: group-replication 只适合单机房高速局域网部署
限制: auto increment 默认是7, 集群建立起来之后不能改
限制: 默认要设置为read-only
限制: 失联的节点不会自动加回到group里.
这里会有个问题: 失联节点还可以提供读操作
限制: 2个成员里kill 1个member不能被自动处理, 因为2 成员中1个member不能独立行程多数派,整个group会卡主,不接受任何写入
限制: 配置: 必须使用hostname
操作: my.cnf
继续阅读 »
Compose
Compose定义和运行多个Docker容器的应用，实现对Docker容器集群的快速编排。通过一个docker-compose.yml模板文件，定义一组相关联的服务(容器应用)为一个项目(由多个服务组成的完整的业务单元)。
Compose的使用
命令
Compose的命令对象默认指定为项目，使用 docker-compose [COMMAND] --help或docker-compose help[COMMAND]可以查看某个具体命令的使用格式。
shell
docker-compose [-f=...] [options] [COMMAND] [ARGS...]
命令选
继续阅读 »
文/Robin
本站推广
币安是全球领先的数字货币交易平台，提供比特币、以太坊、BNB 以及 USDT 交易。
币安注册: https://accounts.binancezh.pro/cn/register/?ref=11190872
邀请码: 11190872
人们一提起DBA，第一反应是这个职位多么的高端，殊不知DBA并不是你想象的那样。
一个人会搭建DG，会RMAN，会搭建RAC集群，会GoldenGate，另一个人只会写SQL，只会优化SQL，你觉得这两个人谁的发展空间更大？这个问题想必是仁者见仁智者见智。DG、RMAN、RAC、GoldenGate等等是Oracle相对高级的技术，而SQL确是几乎所有的程序员、
继续阅读 »
安装docker-machine
我的安装环境是mac，之前在mac上安装有vagrant和virtualbox，所以我没有直接安装官方推荐的Docker Toolbox。其实我可以手动创建几台vagrant虚拟机，然后手动配置这三台虚拟机为一个swarm集群。但看了swarm官网的资料，都推荐使用docker-machine，之前不怎么熟悉，所以也借此机会熟悉一下，先在mac上安装docker-machine命令行工具。
继续阅读 »