Hyper: Storage in Docker & Kubernetes

2015-11-12 Klaus Ma
Docker Volume Plugin The above picture show the overall architecture of Docker volume plugin. The docker daemon communicate with VolumePlugin by volume_driver.sock (Unix Domain Socket); the volume plugin take responsibility to mount the distributed FS into local FS and return the mount point to docker daemon. The do 继续阅读 »

从Ceph Object Storage到Swift的数据迁移

2016-12-09 Lingxian Kong
前段时间一直在忙team的项目，在我们基于OpenStack的公有云（Catalyst Cloud）上部署Swift服务。由于历史原因，我们的公有云之前提供的对象存储是基于Ceph Object Gateway（RGW），所以我们已经有大量的用户在Ceph上存储的数据，并且每天都会有更新，总容量有十几个T。我在这个项目中的任务就是完成数据迁移。在Ceph集群之外，我们部署了独立的Swift集群，所以准确的说，我们需要做的是数据拷贝，而并非数据迁移。 继续阅读 »

存储中的文件合并策略优化

2018-11-04 张炎泼
storage minhash similarity compact algorithm
问题 系统中的所有数据以block 存放: 每个block里: 有 n=1000万个文件, 已经排序好, 每个文件名长度平均l=512 Byte. 2个block中可能包含大量的重复文件, 这时我们需要找出这2个block, 将其合并, 以节省空间. 继续阅读 »

OpenStack社区动态第四期(12.06-12.16)

2013-12-16 Lingxian Kong
业界动态 IBM本周五表示，已经开发出一款能够让客户在多个云之间迁移数据的云存储软件——InterCloud。据称，IBM正在为InterCloud申请专利，这项技术旨在向云计算中增加弹性，并提供更好的信息保护。IBM还开发了名为InterCloud Storage的软件，利用存储系统、第三方私有云和公有云用于备份、共享和数据迁移。 Mirantis发布了OpenStack Release 3.2.1，修复了3.2版本的一些bug，Release Note点此 一份IDG公司的调查，有84%的美国企业考虑计划部署openstack UnitedStack宣布加入Open Invention Network(开源发明网络组织) 继续阅读 »

Resource Usage Summary in Horizon

2016-11-07 Lingxian Kong
In 'Project'->'Compute'->'Overview' pannel of Horizon, a common user can see some OpenStack resources usage information in 'Limit Summary' table in pie chart. By default, that includes 'Instances', 'VCPUs', 'RAM', 'Floating IPs', 'Security Groups', 'Volumes' and 'Volume Storage'. Horizon will get usage of those resourc 继续阅读 »

Barbican - OpenStack Key Management service

2018-07-16 Lingxian Kong
For those who don't know, Barbican is an OpenStack service which provides a REST API designed for the secure storage, provisioning and management of secrets such as passwords, encryption keys and X.509 certificates. Barbican can be used together with other OpenStack services to provide security features, e.g. Octavia u 继续阅读 »

Mongdb for DBAs: Week3

2017-01-30 Borg
Mongodb
Storage Engine Mongodb 现有两个存储引擎，默认的是MMAPv1，可选的是WiredTiger。可以在启动数据库时指定。wiredTiger支持而MMAPv1不支持的特性有：文档级别锁，数据压缩。 shell mongod --storageEngine wiredTiger 继续阅读 »

线程局部存储tls的使用

2016-09-28 ruki
tbox 多线程 tls 线程局部存储
线程局部存储(Thread Local Storage，TLS)主要用于在多线程中，存储和维护一些线程相关的数据，存储的数据会被关联到当前线程中去，并不需要锁来维护。。 因此也没有多线程间资源竞争问题，那如何去实现TLS存储呢，主要有以下几种方式： gcc和clang的__thread修饰符 windows下msvc的__declspec(thread)修饰符 pthread库pthread_setspecific和pthread_getspecific接口 windows下的TlsSetValue和TlsGetValue thread和declspec(thread)的使用 其中thread和declspec(thread) 继续阅读 »

firebase：0 后端代码实现实时交互

2016-01-07 veryyoung
Firebase can power your app's backend, including data storage, user authentication, static hosting, and more. Focus on creating extraordinary user experiences. We'll take care of the rest. 继续阅读 »