2016-12-09 Lingxian Kong
前段时间一直在忙team的项目,在我们基于OpenStack的公有云(Catalyst Cloud)上部署Swift服务。由于历史原因,我们的公有云之前提供的对象存储是基于Ceph Object Gateway(RGW),所以我们已经有大量的用户在Ceph上存储的数据,并且每天都会有更新,总容量有十几个T。我在这个项目中的任务就是完成数据迁移。在Ceph集群之外,我们部署了独立的Swift集群,所以准确的说,我们需要做的是数据拷贝,而并非数据迁移。 继续阅读 »
2015-11-12 Klaus Ma
Docker Volume Plugin The above picture show the overall architecture of Docker volume plugin. The docker daemon communicate with VolumePlugin by volume_driver.sock (Unix Domain Socket); the volume plugin take responsibility to mount the distributed FS into local FS and return the mount point to docker daemon. The do 继续阅读 »
2018-11-04 张炎泼
问题 系统中的所有数据以block 存放: 每个block里: 有 n=1000万个文件, 已经排序好, 每个文件名长度平均l=512 Byte. 2个block中可能包含大量的重复文件, 这时我们需要找出这2个block, 将其合并, 以节省空间. 继续阅读 »
2018-07-16 Lingxian Kong
For those who don't know, Barbican is an OpenStack service which provides a REST API designed for the secure storage, provisioning and management of secrets such as passwords, encryption keys and X.509 certificates. Barbican can be used together with other OpenStack services to provide security features, e.g. Octavia u 继续阅读 »
2016-01-07 veryyoung
Firebase can power your app's backend, including data storage, user authentication, static hosting, and more. Focus on creating extraordinary user experiences. We'll take care of the rest. 继续阅读 »
2013-12-16 Lingxian Kong
业界动态 IBM本周五表示,已经开发出一款能够让客户在多个云之间迁移数据的云存储软件——InterCloud。据称,IBM正在为InterCloud申请专利,这项技术旨在向云计算中增加弹性,并提供更好的信息保护。IBM还开发了名为InterCloud Storage的软件,利用存储系统、第三方私有云和公有云用于备份、共享和数据迁移。 Mirantis发布了OpenStack Release 3.2.1,修复了3.2版本的一些bug,Release Note点此 一份IDG公司的调查,有84%的美国企业考虑计划部署openstack UnitedStack宣布加入Open Invention Network(开源发明网络组织) 继续阅读 »
2016-04-23 Robin Wen
文/温国兵 0x00 文章目录 Table of Contents {:toc} 0x01 背景介绍 某项目研发 A 删除压测环境大表,等待时间较长,于是直接将 MySQL 数据目录中对应数据库文件删除。于此同时,误删 ibdata 和 MySQL 配置文件。此时 MySQL 已经崩溃,研发从其他机器拷贝误删的数据文件以及配置文件,重启 MySQL,出现 Unknown/unsupported storage engine: InnoDB 错误,于是有了接下来的数据恢复。 本文会从几个方面讲解这个案例,方案确定、方案实施、原理探讨和案例小结,期间会交代诸多细节,以及使用到的技巧。相信读者读完之后,会对以后的数据恢复有所启发。 继续阅读 »
2016-11-07 Lingxian Kong
In 'Project'->'Compute'->'Overview' pannel of Horizon, a common user can see some OpenStack resources usage information in 'Limit Summary' table in pie chart. By default, that includes 'Instances', 'VCPUs', 'RAM', 'Floating IPs', 'Security Groups', 'Volumes' and 'Volume Storage'. Horizon will get usage of those resourc 继续阅读 »
2016-09-28 ruki
线程局部存储(Thread Local Storage,TLS)主要用于在多线程中,存储和维护一些线程相关的数据,存储的数据会被关联到当前线程中去,并不需要锁来维护。。 因此也没有多线程间资源竞争问题,那如何去实现TLS存储呢,主要有以下几种方式: gcc和clang的__thread修饰符 windows下msvc的__declspec(thread)修饰符 pthread库pthread_setspecific和pthread_getspecific接口 windows下的TlsSetValue和TlsGetValue thread和declspec(thread)的使用 其中thread和declspec(thread) 继续阅读 »
2017-01-30 Borg
Storage Engine Mongodb 现有两个存储引擎,默认的是MMAPv1,可选的是WiredTiger。可以在启动数据库时指定。wiredTiger支持而MMAPv1不支持的特性有:文档级别锁,数据压缩。 shell mongod --storageEngine wiredTiger 继续阅读 »