Monitoring hanging tasks in large cluster

2012-12-30 Klaus Ma
In a large cluster, some un-expected long running task hold back the job’s runtime sometimes. And those long running tasks are hard to locate in such a large cluster. Some ideas are shown here to help to locate those long running tasks. One of them will be implemented in the coming released of OGL. 继续阅读 »

怎么配置Tomcat7 Cluster

2014-11-08 summer
tomcat
理论 如果能够很好的学习和使用一个工具，最简单的方式便是从官方文档中学习。Tomcat7 Cluster配置如下：http://tomcat.apache.org/tomcat-7.0-doc/cluster-howto.html。对于国内的it人员来说，看英文是比较头疼的事情，对本人也是如此。 继续阅读 »

Hyper: Swarm on Mesos

2015-11-21 Klaus Ma
Swarm on Mesos Overview Swarm API gets REST API request, and then create a task and put it into message queue. Swarm Cluster (registered as Mesos framework) gets offer from Mesos Swarm Cluster picks up a task from message queue Swarm Cluster calls Scheduler’s routine to gets target host Swarm Cluster calls Mesos 继续阅读 »

MySQL集群建议

2014-12-07 Robin Wen
数据库 Database MySQL Cluster 集群
Table of Contents {:toc} 文/Robin 本站推广 币安是全球领先的数字货币交易平台，提供比特币、以太坊、BNB 以及 USDT 交易。 币安注册: https://accounts.binancezh.pro/cn/register/?ref=11190872 邀请码: 11190872 问题 现想建立一个数据中心，包括运维采集信息、业务数据、其他业务数据等，建立一个集群搞定，数据量大，写入非常多，查询也非常多。请教。 我应该建什么样的集群合适，面对高并发，扩展性等问题。是否有什么建议，谢谢。 我考虑cluster，因为可以添加很多节点，这样各种业务的各种数据，我可以分布到节点上去，把他们查询比较 继续阅读 »

使用numpy高效实现 k-means聚类

2020-12-07 安兴乐-siler
机器学习
好久之前写过K-Means, 但写的极其丑陋，使用的时候还得用 sklearn.cluster.KMeans 包来干。最近需要手撕k-Means，自己也受不了多重for 循环这么disgusting的方式。sklearn.cluster.KMeans等包加入了相当多细节优化和向量化计算，同时也想能否用 numpy 来原生实现更高效的加速。在网上找了半天，终于看到简洁又高效的numpy 实现 了。 继续阅读 »

MySQL 集群

2013-12-22 Robin Wen
数据库 Database MySQL 集群 Cluster
目录 Table of Contents {:toc} 文/Robin 本站推广 币安是全球领先的数字货币交易平台，提供比特币、以太坊、BNB 以及 USDT 交易。 币安注册: https://accounts.binancezh.pro/cn/register/?ref=11190872 邀请码: 11190872 一 MySQL集群简介 上一篇文章我们提到MySQL 读写分离，这篇文章我们讲解MySQL集群。我们提到的集群，是指多台机器完成一个工作，最主要的场景是数据库服务器和Web服务器，但是集群环境不适合大规模计算。前面我们有提到MySQL AB复制，因为MySQL AB复制不适合大规模运用，要解决这个问题，我 继续阅读 »

第二届美亚柏科邀请赛

2017-12-23 findneo
ctf
WEB WEB2 Flag在哪里? 链 接 http://10sBB7f7sSo9.isec.anscen.cn burp抓包后向login.php常规 post user[]=admin&pass[]=a&submit=submit 。 得到flag{7538a033d41f442cbae9578d4c189615} 。 WEB4 你找得到Flag吗？ 链 接http://3jhg9aks3.isec.anscen.cn fuzz发现某些响应包头部会多出Set-Cookie: remind=U1FMSQ%3D%3D; 字样，依此进行布尔型盲注。 使用intruder的Cluster Bomb 模式自 继续阅读 »

Tomcat分布式Session共享

2015-07-20 veryyoung
tomcat-redis-session-manager 用tomcat默认的方式来管理session是很有问题的，比如项目重启tomcat，用户会话就会丢失，这样用户体验非常糟糕。应用只要稍微上点规模或者需要多机负载，这是必须做的工作了。 web server自带解决方案有2： tomcat有自带的session共享方式cluster，多个tomcat实时复制session。缺点是服务器之间会频繁的进行数据同步，如果在不同机器上网络开销会非常大，而且数据同步会有延迟的，这可能导致数据不一致，还有缺点就是session在每台机器都保有一份，太浪费资源了！ ngnix有基于ip hash转发的策略，用这个来保证每个IP每次 继续阅读 »

k8s学习笔记(3)——Pod

2019-01-13 Alex Sun
一、Pod定义 官网文档对Pod的定义是： A Pod is the basic building block of Kubernetes–the smallest and simplest unit in the Kubernetes object model that you create or deploy. A Pod represents a running process on your cluster. 继续阅读 »

k8s学习笔记(1)——基本概念

2019-01-06 Alex Sun
一、安装k8s 参考 Creating a single master cluster with kubeadm 继续阅读 »