查看监控遇到很有趣的事

2016-02-05 derekchan 更多博文 » 博客 » GitHub »

服务器,监控

原文链接 http://gitdc.com/2016/02/05/operation-interesting-problem.html
注:以下为加速网络访问所做的原文缓存,经过重新格式化,可能存在格式方面的问题,或偶有遗漏信息,请以原文为准。


近期部门公布了供部门内部人员使用的监控平台,一个开源的项目“Grafana”,能实时查看各种服务的监控,如:Nginx,Docker,PHP等等等等,当然这些都是可以自定义的,想要什么就给你什么。

今天重点不是讲这个开源系统怎么嵌入,而是昨天遇到的一件很有趣的事情。正值年前没有太多业务要做,无聊看了下网站监控,发现每天的6点到8点,隔一刻钟或者十分钟就有一波请求高峰,整点更为明显,当时很是不解,按理说这个点应该不是访问高峰期才对,怎么会有波动这么明显的数值。

 

通过查看访问日志,发现"/api/v2/sync"的地址请求最频繁,这个Api是App用来同步数据的,进一步跟Android小伙伴了解后,Android小伙伴并没有在这个时间段设置了定时同步的代码,但是有注册了事件:当App在后台运行时,手机锁屏后再亮屏或者按Home键就会自动请求这个Api进行数据同步(大意是这样)。

到这里就有个疑问了,为什么这么多用户会在这些时间点同时操作手机,特别是整点,最后我们通过监控图表来判断,应该是闹钟惹的祸 :!: ,当闹钟响,屏幕会亮,闹钟的响声就会促使用户去操作手机,从而访问这个同步接口,前提是我们的App挂在后台运行,所以啊,网上所讲的很多App偷跑流量真的是有依据可查的。针对这个问题安卓小伙伴已经列入计划年后回来进行优化,细思恐极,还好现在量并不大,如果以后量大了,这种情况就会变成每天定时的流量攻击,且有可能会造成服务器宕机或者服务挂掉的情况(夸张了点),而这些都是我们内部造成的,想想都觉得逗。

最后得出几点经验:

1、图形的确是比文字、代码要来得更直接,更能把想要的结果体现出来

2、服务监控是很有必要的,为网站保驾护航的好工具。

宏观层面

1、发现有什么问题时,一定要深入研究它,或许能有什么新发现和普通情况下察觉不到的问题,这些都是促使我们进步的因素。