由于数据量的增加和业务的需求,公司从14年年初,开始调研和使用Hadoop生态圈的相关技术,在这期间,我们逐渐上了Hadoop、Hive、Flume等服务,并完成了对老统计业务的迁移。 Hadoop从2.x实现了用来管理集群资源的YARN框架,可以面向任何需要使用基于HDFS存储来计算的需要,MapReduce作为外围的插件式的计算框架,你可以根据需要开发或者选择合适的计算框架。 Hadoop集群节点规划与配置 Hadoop集群中节点的配置信息,以及各个节点的角色,整理如下表…
1、介绍 Ganglia 是 UC Berkeley 发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia 的核心包含 gmond、gmetad 以及一个 Web 前端。Ganglia 集群主要用来监控系统性能,它由 RRDTool 工具处理数据,并生成相应的监控相关的图形,并提供一个 Web 控制台来直观地提供给客户端,管理员可以通过丰富的图形来对整个被监控的物理机器集群节点进行评估。Ganglia 能够监控的内容很多,如 CPU 利用率 、Mem 利用率…
开发一套博客系统的话,主要分两部分。一部分是内容发布,另一部是内容展示。 内容发布需要一个编辑方便,所见即所得的编辑器,并能将编辑内容转成 Html 后保存起来。由于我想采用 Markdown 编辑,且不想实现 Markdown 内容转 Html 的开发(使用过 Python-markdown2,感觉并不是很理想),所以,我这里采用 MarkdownPad2 进行编辑,然后生成 Html 保存起来,由 Python 程序按照设计的规则解析成 Html,并存入数据库。(当然,我…