Hadoop2.2集群安装

 2016-04-26 21:50:21     Hadoop   833



由于数据量的增加和业务的需求,公司从14年年初,开始调研和使用Hadoop生态圈的相关技术,在这期间,我们逐渐上了Hadoop、Hive、Flume等服务,并完成了对老统计业务的迁移。

Hadoop从2.x实现了用来管理集群资源的YARN框架,可以面向任何需要使用基于HDFS存储来计算的需要,MapReduce作为外围的插件式的计算框架,你可以根据需要开发或者选择合适的计算框架。

阅读全文

Ganglia安装

 2016-04-26 21:50:21     Ganglia  Hadoop   931


Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。
Ganglia的核心包含gmond、gmetad以及一个Web前端。Ganglia集群主要用来监控系统性能,它由RRDTool工具处理数据,并生成相应的监控相关的图形,并提供一个Web控制台来直观地提供给客户端,管理员可以通过丰富的图形来对整个被监控的物理机器集群节点进行评估。Ganglia能够监控的内容很多,如CPU利用率 、Mem利用率、硬盘利用率, I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。需要知道的是,Ganglia可以做系统监控,但是,目前它不支持服务器异常或故障报警功能。

阅读全文