Flink1.4部署实践

 2018-02-07 16:02:52     Flink  流处理框架  开源框架   1168



Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时,Flink 在流处理引擎上构建了批处理引擎,原生支持了迭代计算、内存管理和程序优化。

阅读全文

使用火焰图做性能分析

 2018-01-13 16:49:02     火焰图  性能分析  Java  Flame Graph   1888



火焰图(Flame Graph)是由 `Linux` 性能优化大师 `Brendan Gregg` 发明的。它是定位疑难杂症的神器,比如 `CPU` 占用高、内存泄漏等问题。

和所有其他的 `trace` 和 `profiling` 方法不同的是,`Flame Graph` 以一个全局的视野来看待时间分布,它从底部往顶部,列出所有可能的调用栈。

阅读全文

自动化部署Flume+Kafka+Storm

 2017-12-03 21:48:23     阿里云  Flume  Kafka  Storm  自动化部署   629



由于业务需求特殊,一般只固定在一周的某几天晚上会有大量数据需要进行实时计算,而且只需要使用4到5个小时。平时只需要小规模的集群进行开发、测试和线上使用。 针对这种情况,为了减少服务器的费用,决定利用阿里云的 API 和 ECS 服务器,自动独立部署一套 Flume+Kafka+Storm 实时计算集群服务,以便灵活应对各种压力下的计算需求。

阅读全文

Flume监控

 2017-07-05 14:23:51     Flume  监控  InfluxDB  Telegraf  Grafana   2713



最近在对服务做压力测试时,发现当 QPS 达到很高的一个值时,Flume 会出现报错。为了排查原因,一边结合 Telegraf 的数据收集,给 Flume 加上监控和报警;一边查看 Flume 代码。

阅读全文

Telegraf使用

 2017-06-24 21:23:51     Telegraf  数据收集  InfluxDB   3461



Telegraf 是 InfluxData 下的子项目,是由 Go 语言编写的 metrics 收集、处理、聚合的代理。其设计目标是较小的内存使用,通过插件来构建各种服务和第三方组件的 metrics 收集。Telegraf 具有插件或集成功能,可以直接从其运行的系统中获取各种指标,从第三方API中提取指标,甚至通过 statsd 和 Kafka 消费者服务监听指标。它还具有输出插件,可将指标发送到各种其他数据存储,服务,和消息队列,包括InfluxDB,Graphite,OpenTSDB,Datadog,Librato,Kafka,MQTT,NSQ等等。

相比于 Logstash 或者 Mozilla 的 Heka,它有了更多的内置实用 input 插件,更容易的监控起系统和各种常见服务的各种参数。与 InfluxDB 结合使用起来使用十分方便。

阅读全文