高并发压力测试工具Tsung

 2018-03-29 19:38:23     Tsung  测试工具   139



Tsung是Erlang开发的一个开源的多协议分布式负载测试工具,它能用来压力测试HTTP, WebDAV, SOAP, PostgreSQL, MySQL, LDAP 和 Jabber/XMPP的服务器。它可以分布在多个客户机,并能够模拟成千上万的虚拟用户数并发。

最近在做业务的横向扩展测试和业务接口的性能优化,期望QPS能达到C100K的目标。平时简单的压力测试,使用的是 ab 轻量级测试工具。但是,正式测试时,涉及到多接口、高并发等要求测试,就需要使用专业的、重量级的测试工具。如:Loadrunner、Jmeter、Tsung等。由于Loadrunner主要在Windows下使用,部署集群不太方便,这里选择了Tsung。

阅读全文

Flink1.4部署实践

 2018-02-07 16:02:52     Flink  流处理框架  开源框架   256



Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时,Flink 在流处理引擎上构建了批处理引擎,原生支持了迭代计算、内存管理和程序优化。

阅读全文

使用火焰图做性能分析

 2018-01-13 16:49:02     火焰图  性能分析  Java  Flame Graph   637



火焰图(Flame Graph)是由 `Linux` 性能优化大师 `Brendan Gregg` 发明的。它是定位疑难杂症的神器,比如 `CPU` 占用高、内存泄漏等问题。

和所有其他的 `trace` 和 `profiling` 方法不同的是,`Flame Graph` 以一个全局的视野来看待时间分布,它从底部往顶部,列出所有可能的调用栈。

阅读全文

自动化部署Flume+Kafka+Storm

 2017-12-03 21:48:23     阿里云  Flume  Kafka  Storm  自动化部署   320



由于业务需求特殊,一般只固定在一周的某几天晚上会有大量数据需要进行实时计算,而且只需要使用4到5个小时。平时只需要小规模的集群进行开发、测试和线上使用。 针对这种情况,为了减少服务器的费用,决定利用阿里云的 API 和 ECS 服务器,自动独立部署一套 Flume+Kafka+Storm 实时计算集群服务,以便灵活应对各种压力下的计算需求。

阅读全文

Flume监控

 2017-07-05 14:23:51     Flume  监控  InfluxDB  Telegraf  Grafana   1664



最近在对服务做压力测试时,发现当 QPS 达到很高的一个值时,Flume 会出现报错。为了排查原因,一边结合 Telegraf 的数据收集,给 Flume 加上监控和报警;一边查看 Flume 代码。

阅读全文