Telegraf使用

Telegraf 是 InfluxData 下的子项目,是由 Go 语言编写的 metrics 收集、处理、聚合的代理。其设计目标是较小的内存使用,通过插件来构建各种服务和第三方组件的 metrics 收集。Telegraf 具有插件或集成功能,可以直接从其运行的系统中获取各种指标,从第三方API中提取指标,甚至通过 statsd 和 Kafka 消费者服务监听指标。它还具有输出插件,可将指标发送到各种其他数据存储,服务,和消息队列,包括InfluxDB,Graphite,O…

利用Nginx实现用户数据收集

用户数据主要分客户端主动上报和业务服务数据。 客户端主动上报的需要在前段做数据埋点,服务端部署服务收集上报的数据,我们这里用Nginx做日志收集服务,因为对日志收集服务来说,最重要的稳定、高并发和吞吐量,不涉及业务逻辑,保证数据不丢失。而Nginx是不错的选择。 业务服务数据分很多种,一种是Nginx的访问日志,一种是业务数据库中存储的数据,还有业务服务输出的日志等。 这里介绍的用户数据主要基于浏览器和移动APP。 网站数据收集 默认能够收集的信息如下: 名字 途径 备注 访…

Flume1.7安装

Flume的可靠性 当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障,从强到弱依次分别为:end-to-end(收到数据agent首先将event写到磁盘上,当数据传送成功后,再删除;如果数据发送失败,可以重新发送。),Store on failure(这也是scribe采用的策略,当数据接收方crash时,将数据写到本地,待恢复后,继续发送),Besteffort(数据发送到接收方后,不会进行确认)。 Flume的一些核心概念 A…