本客服平台由提供产品服务

kafka订阅实时数据

仲维国发表于:2017年05月10日 11:12:34更新于:2017年05月11日 11:04:57


订阅实时数据


诸葛io设计为开放的架构,让用户可以订阅实时数据来满足更多使用场景。服务端接到一条 SDK 发来的数据后,会对数据做一些预处理并将数据写入到消息队列 Kafka 供下游各类计算模块使用。本文将介绍订阅 Kafka 数据的方法。

1. 一些要求

订阅数据需要满足以下要求:

  • 启动订阅的机器需与部署诸葛io的机器在同一个内网;

  •  Kafka 版本请使用 0.8.2.x; 

  • 仅私有部署版支持通过 Kafka 订阅数据;

2. 订阅参数

私有部署单机版:

参数名称参数值
topicpay_statisv2
partition2
zookeeperhostname:2181
brokerhostname:9092

私有部署集群版:

参数名称参数值
topicpay_statisv2
partition8
zookeeperhostname1:2181,hostname2:2181,hostname3:2181
brokerhostname1:9092,hostname2:9092,hostname3:9092

3. 订阅数据

订阅有多种方式,可以选择一种适合使用场景的方式。

3.1 使用 Kafka Console Consumer

使用 Kafka 自带的 Kafka Console Consumer 通过命令行方式订阅,例如从最新数据开始订阅:

bin/kafka-console-consumer.sh --zookeeper 172.31.13.31:2181 --topic | pay_statisv2

可以将 stdout 输出到文件或作为其他数据处理进程的输入数据。

3.2 使用 Simple Consumer Shell

使用 Simple Consumer Shell 可以实现更灵活的订阅,可参考 Kafka 相关文档: Simple Consumer Shell,例如:

bin/kafka-run-class.sh kafka.tools.SimpleConsumerShell --broker-list 172.31.13.31:9092 --offset 123 --partition 2  --topic pay_statisv2 --print-offsets

4. 数据格式

数据格式请见 数据格式说明文档


    您需要登录后才可以回复