多语言展示
当前在线:759今日阅读:60今日分享:30

kafka神器之mirrormaker

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。
工具/原料

计算机

方法/步骤
2

Kafka集群包含一个或多个服务器,这种服务器被称为broker。

3

每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)

方法/步骤2

搭建2个kafka集群,一个称为源集群,另一个称为目的集群。关于如何搭建kafka集群,可以参考我的其他经验。

方法/步骤3

在源集群和目的集群建立topic。要求topic的名字必须一样。建立topic可以使用如下命令:kafka-topic.sh

方法/步骤4

在源集群配置mirrormaker的配置文件,包括consumer.properties和producer.properties。可以参看config目录下的原始文件,在这个基础上修改不容易出错。

方法/步骤5
1

运行kafka的mirrormaker命令,查看是否有报错。一般情况下,都可以运行成功。

2

在目的集群开启kafka终端,消费数据,如果能够消费到数据,说明mirrormaker成功了。

注意事项

编辑文件前请备份

推荐信息