1.环境
Windows 7
JDK 1.7.0_72
kafka_2.11-0.10.0.0
2.下载
去
官网下载kafka_2.11-0.10.0.0.tgz
kafka原生支持在windows上运行。
3.单机版测试
3.1 启动zookeeper
bin\windows\zookeeper-server-start.bat config/zookeeper.properties
3.2 启动kafka
bin\windows\kafka-server-start.bat config/server.properties
3.3 创建topic
bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看有哪些topic
bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
3.4 测试producer和consumer
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
This is a message
This is another message
bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic test --from-beginning
收发正常,测试成功。
4.集群测试
我们将建一个由3个kafka组成的集群,全部跑在同一个windows上。
4.1 修改配置文件
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
config/server-1.properties:
broker.id=1
listeners=PLAINTEXT://:9093
log.dir=/tmp/kafka-logs-1
config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://:9094
log.dir=/tmp/kafka-logs-2
4.2 启动zookeeper
bin\windows\zookeeper-server-start.bat config/zookeeper.properties
4.3 启动kafka
bin\windows\kafka-server-start.bat config/server.properties
bin\windows\kafka-server-start.bat config/server-1.properties
bin\windows\kafka-server-start.bat config/server-2.properties
4.4 创建topic并查看
bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
查看topic
bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3
Configs:
Topic: my-replicated-topic Partition: 0 Leader:1 Replicas: 1,2,0 Isr: 1,2,0
4.5 测试producer和consumer
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic my-replicated-topic
This is a message
This is another message
bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
4.6 杀死4.4查看到的Leader:1,再次运行
bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3
Configs:
Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas
: 1,2,0 Isr: 2,0
可以发现Leader变成了2,。然后producer和consumer依旧工作良好。
分享到:
相关推荐
kafka初步学习文档,文档来源于咕泡学院,对想学习卡夫卡的同学可以初步了解一下
kafka学习笔记(一) ================= 本人整理的学习笔记,该笔记目前只有第一版,适合初学者初步了解kafka
Kafka属于Apache组织,是一个高性能跨语言分布式发布订阅消息队列系统[7]。本课程是精短视频教程,从初步认识,用户日志上报实时统计与分析,消息处理与集群维护、消费者与生产者实例(Python和java)、源码剖析。
本文来自于csdn,Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统.早期两个应用程序间进行消息传递需要保证两个应用程序同时在线...
kafka权威指南,内容详细,适合初步学习及深度提高,是本很不错的书籍
主题强调绿色使用NestJS + Redis + Kafka实现简单秒杀系统技术栈:我们的老伙计NestJS ,以及ioredis , kafka-node最近在研究kafka消息层次,所以想写一个秒杀来来手,看了好几篇博客都没有具体的项目示例,所以...
用户组织权限管理系统系统描述前端地址: :系统前端基于Vue + ElementUi + typeScript实现初步地址: :系统架构基于node + nest.js + mysql架构系统结构系统截图目录说明common // 公共(权限, 错误拦截)config //...
这个问题我想只要是在做数据开发的,有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。...初步调研了canal(Ali)+kafka connect+kafka、maxwell(Zendesk)+kafka和mysql_streamer(Yelp)+kafka。这几
kafka分布式消息处理 storm实时数据分析 redis实时缓存 前端-APP端 单应用 查看用户界面 前端-网页端 Vue 元素用户界面 Vue元素模板 NiitPhone 介绍 NIIT项目,实现中.... 软件架构 软件架构说明 安装教程 xxx xxx...
初步认识RabbitMQ及高可用集群部署 详解RabbitMQ消息分发机制及主题消息分发 RabbitMQ消息路由机制分析 RabbitMQ消息确认机制 Redis redis数据结构分析 Redis主从复制原理及无磁盘复制分析 Redis管道模式...
工程数据工程成员: 努曼·萨努(Numan Sahnou) 路易斯·德尔希尔(Louis Delthil) 马修·埃切尔(Matthieu Eccher)初步问题:哪些技术/业务约束适用于数据存储组件,以便可以轻松以每日200GB的数据速率对数据库...
高可用:秒杀时会在一瞬间涌入大量的流量,为了避免系统停机机,保证高可用,需要做好流量限制优化思路初步优化:将请求阻止拦截在系统上游假设现在库存为10,有1000个购买请求,最终只有10个可以成功,99%的请求都...
2.采用Kstream框架对数据进行初步数据清洗与变换,使用Java API将数据导入HBase 3.使用Hive集成Hbase,对数据进行ETL,进一步清洗处理数据 4.协助使用Hive提取特征值,运用Spark ML构建模型 5.参与模型检验与随机...
对用户服务进行操作这是一个使用服务网格(istio)生成微服务的使用示例技术栈技术描述grpc + protobuf服务层之间的通讯回声应用层接口暴露MySQL的存储层Redis缓存层卡夫卡服务之间初步通讯积家双向跟踪EFK日志收集...
初步方式 生产者往kafka发送数据的模式(3种): 0 :把数据发送给Leader就成功,效率高,安全性最低 1 :把数据发送给领导者,等待leaader确认回ACK all :把数据发送给leader,确保跟随从leader拉取数据回复ACK给...
初步设计,适当扩展:支持多种消息体系(Disruptor,Redis,Kafka,RabitMQ,RocketMQ),多种网络框架(Http Client,Okhttp3,Selenium等),也支持自己实现。 支持分布式 多线程,异步化:逐步使用RxJava 2的多...
《 Java工程师修炼之道》已开源章节后续计划此书一开始是计划并且要章专门介绍大数据开发技术,然后现在越来越多的公司在建造自己的大数据平台,大数据技术也逐渐成为Java工程师的必备技能。... Kafka加入最新版本的特
但是目前SpringCloudStream只支持RabbitMQ和Kafka的自动化配置。 首先,我们通过一个简单的示例对SpringCloudStream有一个初步的认识。我们中间件使用RabbitMQ,创建spring-cloud-stream模块编辑pom.