Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

密码：gg 1.1 目的 本文结合轻量化数据资源平台需求文档，及数据资源平台V1.1概要设计文档为基础，旨在描述轻量化数据资源平台的使用场景、运行环境、数据源以及各模块的组成、框架设计、模块的处理流程。 本文档的预期读者为：项目经理、设计工程师、研发工程师、工程师以及数据工程师。 1.2 背景 数据资源平台提供将物联网感知设备的数据、各行业平台、第三方系统的物联网数据、业务数据进行统一汇聚；实现原始数据汇聚管理、数据治理、并基于整体数据提供数据服务的能力。数据资源平台首先面对、提供应用服务的场景为平安城市项目，该解决方案面对海量的物联网感知和用户业务数据，需要数据资源平台提供大容量的存储能力。 在面对教育、小型社区、零售等小数据量的应用场景下，数据资源平台显得不那么合适。该解决方案对用户和实际场景来说，成本过高。因此，针对小型数据场景，需要推出轻量化的数据资源平台。 密码：gg

apache-flume-1.9.0-bin.tar，kafka_2.11-0.10.1.0，zookeeper-3.3.6_.tar 压缩 到了一个logs.rar文件中，需要的请下载

本人积累的一些Kafka调试的常用命令，主要包含：启动Kafka、创建Topic、 查看topic列表、创建生产者、创建消费者、修改分区数、删除Topic、自带生产者性能测试

kafka_2.11-0.10.2.0 版解压使用 kafka kafka kafka kafka kafka

kafka0.10.2.1集群搭建 记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢

kafka命令操作 记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢

基于JAVA API方式使用Kafka——编写生产者客户端 记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢

Kafka Monitor是kafka的监控工具，安装简单，页面简单，主要是用来监控消费者和offset，属于使用率相当高的一个kafka管理工具了

kafka的监控工具，功能很强大，而且可以监控多个kafka集群，安装简单，监控的东西很多，包括集群信息topic消费者等等等等