Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

之前一直在找kafka的java依赖的jar包，但是苦于版本都比较低。后来找到了新版的2.2.0，分享一下，送个生产者的Demo 注意要用JDK1.8.....1积分意思一下

参考网上的资料并且总结了大数据中常用的几种数据库的开发规范,其中包括hbase,hive,solr,kafka等表和字段的命名规则,以及可能引起的问题的解决方法,有助于避免开发中因为命名的问题导致的错误,供大家参考学习和交流,总结不到位的地方,还需自己去网上查找更详细的资料学习

前 言 大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南 一、Hadoop 分布式文件存储系统：HDFS 分布式计算框架：MapReduce 集群资源管理器：YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 开发环境搭建 Data Source Data Transformation Data Sink 窗口模型 状态管理与检查点机制 Standalone 集群部署 六、HBase 简介 系统架构及数据结构 基本环境搭建 集群环境搭建 常用 Shell 命令 Java API 过滤器详解 可显示字数有限，详细内容请看资源。

canal 同步数据 从mysql到kafka

kafka manager可视化管控台压缩包

一种基于Kafka/Hadoop/Hive平台的大规模智慧路灯的数据采集与处理系统，何沙，肖波，随着信息科技的飞速发展，智慧路灯出现在了人们视野中。区别于普通路灯，智慧路灯集成了很多智能模块。这些模块实时地向服务器上

徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

kafka2.4.0+zookeeper+kafka-connect集成安装包

工作流业务案例：具有多级批准的服务请求 目录 服务请求用例专注于通过基于Web的UI，通知和Camunda工作流演示服务请求过程。 服务请求流程对可能需要批准或拒绝的几个人工审核步骤进行了建模。 以及通过TCP与事件系统（Kafak）进行异步通信进行系统交互，以及通过HTTP / REST在点对点模式下进行同步通信。 这可以作为示例，以设计的工作流引擎作为编排的面向事件的体系结构中的业务流程引擎来设计分布式系统。 过程中的有趣之处 该过程的这一部分特别有趣，并包含许多功能。 在工作流级别，我们正在协调用户任务以对服务请求进行显式多级审查。 每次审核后，我们都会向Kafka发送事件，以可能通知其他系统（如UI）有关任务的完成和服务请求的更新。 请注意，在拒绝路径上，没有为服务请求的请求者定义用户任务。 这是为了表示可以以多种方式通知请求者有关拒绝的信息，并且更新服务请求的方法对于工作