本文来自于博客园,文章主要从Flume的应用场景以及Flume的结构和组件，简单的介绍了Flume，希望对大家有帮助。flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一.1.什么是flume?apacheFlume是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的

Kafka技术内幕.xmind

LogCollector是一套基于ETL数据分析模型的分布式数据流系统，同时适用于云域内网数据传送和跨云数据传送；同时支持Windows和Linux双系统平台（内置JRE8.X）；同时支持实时传送、离线传送和断点续传；同时支持组件化集成、服务化管理和插件化扩展；同时支持单机单实例、多实例部署以及跨云级别的分布式集群部署，分布式场景下通过过载熔断事务反馈机制来保障各子系统数据一致性，收集器可一键安装部署，自动识别系统环境并完成相应配置，无需任何附加操作，解压开箱即用。该系统框架的功能和性能可直接秒杀ELK、Flume、Kettle等数据流工具，系统框架使用说明参考如下地址： https://blog.csdn.net/lixiang2114/article/details/114239052

RabbitMQ和Kafka详细笔记以及示例代码

一个手动管理spark streaming集成kafka时的偏移量到zookeeper中的小项目

澎 surging是一个分布式微服务框架，提供高性能的RPC远程服务调用，采用Zookeeper，Consul作为surging服务的注册中心，集成了哈希，随机，替代，压力最小优先负载均衡的算法，RPC可以选择采用netty或Thrift框架，采用异步非双重传输。 名字由来 英文名称：surging 中文名：滔滔 中文名来自周星驰的经典台词 我对阁下的景仰犹如滔滔江水，连绵不绝，犹如黄河泛滥，一发而不可收拾，而取名意味着一样，.net core技术风起云涌，冲击整个软件生态系统。 微服务定义 微服务应该是可以自由组合细分，对于每个业务都是独立的，针对于业务模块的CRUD可以注册为服务，而每个服务都是高度自治的，从开发，部署都是独立的，而每一个服务只做单一功能，利用领域驱动设计去更好的分割成粒度更小的模块 微服务边界 微服务是针对业务的松散重组，也是粒度最小的功能业务模块，针对于行业解决方案

kafka-eagle编译好的包

本文收集了近年各公司大数据开发岗位的面试题，涉及Hadoop、Spark、kafka、HBASE等大数据组件相关组件

工作中的宝典，都是在实际工作中总结常用的知识点，不只是java&java底层，还有常用框架相关的设计原理及讲解，比如kafka、数据库、spring、常用算法等等，可以说无论是工作还是面试必看的宝典

Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持KafkaServer间的消息分区，及分布式消息消费，同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数据处理为什么要用MessageQueue在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理