以传统数据库作为flume的source 支持自定义查询以提供使用整个SQL语言的可能性。这是强大的，但有风险，请小心使用自定义查询。 要避免行导出重复，请使用WHERE子句中的$ @ $特殊字符，以递增方式导出未处理的行和插入的新行。 重要信息：为了正确操作自定义查询，请确保在查询结果的第一个位置返回增量字段

Apache Flume 是一个分布式、可靠且可用的服务，用于有效地收集、聚合和移动大量日志数据。它是Apache Hadoop生态系统中的一个重要组件，主要用于大数据的实时流处理。Flume 的设计目标是具有高容错性，即使在部分节点故障时，也能确保数据的完整性。 标题 "apache-flume-1.11 官网 安装部署包" 暗示了我们将讨论 Apache Flume 的 1.11.0 版本，这是一个官方发布的稳定版本，包含了安装和部署所需的所有文件。这个版本可能包含了一些新特性、改进和错误修复。 Flume 的核心组件包括源（Sources）、通道（Channels）和Sink（Sinks）。源负责从不同数据源（如Web服务器日志、syslog、Twitter流等）接收数据，通道则作为临时存储，确保数据在处理过程中不会丢失，而Sink则将数据传输到目的地，如HDFS、HBase、Kafka或其他数据存储系统。 在安装 Apache Flume 1.11.0 之前，确保你的系统已经安装了Java运行环境（JRE）和Java开发工具包（JDK），因为Flume是基于Java的。接下来，你可以按照以下步骤进行安装： 1. 下载：从Apache官方网站下载 `apache-flume-1.11.0-bin` 压缩包，并将其解压到合适的目录。 2. 配置：修改 `conf/flume.conf` 文件，这是Flume的全局配置文件。在这个文件中，定义你的数据流配置，包括Source、Channel和Sink。 3. 启动：通过执行 `bin/flume-ng agent --conf conf --conf-file conf/flume.conf --name -Dflume.root.logger=INFO,console` 来启动Flume代理。这里的 `` 是你为Flume代理指定的名称。 4. 监控与管理：Flume 提供了一个Web界面，可以用来监控和管理Flume实例。启动Web界面的方法是在Flume命令中添加 `--webui` 参数。 在部署Flume时，需要考虑以下几点： - 高可用性：通过设置多个Flume代理和复制数据流，可以在节点故障时保持服务的连续性。 - 数据容错：利用有状态的Channel（如Memory Channel或File Channel），可以在节点崩溃时恢复未处理的数据。 - 扩展性：可以通过添加更多代理和配置复杂的流拓扑来扩展Flume的处理能力。 - 安全性：根据需求，配置SSL/TLS以确保数据在传输过程中的安全性，同时可以启用Kerberos认证以增强集群的安全。 Flume 还支持与其他大数据组件的集成，例如与Hadoop的HDFS集成，实现高效的数据写入；与Kafka集成，作为数据流处理链的一部分；或者与ELK（Elasticsearch、Logstash、Kibana）堆栈配合，提供实时的日志分析和可视化。 Apache Flume 是一个强大的工具，适用于构建高可用、可扩展的日志数据收集系统。通过对 `apache-flume-1.11.0-bin` 包的正确安装和配置，你可以轻松地管理和处理大规模的日志数据，为你的数据分析和业务决策提供有力支持。

该项目是关于实时数据处理和可视化的综合应用，利用了大数据技术栈中的多个组件，包括Spark、Kafka、Flume、Echarts以及Hadoop。以下是这些技术在该项目中的具体作用和相关知识点： 1. **Spark**: Apache Spark是一个快速、通用且可扩展的大数据处理框架。在该项目中，Spark可能被用于实时数据流处理，对新闻和健身数据进行实时分析。Spark Streaming可以接收到Kafka中的数据流，并进行实时计算，如聚合、过滤或复杂事件检测，为业务决策提供及时的数据支持。 2. **Kafka**: Kafka是一款高吞吐量的分布式消息系统，常用于构建实时数据管道和流处理应用。在这个项目中，Kafka可能作为数据收集和分发的中心节点，接收来自不同源头（如新闻源、健身设备）的数据，并将其分发到Spark流处理作业或者存储到Hadoop等持久化系统中。 3. **Flume**: Flume是Apache的一个数据收集工具，用于高效、可靠地聚合和移动大量日志数据。在本项目中，Flume可能被用来从各种分散的源（如网络爬虫、服务器日志）收集新闻和健身数据，然后将这些数据发送到Kafka队列，以便进一步处理。 4. **Echarts**: Echarts是百度开源的一款基于JavaScript的数据可视化库，支持丰富的图表类型，如折线图、柱状图、饼图等。在这个项目中，Echarts可能用于将Spark处理后的数据结果以直观的图表形式展示出来，帮助用户更好地理解和分析新闻、健身数据的趋势和模式。 5. **Hadoop**: Hadoop是Apache的一个分布式文件系统，设计用于处理和存储大规模数据集。在这个项目中，Hadoop可能用于离线批处理，对历史数据进行深度分析，或者作为Spark处理后的数据备份和归档存储。 项目提供的文档和教程可能涵盖了如何设置和配置这些组件，如何编写Spark Streaming作业，如何使用Flume收集数据，如何在Kafka中设置主题和消费者，以及如何用Echarts创建交互式数据可视化。同时，它还可能涉及如何将所有这些组件整合到一个工作流程中，以实现端到端的实时数据处理和分析。 通过学习和实践这个项目，你可以深入理解大数据实时处理的工作流程，提升在大数据领域的能力，包括数据采集、流处理、数据分析和可视化等多个方面。对于想要从事大数据相关工作的专业人士，这是一个非常有价值的实践案例。

# wifi 基于flume+kafka+HBase+spark+ElasticSearch的用户轨迹查询大数据开发项目 项目名称：实时的用户轨迹查询项目 项目介绍：     利用企业建设的WIFI基站，实时采集用户的信息，可以基于这些信息做用户画像处理，网络安全监控，精准营销等； 项目架构： 主要是基于Flume+Kafka+Sparkstreaming +HBase+ES来实现实时的用户信息存储轨迹查询任务。 每个部分的数据运行结果以及集群的运行状况见结果文件ProjectResult！！！

基于大数据，模拟web数据的产生，flume采集，将采集到的原始数据发送到kafka中，再通过spark Streaming传入hbase数据库中

flume-ng-sql-source实现oracle增量数据读取 flume连接oracle增量数据读取

前 言 大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南 一、Hadoop 分布式文件存储系统：HDFS 分布式计算框架：MapReduce 集群资源管理器：YARN 单机伪集群环境搭建 集群环境搭建 常用 Shell 命令 Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 开发环境搭建 Data Source Data Transformation Data Sink 窗口模型 状态管理与检查点机制 Standalone 集群部署 六、HBase 简介 系统架构及数据结构 基本环境搭建 集群环境搭建 常用 Shell 命令 Java API 过滤器详解 可显示字数有限，详细内容请看资源。

flume官网下载太慢，请从这里下载，次文件是官方网站的1.8版本，也就是支持jdk1.8的，不支持jdk1.7，如果要支持jdk1.7的，请下载我的资源里面也有，flume1.7，

Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS 11111

【SWASH模型】Linear progressive waves through a flume算例输入文件