给大家分享一套课程，PySpark大数据处理及机器学习Spark2.3视频课程，希望对大家学习有帮助。

公安和情报部门作为维稳和维护社会治安的重要部门，多年积累建设了多个不 同类型数据库，存储了海量数据信息，但是由于大部分为传统关系型数据库，性能 被约束，无法发挥这些数据的价值。其缺点主要体现在:情报信息来源的分散化和 滞后性、维稳信息归档能力薄弱、数据查询和呈现的自动化/可视化程度不高、专属 业务模型应用数量少且数据的关联性没有得到利用等方面。如何挖掘这些海量数据 的关联关系，筛查重点人员并分析其人员关系网络，成为了公安机关急需解决的问 题。本文针对这方面的需求，设计了一个大数据人员信息管理系统，采用 HDFS 分 布式文件存储系统搭配 mysql 关系型数据库存储数据，应用 spark 分布式文件计算 引擎来进行数据分析和处理，再搭配 web 前端技术和 EChart 数据可视化等技术，设 计出可拓展性强、数据处理速度高效快速、实用性强、操作简单的人员信息管理系 统，为公安和情报部门者提供人员信息查询、人员信息数据可视化、人员信息数据 预测等功能，可用于公安侦查、治安管理、刑侦立案等工作。目前该系统已经在深 圳市某公安部门投入使用并取得了很好的效果

大数据分析 spark

基于机器学习的Spark大数据平台自动调优机制研究--毕业设计.rar，关键词：大数据，spark，大数据平台自动调优机制，毕业设计

带有PySpark的Spark和Python用于大数据：Spark机器学习项目

大数据技术在分析与挖掘交通大数据方面扮演着越来越重要的角色.为了快速有效地对出租车的运营模式与载客策略进行分析，设计效益指数模型对出租车效益进行量化排序，以高效益出租车为研究对象，基于Spark大数据框架开发一个轨迹数据处理与可视化平台.首先，处理高效益出租车轨迹数据得到用于可视化的特征数据.而后进行可视化分析，包括：统计分析高效益出租车运营特性并实现交互式图表展示，采用蜂窝形格网与DBSCAN算法对不同时段高效益出租车载客点进行热点可视化，实现基于缓冲区的交互式轨迹查询并提取出轨迹相关因子.最后，利用成都市出租车GPS轨迹数据验证了所提平台的有效性及可靠性.

文档主要介绍了环境搭建和配置使用 1. 什么是Spark SQL Spark SQL的一个用途是执行使用基本SQL语法或HiveQL编写的SQL查询。Spark SQL还可以用于从现有的Hive安装中读取数据。有关如何配置此功能的更多信息，请参考Hive表格部分。当从另一种编程语言中运行SQL时，结果将作为DataFrame返回。您还可以使用命令行或jdbc/odbc来与SQL接口进行交互。 2. 什么是DataFrame 一个以命名列组织的分布式数据集。概念上相当于关系数据库中一张表或在R / Python中的data frame数据结构,但DataFrame有丰富的优化。在Spark 1.3之前，核心的新类型为RDD-schemaRDD,现改为DataFrame。spark 通过DataFrame操作大量的数据源，包括外部文件（如 json、avro、parquet、sequencefile 等等）、Hive、关系数据库、cassandra等

概括性、总结性的对比Mapreduce、spark、storm，三者的特点，区别对比。

包含车流量监控项目的过程解析、以及sql。还有源代码。项目中的libs目录下缺一个包spark-assembly-1.6.0-hadoop2.4.0，可自行下载

自己整理的笔记，278章节