上百节课详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 本课程主要讲解的内容包括:Scala编程、Hadoop与Spark集群搭建、Spark核心编程、Spark内核源码深度剖析、Spark性能调优、Spark SQL、Spark Streaming。 本课程的最大特色包括: 1、代码驱动讲解Spark的各个技术点(绝对不是照着PPT空讲理论); 2、现场动手画图讲解Spark原理以及源码(绝对不是干讲源码和PPT); 3、覆盖Spark所有功能点(Spark RDD、Spark SQL、Spark Streaming,初级功能到高级特性,一个不少); 4、Scala全程案例实战讲解(近百个趣味性案例); 5、Spark案例实战的代码,几乎都提供了Java和Scala两个版本和讲解(一次性同时精通Java和Scala开发Spark); 6、大量全网唯一的知识点:基于排序的wordcount,Spark二次排序,Spark分组取topn,DataFrame与RDD的两种转换方式,Spark SQL的内置函数、开窗函数、UDF、UDAF,Spark Streaming的Kafka Direct API、updateStateByKey、transform、滑动窗口、foreachRDD性能优化、与Spark SQL整合使用、持久化、checkpoint、容错与事务。 7、多个从企业实际需求抽取出的复杂案例实战:每日uv和销售额统计案例、top3热卖商品统计案例、每日top3热点搜索词统计、广告计费日志实时黑名单过滤案例、热点搜索词滑动统 计案例、top3热门商品实时统计案例 8、深度剖析Spark内核源码与Spark Streaming源码,给源码进行详细的注释和讲解(史上最细致源码讲解) 9、全面讲解Spark、Spark SQL、Spark Streaming的性能调优,其中包括全网唯一的Shuffle性能调优(详细讲解性能调优的各个技术点) 10、涵盖Spark两个重要版本,Spark 1.3.0和Spark 1.5.1的讲解(走在Spark最前沿,涵盖最新高级特性) 一、Scala编程详解 二、课程环境搭建 三、Spark核心编程 四、Spark内核源码深度剖析 五、Spark性能优化 六、Spark SQL 七、Spark Streaming
2021-07-15 09:10:24 75B spark sparkSQL sparkStreaming 大数据开发
第二阶段模块开发训练: 1)网络数据采集,使用requests或者scrapy爬取数据(不能使用我案例中爬取的页面),存储到一个文本文件(文件命名为:姓名-学号-数据源文件.txt)中。 2)使用Spark RDD或者Spark Sql,读取“姓名-学号-数据源文件.txt”内容,对某一个字段的数据进行统计,获得词频前10的字段数据。把结果放在一个文本文件里面,命名为:姓名-学号-排行结果.txt 不能爬取下面2个网页内容,可以爬取其网站的其他网页内容 http://www.yingjiesheng.com/commend-fulltime-{}.html https://www.bilibili.com/v/popular/rank/all 要求: 1)7月15号21:00前提交作业 2)提交的作业为:爬虫项目+处理数据项目+姓名-学号-数据源文件.txt+姓名-学号-排行结果.txt四个内容放在一个文件夹里面打包,命名为:姓名-学号-第二阶段作业.rar(或者zip),然后发给我。可以发邮件+私聊窗口(21:00前有效)
2021-07-14 22:06:39 3KB python spark 爬虫
WPF+EF+SQLite从建项目到写入数据开发环境配置 运行环境:VS2019 数据库工具:sqlitestudio 用于验证数据是否插入,项目中的数据库就是这个工具创建的 操作流程: 新建项目=> 安装System.Data.SQLite=> 配置App.Config中的connectionStrings(这个配置很熟悉吧)=> 设置数据库文件可复制到Debug目录(让程序在当前目录下找到数据库文件)=> 制作User类=> 制作DbContext文件=> 里面有Word文档,工具软件,项目源码,VS2019请自行下载安装 使用一个按钮将数据写入数据库=> 查看是否写入
2021-07-05 17:21:40 54.62MB wpf sqlite eff
1
适合新手学习hadoop入门使用 其他地方也能下载到 但是页面布局是乱的 这是我下载之后进行了修改 带目录而且页也已经整理过了 但愿更多的人有用 积分我不能改 默认就是5分不可修改 我也不知道为什么不可编辑
2021-06-30 15:00:16 216.94MB hadoop 大数据 入门 基础
1
互联网+旅游:基于大数据开发下的智慧景区产品,精品一级
2021-06-28 09:02:48 18.8MB 智慧旅游 智慧景区
GUI 界面,用户体验感更好 将可变的部分抽离出来,用户可以自己换数据体验 操作区域 - 提供更换数据操作和查询、保存、绘制等操作 结果区域 - 展示 table 以及 获取的数量等 控制台区域 - 显示运行过程中的一些提示信息以及报错信息
2021-06-24 17:04:36 27KB PyQt5 股票查询 GUI
matlab代码间距fk3c-MATLAB中的三成分FK分析 作者:Nima Riahi日期:2014年7月14日 描述 小型MATLAB软件包可用于执行三分量数组处理。 该代码是在考虑地震数据的情况下编写的,但应适用于每个位置具有三个正交运动传感器的任何2D阵列。 欢迎反馈,建议和错误报告: 内容 重要文件: SynthDat.m:具有用于测试的合成数据的跟踪收集数据结构。 FK3C_Fourier.m:MATLAB脚本,用于从跟踪收集数据结构中计算短时频谱图。 FK3C_FK.m:MATLAB脚本,用于计算3C波数频谱并进行一些简单的可视化处理。 FK3C目录:软件包功能 compFK3C:根据SDM矩阵的时间序列计算3C波数频谱。 compSDM:根据一批频谱图计算SDM矩阵。 polpar2cmplx:将极化椭圆的“人类可读”参数化转换为复数3矢量。 极值/极值2:在向量和矩阵中找到极值(从网上下载,作者Carlos Adrin Vargas Aguilera,Uni de Guadalajara,2005年) 入门 您可以依次运行两个脚本FK3C_Fourier和FK3C_F
2021-06-21 13:24:47 9.7MB 系统开源
1
早期影像变化监测matlab代码中央结算公司 使用所有可用Landsat数据开发的用于土地覆被的连续变化检测和分类(CCDC)的算法。 如有任何疑问,请联系康涅狄格大学自然资源与环境系的Zhe Zhu()。 CCDC软件现已在线可用! 用于更改检测软件的最新13.01 CCDC软件是。 它适用于“分析就绪”数据和“收集1”数据。 它仅适用于64位Linux计算机。 目前没有提供分类软件,因为它需要训练数据才能运行该软件。 的,也提供了CCDC Assistor 1.02,它是一个用户界面工具,用于协助CCDC进行数据准备和地图提取(更多功能正在开发中)。 请注意,CCDC的输出将是数千个Matlab文件,其中包含每种时间序列模型的各种信息,如下所示: “ t_start”:时间序列模型启动时 “ t_end”:时间序列模型结束时 “ t_break”:观察到第一个中断(更改)时 “系数”:每个光谱带的每个时间序列模型的系数。 行是a0 c1 a1 b1 a2 b2 a3 b3(Zhu and Woodcock,2014,2015)。 列分别指的是蓝色,绿色,红色,NIR,SWIR1,S
2021-06-17 09:05:17 1.19MB 系统开源
1
数据开发英语单词大全.xlsx
2021-06-16 09:09:46 92KB 大数据
1