【大数据+spark+数据清洗】hotel_data
学习大数据清洗的数据
对应文章：https://blog.csdn.net/weixin_44018458/article/details/128980802
数据内容：
省份,城市,商圈,星级,业务部门,房间数,图片数,评分,评论数,城市平均实住间夜,酒店总订单,酒店总间夜,酒店实住订单,酒店实住间夜,酒店直销订单,酒店直销间夜,酒店直销实住订单,酒店直销实住间夜,酒店直销拒单,酒店直销拒单率,城市直销订单,城市直销拒单率,拒单率是否小于等于直销城市均值
aba_2066,马尔康嘉绒大酒店,中国,四川,阿坝,NULL,四星级/高档,OTA,85,NULL,4.143799782,108,34.06,45,75,22,44,NULL,NULL,NULL,NULL,NULL,NULL,34147,7.90%,0
aba_2069,阿坝马尔康县澜峰大酒店,中国,四川,阿坝,NULL,二星及其他,低星,115,NULL,3.977930069,129,34.06,35,72,27,59,34,71,27,59,6,17.65%,34
2023-10-17 16:24:19
2.16MB
1
管理员账号
用户账号
通知公告
老人管理:老人统计
护工管理:护扛统计
向入住管理:入住登记、房间分配
请假管理:请假统计:老人、护工
健康档案
病历档案
药品管理
生活管理:每月餐饮、外出报备
安全管理:事故记录、访案记录
……
2023-10-04 10:36:36
37.9MB
1
Spark-Core文档是本人经三年总结笔记汇总而来，对于自我学习Spark核心基础知识非常方便，资料中例举完善，内容丰富。具体目录如下：
目录
第一章 Spark简介与计算模型 3
1 What is Spark 3
2 Spark简介 3
3 Spark历史 4
4 BDAS生态系统 4
5 Spark与Hadoop的差异 5
6 Spark的适用场景 6
7 Spark成功案例 6
第二章 Spark开发环境搭建 8
1 Spark运行模式 8
2 Spark环境搭建 8
2.1Scala的安装 8
2.2Spark的单节点配置 9
2.3Spark-Standalone集群配置 9
2.4Spark-on-Yarn模式配置 12
2.5Spark-on-Mesos模式配置 13
2.6Hive-on-Spark配置 13
第三章 Spark计算模型 15
1 RDD编程 15
1.1弹性分布式数据集RDD 15
1.2构建RDD对象 15
2RDD操作 15
2.1将函数传递给Spark 16
2.2了解闭包 16
2.3Pair RDD模型 17
2.4Spark常见转换操作 18
2.5Spark常见行动操作 20
2.6RDD持久化操作 21
2.7注意事项 23
2.7并行度调优 24
2.8分区方式 25
3Examle:PageRank 27
第四章 Spark编程进阶 29
1共享变量 29
1.1累加器 30
1.2广播变量 31
2基于分区进行操作 32
3与外部程序间的管道 33
4数值RDD的操作 34
5 Spark Shuffle机制 34
第五章 Spark调优与调试 39
1开发调优： 40
1.1调优概述 40
1.2原则一：避免创建重复的RDD 40
1.3原则二：尽可能复用同一个RDD 41
1.4原则三：对多次使用的RDD进行持久化 42
1.5原则四：尽量避免使用shuffle类算子 43
1.6原则五：使用map-side预聚合的shuffle操作 44
1.7原则六：使用高性能的算子 45
1.8原则七：广播大变量 46
1.9原则八：使用Kryo优化序列化性能 47
1.10原则九：优化数据结构 48
2资源调优 48
2.1调优概述 48
2.2 Spark作业基本运行原理 49
2.3资源参数调优 50
第六章 Spark架构和工作机制 52
1 Spark架构 52
1.1 Spark架构组件简介 52
1.2 Spark架构图 54
2 Spark工作机制 54
2.1 Spark作业基本概念 54
2.2 Spark程序与作业概念映射 55
2.3 Spark作业运行流程 55
3 Spark工作原理 55
3.1 作业调度简介 55
3.2 Application调度 56
3.3 Job调度 56
3.4 Tasks延时调度 56
第七章 Spark运行原理 57
1 Spark运行基本流程 57
2 Spark在不同集群中的运行架构 58
2.1 Spark on Standalone运行过程 59
2.2 Spark on YARN运行过程 60
2023-09-26 13:01:48
6.54MB
1
1. 基于SSM的多文件上传 , 并实时更新文件上传进度信息 ( JQ + ajax )
2. 项目下载之后直接可以运行 , 是maven项目
2023-09-13 13:02:54
95KB
1
通过Spring的入门程序介绍了Spring的 IoC 和 DI 的概念，介绍了Spring的基本模块。详细介绍了对象创建的细节和依赖注入的几种方式；介绍了如何使用注解完成Spring的相关功能；介绍了如何借助于Spring搭建JUnit测试环境；详细介绍了什么是AOP，以及AOP的基本示例；介绍了如何使用Spring中的JDBC模块进行持久层的开发与事务的相关概念和Spring的事务管理的实现方案。
2023-08-28 09:51:58
460.3MB
1