使用 SparkSQL 导入、分区和查询 AIS 数据
这个基于的项目由多个容器组成，用于实现数据的导入、分区和查询。 解析原始 CSV AIS 数据，并根据广播时间戳，将记录以hdfs:///yyyy/mm/dd/ais.csv的形式放入多个路径中，其中yyyy为年份， mm为月和dd是日。 HDFS 由它自己的 docker 容器提供服务。 外部表映射到这些 HDFS 路径上，以便可以使用查询 AIS 记录。 后者使用在同一个 HDFS 容器中执行，并作为公开。 Hive 位于数据库中，并从其自己的容器中提供服务。 临时导入过程在另一个容器中执行，该容器从映射到主机文件系统的卷中读取数据。 记录根据其数据/时间字段进行解析和分区，并使用多输出写入器写入 HDFS。 最后， 用于使用 Hive Server 2 节俭协议通过查询和呈现数据。
我在 Mac 上使用来启动这个项目。
提示
2022-12-15 19:30:13
22.2MB
1
AIS数据修复-三次样条插值法（Cubic spline interpolation）
——仿真及分析过程参考我写的对应博客
2022-11-16 10:15:16
87KB
1
船载自动识别系统初始消息的c语言解析，如今的船载自动识别系统的AIS消息解析多为服务器端应用软件的C++程序解析，本人将其改成C语言形式，便于嵌入式应用，便于便携式AIS设备的开发。
2022-11-07 21:25:17
3KB
1
对于GPS、AIS等以经纬度为标度的轨迹段，进行插值。详细注释。
2022-10-29 19:06:51
145KB
1
提出了一种视频与AIS信息融合的海上船只目标检测方法。首先结合AIS信息确定船只所在区域，提取小范围图像，然后对图像进行高频加强滤波处理，增强船只目标与海面背景的对比度，利用显著性区域检测方法生成显著性图像，随之采用双阈值分割提取高显著性目标，最后通过形态学处理判断船只目标。实验结果表明，该方法适应性强，能够准确快速地实现船只目标提取。
2022-10-20 09:40:45
790KB
1
本代码对应着我发布的文章。
代码语言：python 开发环境：pycharm 实验数据：船舶AIS数据
2022-09-28 14:05:29
70.79MB
1
本代码对应着我发布的文章。
代码语言：python 开发环境：pycharm 实验数据：船舶AIS数据
2022-09-27 19:07:21
2.98MB
1