### 南邮大数据存储与管理实验四：Neo4j的安装与应用 #### 实验目的与要求 本次实验旨在使学生掌握Neo4j图形数据库的安装与基本操作，并通过一个简单的医生推荐系统的构建来加深对Neo4j及其应用场景的理解。 1. **Neo4j软件的正确安装与运行**：确保学生能够独立完成Neo4j在Linux系统中的安装配置，并能够成功启动服务。 2. **基于Neo4j的医生推荐系统构建**：作为选做部分，该任务要求学生利用Neo4j建立一个基于病情和医生信任度排序的医生推荐系统，以展示Neo4j在实际应用中的强大功能。 #### 实验环境配置 **硬件**：本次实验要求使用微型计算机，并安装有Ubuntu 16.04操作系统。 **软件**：所需软件包括Linux操作系统、PyCharm开发工具、Neo4j图形数据库。其中，Neo4j的版本为5.20.0。 #### 实验步骤详解 1. **Neo4j的安装与配置** - **下载与移动压缩包**：首先需要将下载好的Neo4j压缩包`neo4j-community-5.20.0-unix.tar.gz`移动到`/opt`目录中。 ``` sudo mv neo4j-community-5.20.0-unix.tar.gz /opt ``` - **解压缩**：在`/opt`目录下使用`tar`命令解压Neo4j压缩包。 ``` sudo tar -zxvf neo4j-community-4.3.3-unix.tar.gz ``` - **配置环境变量**：编辑`/etc/profile`文件，添加Neo4j的环境变量设置。 ``` sudo vi /etc/profile ``` - **使配置生效**：执行命令`. /etc/profile`使新添加的环境变量生效。 - **Java版本检查**：由于Neo4j的版本要求，需要检查当前系统Java版本是否符合要求。 ``` java -version ``` - **配置Neo4j参数**：编辑`/opt/neo4j-community-5.20.0/conf/neo4j.conf`文件，根据需要调整相关配置参数。 ``` vim /opt/neo4j-community-5.20.0/conf/neo4j.conf ``` - **更改用户权限**：为了确保Neo4j服务能够正常运行，需要修改Neo4j文件的所有者和权限。 ``` sudo -i ``` - **启动Neo4j服务**： ``` neo4j start ``` 2. **常见问题及解决方法** - **不支持的Java版本**：如果启动时提示“Unsupported Java 1.8.0_362 detected. Please use Java(TM) 17 or Java(TM) 21 to run Neo4j Server”，则需要重新下载安装Java 17或更高版本，并更新环境变量中的Java路径。 - **无法连接**：当遇到无法连接的问题时，应检查Neo4j配置文件`neo4j.conf`中的配置，确保网络监听地址和端口设置正确。 #### 实验小结 在实验过程中，遇到了关于Java版本兼容性的问题以及连接问题。通过查阅相关资料并调整配置，最终解决了这些问题，使得Neo4j能够顺利安装并运行。 1. **启动Neo4j时的Java版本问题**：通过更换Java版本并配置环境变量，解决了Neo4j对Java版本的要求。 2. **连接问题**：通过修改配置文件中的网络设置，确保了Neo4j服务能够正常被访问。 #### 实验心得与建议 通过此次实验，不仅掌握了Neo4j的安装配置流程，还深入了解了Neo4j的基本操作及应用场景。对于后续的学习和研究具有重要的参考价值。同时，建议在实验前充分了解所需软件的版本兼容性和配置要求，以免遇到不必要的问题。 #### 支撑毕业要求指标点 1. **3-2-M 能够根据用户需求，选取适当的研究方法和技术手段，确定复杂工程问题的解决方案**：通过本次实验，学生能够根据项目需求选择合适的数据库技术（如Neo4j），并运用所学知识解决实际问题。 2. **3-3-H 能综合利用专业知识对解决方案进行优化，体现创新意识，并考虑健康、安全以及环境等因素**：在实验中，学生可以通过对Neo4j配置的优化，提高数据处理效率，同时也要关注系统的安全性与稳定性。 3. **7-2-M 正确理解和评价计算机及应用领域复杂工程问题实施对环境保护及社会可持续发展等的影响，评价产品周期中可能对人类和环境造成的损害和隐患**：在设计和实现医生推荐系统的过程中，不仅要考虑其技术性能，还需评估系统对用户隐私的保护，以及可能存在的伦理和社会影响。 本次实验不仅增强了学生的实践能力和问题解决能力，也为他们提供了将理论知识应用于实际场景的机会。

### 南邮大数据存储与管理实验二：MongoDB的安装与应用 #### 一、实验背景及目标 在当前的大数据时代背景下，高效且稳定的数据存储解决方案变得尤为重要。MongoDB作为一种非关系型数据库，以其高性能、高灵活性以及易扩展的特点，在大数据处理领域占据了一席之地。本次实验旨在通过南京邮电大学的学生实践项目——《南邮大数据存储与管理实验二》，详细介绍如何安装和配置MongoDB，并构建一个包含多节点集群的系统。此外，还将利用Python技术开发一个针对学生就业形势的在线分析系统。 #### 二、实验目的 1. **搭建MongoDB集群**：构建一个包含两个分片节点副本集、一个配置节点副本集及两个路由节点的MongoDB集群。 2. **编写Shell脚本**：编写用于部署和管理该集群的Shell脚本。 3. **开发Python应用**：使用Python开发一个可以收集并分析学生就业数据的应用程序。 #### 三、实验环境 - **硬件**: 微型计算机，操作系统为Ubuntu 16.04。 - **软件**: - Linux操作系统。 - PyCharm作为Python开发工具。 - MongoDB数据库管理系统。 - Navicat Premium 16用于数据库管理。 #### 四、实验步骤详解 ##### 1. 安装MongoDB - **下载并解压MongoDB**： - 下载地址：[MongoDB官网](https://www.mongodb.com/download-center/community) - 解压命令：`sudo tar -zxvf mongodb-linux-x86_64-ubuntu1804-6.0.14.tgz` - **重命名解压后的文件夹**：`sudo mv mongodb-linux-x86_64-ubuntu1804-6.0.14 mongodb` - **创建必要的目录**： - 数据目录：`sudo mkdir -p /etc/mongodb/data` - 日志目录：`sudo mkdir -p /etc/mongodb/log` - 配置文件目录：`sudo mkdir -p /etc/mongodb/conf` - **创建MongoDB配置文件**： - 创建空白配置文件：`sudo touch /etc/mongodb/conf/mongodb.conf` - 编辑配置文件：`sudo vim /etc/mongodb/conf/mongodb.conf` - **配置文件内容**（示例）： ```plaintext storage: dbPath: /etc/mongodb/data/db net: bindIp: 127.0.0.1 port: 27017 systemLog: destination: file logAppend: true path: /etc/mongodb/log/mongodb.log ``` - **启动MongoDB服务**：`mongod -f /opt/mongodb/conf/mongodb.conf` - **登录MongoDB客户端**：`mongo` - **切换到admin数据库**：`use admin` - **关闭MongoDB服务**：`db.shutdownServer()` ##### 2. 搭建MongoDB集群 - **创建两套副本集**：分别为`shard1`和`shard2`，每套副本集包括三个成员节点。 - **启动副本集**：为每个副本集分别创建配置文件，并使用以下命令启动： - `mongod -f /opt/mongodb/conf/shard1/mongodb.conf` - `mongod -f /opt/mongodb/conf/shard2/mongodb.conf` - **创建配置副本集**：同样包括三个成员节点。 - **启动配置副本集**：使用如下命令启动： - `mongod -f /opt/mongodb/conf/shard3/mongodb.conf` - **初始化副本集**：进入其中一个副本集实例并初始化它： - `mongo --port 27018` - `rs.initiate()` - **添加副本节点**：继续添加其他副本节点并退出： - `rs.add("192.168.211.133:27019")` - `rs.addArb("192.168.211.133:27020")` - `exit` - **初始化配置节点的副本集**：重复上述步骤初始化配置副本集。 - **创建路由节点**：使用`mongos`来创建路由节点，并编辑配置文件。 - **启动mongos**：`mongos -f /opt/mongodb/conf/mongos.conf` - **连接到mongos**：`mongo --port 27017` - **添加分片副本集**：使用以下命令将分片副本集添加到集群中： - `sh.addShard("myshardrs01/lain-virtual-machine:27018,192.168.211.133:27019,192.168.211.133:27020")` - `sh.addShard("myshardrs02/lain-virtual-machine:27021,192.168.211.133:27022,192.168.211.133:27023")` ##### 3. 开发Python应用程序 - **需求分析**：根据题目要求，需要开发一个可以收集和分析学生就业数据的应用程序，数据主要包括全国在校学生总数、毕业生总数、专业情况、招聘单位情况、招聘岗位情况等。 - **设计思路**： - 使用Python进行数据抓取和清洗。 - 利用MongoDB存储清洗后的数据。 - 开发数据分析模块，实现就业趋势分析等功能。 - **技术栈**： - Python库：requests、BeautifulSoup、Pandas等。 - MongoDB操作：使用PyMongo库。 - **具体步骤**： - **数据获取**：编写爬虫程序抓取网络上的数据。 - **数据清洗**：利用Pandas等库进行数据清洗和格式化。 - **数据存储**：将清洗后的数据存入MongoDB数据库。 - **数据分析**：编写Python脚本对存储的数据进行统计分析，如生成图表展示就业趋势等。 通过以上步骤，学生能够深入了解MongoDB的安装、配置及应用，同时掌握使用Python进行数据处理的方法。这对于提高学生的实际操作能力和解决实际问题的能力具有重要意义。

华为大数据存储教程系列

对于容量快速增长、日趋多元化的大数据，业界亟需开发可行性更好的存储工具。为满足大数据存储需求，存储机制已经形成从传统数据管理系统到NoSQL技术的结构化转移。然而，目前可用的大数据存储技术无法为持续增长的异构数据提供一致、可扩展和可用的解决方案。

气象大数据存储和查询优化_图文

DataFunSummit：2022年大数据存储架构峰会PPT合集（52份）。 JuiceFS-为云而生的分布式文件系统 未来数据库需要关心的硬核创新 云原生开源分布式存储CubeFS在数据湖的探索与实践 数据编排技术的应用 基于云上对象存储的大数据平台应用实践 大数据存储加速与服务化的实践 一站式海量数据集成框架原理和实践 数据服务化的实践 数据中台大数据任务调度系统的实践 增量数仓的探索与实践 实时数仓的场景剖析与架构搭建实战 JuiceFS 在数据湖存储架构上的一些探索 MatrixOne 超融合 HTAP 数据库的存储引擎设计 大数据存储跨域及分层实践 工业设备预测性维护及时序数据库选型 图数据库存储技术及实践 图数据库中子图匹配算法 图数据库GDB的产品以及典型客户案例分享 图数据库查询性能优化以及在内部业务中的应用 自研万亿级图数据库及其应用与挑战 点流采集系统在电商零售的实践 日志采集传输服务建设与优化 日志系统之高效检索 电商零售海量日志数据处理实践 新闻商业化数据应用 工业设备数据采集平台架构 物联网平台技术解读与实践 一站式物联网存储产品的架构设计 等等文档

PB级大数据存储技术与分析技术解析

BPlus树 Java - 使用 B+ 树的大数据存储

华为OceanStor 9000大数据存储系统技术白皮书

第二章大数据存储技术