一.网络爬虫
二.Kafka与MySQL的组合使用
访问豆瓣电影Top250，将获取到的信息保存至本地文件中或者数据库中，访问微博热搜榜，并将获取到的数据通过邮件的形式，每20秒发送一次到个人邮箱中。
读取student表的数据内容，将其转为JSON格式，发送给Kafka；
再从Kafka中获取到JSON格式数据，打印出来。
编写生产者程序，将json文件数据发送给Kafka；
编写消费者程序，读取Kafka的json文件数据，并手动提交偏移量。
编写生产者程序，以通用唯一标识符UUID作为消息，发送给主题assign_topic；
编写消费者程序1，订阅主题的分区0，只消费分区0数据；
编写消费者程序2，订阅主题的分区1，只消费分区1数据；
2023-03-26 20:27:13
4.77MB
1
python课的小项目作业，参照我的主页博客基本可以直接拿来用，内含源码及报告
我取名为B站用户发言爬取与情感分析——为视频创作者提供的观众评议分析系统
2023-03-18 10:23:28
3.86MB
1
本文主要介绍了Python爬虫：通过关键字爬取百度图片的方法。具有很好的参考价值，下面跟着小编一起来看下吧
2023-02-03 08:47:35
405KB
1
本项目主要分为两个部分：爬取数据与处理数据
项目资源中包含了上述两个部分的源代码文件，其次包含了可视化中的词云图的背景图，以及停用词表、爬取的url集合、爬取的数据集合和最终生成的直方图集合与词云图集合
其中city文件为猎聘网城市代码与城市名称的对应关系
2023-01-30 14:51:07
1.36MB
1
python基于爬虫技术的海量电影数据分析源码。架构
本系统主要分为四个部分，分别为后端爬虫抓取、数据处理分析可视化、GUI界面展示、启动运行，分别对应getData.py、pyec.py、GUI.py、main.py四个文件。 并且包含data文件夹用于存储系统所需或产生的数据文件。用说明
在pycharm中打开项目，直接运行main.py文件即可。
代码详解
1.getData.py
该.py文件主要功能是抓取和读取电影数据，共包含8个函数，代码详解如下：
(1)recently()
这一函数主要是抓取最近上映票房排名前十名的电影信息。
url = "https://ys.endata.cn/enlib-api/api/movie/getMovie_BoxOffice_Day_Chart.do"
header = {
"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36',
2022-12-19 09:25:26
169KB
python爬取c罗（也可爬取其他运动员）数据，绘制数据散点图，加上文本和图片信息生成可视化图表。
2022-12-02 10:54:55
3.87MB