1、数据集预览
原创文章 113获赞 137访问量 7万+
关注
私信
展开阅读全文
作者：Vivid-victory
2021-11-11 15:05:42
151KB
1
Python爬取豆瓣电影top250 使用flask框架可视化数据
##项目技术栈：Flask框架、Echarts、WordCloud、SQLite
##环境：Python3
目录结构说明
│ app.py ----- flask框架 文件
│ movie.db ----- 数据库
│ README.md
│ requirements.txt ----- 依赖包环境版本
│ spider.py ----- 爬取数据 文件
│ testCloud.py ----- 词云生成 文件
├─static ----- 静态页面
├─templates ----- HTML页面
└─venv ----- 虚拟环境
项目展示：
项目笔记：
页面展示
学习资料：
2021-11-09 14:25:12
11.67MB
1
根据b站学习视频一步步做到这里，代码作用，爬取豆瓣top250，信息导入到excel表内，并且下载图片，刚入门，仅供参考
2021-11-04 16:14:52
78.25MB
1
OnlyReviews
利用豆瓣API查询豆瓣影评以及豆瓣top250
这是我学习安卓网络开发的一个例子，包含以下技术：
用SAXParse来XML解析，重点是ContentHandler的处理，可以很方便的对XML数据进行解析
用Gson解析json数据，要注意的是自定义的对象并不需要和接受的json数据的格式完全匹配，Gson只解析匹配的部分，所以自定义对象成员变量时要格外注意是否匹配。
用Volley框架进行网络通信，包括以post方式请求json数据以及采用下载网络图片。
v4包中的SwipRefreshLayout不具有上拉加载更多的功能，根据SwipRefreshLayout自定义了一个可以上拉加载更多的layout，不过还很简陋。
使用和ViewPager实现了Indicator指示器的功能，不再需要使用特别麻烦的Actionbar.Tab，并且可以在Fragment内嵌Fr
2021-11-04 14:59:21
91KB
1
本项目实现：python+sqlite+Echarts+Wordcloud爬取豆瓣电影Top250并做简单的数据可视化处理
2021-10-27 18:04:17
5.16MB
1
利用python爬取豆瓣电影Top250的相关信息，包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容，然后将爬取的信息写入Excel表中。基本上爬取结果还是挺好的。具体代码如下：
#!/usr/bin/python
#-*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf8')
from bs4 import BeautifulSoup
import re
import urllib2
import xlwt
#得到页面全部内容
def a
2021-10-24 21:13:38
379KB
1
使用Xpath语法爬取豆瓣读书Top250（csv存取数据）
使用的软件是Spyder
网页地址：https://book.douban.com/top250?start=0
直接上代码：
建议大家从网站上爬取数据的时候采取采取以下方法：
import time
time.sleep(0.2)
以减缓对服务器的压力，当然如果爬取的数据量不大的话可以不采用，防止被封IP。
以下是完整代码：
# -*- coding: utf-8 -*-
"""
Created on Thu Apr 30 18:35:17 2020
@author: ASUS
"""
import requests
impor
2021-09-07 18:47:58
46KB
1