上传者: 38734008 
                                    |
                                    上传时间: 2021-07-14 16:45:34
                                    |
                                    文件大小: 58KB
                                    |
                                    文件类型: PDF
                                
                            
                                
                            
                                Python实现爬取亚马逊产品评论
一、最近一直在研究爬取亚马逊评论相关的信息,亚马逊的反爬机制还是比较严格的,时不时就封cookie啊封ip啊啥的。而且他们的网页排版相对没有那么规则,所以对我们写爬虫的还是有点困扰的,经过一天的研究现在把成果及心得分享给大家
1.先是我们所需要的库,我们这里是用xpath进行内容匹配,将爬取的内容存入Mysql,所以以下就是我们所需要的库
import requests
import lxml.html
import pandas as pd
import pymysql
import random
import time
2.接下来是根据ASIN和请求头