前言
上一节用beautifulsoup库爬取了csdn的个人信息，这一节学习使用re库爬取淘宝商品信息。
re库
正则表达式常用符号：
常用函数：
分析网页
在淘宝搜索物品就是将url结尾加上q = ?的关键字，这里以书包为例查看网页源码：
可以看到，标签名字在raw_title中，价格在view_price中，那么就用正则表达式匹配这个字符串即可。
代码
# 淘宝商品比价
import requests
import re
from prettytable import PrettyTable
import prettytable as pt
def getHtmlText(ur
2021-12-27 16:28:07
713KB
1
天猫商品爬虫
介绍
爬虫用于抓取商品信息
要求
sudo pip install beautifulsoup
sudo pip install requests
配置
config.txt 中的字段：
max：您想要抓取的最大商品数量。 由于天猫的限制，上限是6000，如果想获取更多的商品信息，稍微修改一下源码。
关键字：商品的关键字，目前只支持一个关键字。
用法
python main.py
结果会保存在当前目录下的record[mmddhhMMss].txt中
2021-11-10 19:57:47
3KB
1
淘宝、天猫商品爬虫
配置淘宝商品ID，通过Web版和H5版本HTML、API数据结合，抓取淘宝、天猫商品的数据
Requirement
Installation
composer require "shjia/taobao_spider:~1.0"
Usage
<?php
require_once 'src/spider.php';
use Ezspider\spider;
$importModel = new \Ezspider\spider;
$importModel->setItemId('569643840385');
if(empty($importModel->initGoodsPlatform())){
return;
}
$params['name'] = $importModel->getGoodsTitle();
$params['image'] = $impo
2021-11-10 19:49:49
11KB
1
1688爬虫 阿里巴巴 商品爬虫，商品详情价格、销量、描述等信息，输入商品分类和页数可以爬
2021-09-18 18:02:39
11KB
1
中国大学mooc上的爬取淘宝页面商品已经因为淘宝的维护而无法爬取
比如，只出现个表头：
这是我按照嵩天老师代码学习，遇到的问题。
原代码如下：
import requests
import re
def getHTMLText(url):
try:
r= requests.get(url,timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parseP
2021-06-20 08:06:54
394KB
1
tbcrawler
淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息.
db:MongoDB
tbcrawler
2 * * * python /data/git/tbcrawler/crawler.py update
2021-06-01 14:18:56
6KB
1
这个工具是爬淘宝商品排名的，例如按价格排序，然后把搜索出来的所有商品保存成一个json文件，代码里面有json转sql的工具类，可以直接保存所以已经排名的商品信息到数据库。已经验证过，非常不错。希望帮到有需要的朋友。
2019-12-21 20:28:52
54KB
1