pyppeteer防反爬干扰脚本 selenium爬虫可能会被检测到，此脚本配合pyppeteer等可以完美绕过

生意参谋-市场大盘，市场排行爬虫脚本，采用pyppeteer+PIL方式处理数值图片问题，人工登录，并将爬取结果保存为csv文件 脚本截取： import asyncio from pyppeteer import launch from PIL import Image import pytesseract import datetime import time import pandas as pd async def main(): start_time = datetime.datetime.now() print('浏览器初始化……') browser = await launch(headless=False, args=['--disable-infobars',f'--window-size=1366,768']) page = await browser.newPage() await page.setViewport({'width': 1366, 'height': 768}) await page.goto('https://login.taobao.com/member/login.jhtml?redirectURL=https://www.taobao.com/') #从淘宝登录 await page.evaluate( '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''') await asyncio.sleep(30) #人工输入账号密码登录 print('开始登录……') await page.goto('https://sycm.taobao.com/mc/mq/overview?cateFlag=2&cateId=50022270&dateType=week') #登录后跳转到生意参谋 await asyncio.sleep(10) #await page.click('#content-container > div.ebase-metaDecorator__root > div > div.ebase-FaCommonFilter__root > div > div > div > div > div.ebase-FaCommonFilter__top > div.ebase-FaCommonFilter__right > div > div > div.oui-date-picker-particle-button > button.ant-btn.oui-canary-btn.ant-btn-primary.ant-btn-sm > span') await page.evaluate( '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''') #uvHits = await page.waitForSelector('#sycm-mc-mq-cate-trend > div.oui-card-content.alife-one-design-sycm-indexes-trend-card-content > div > div.alife-one-design-sycm-indexes-trend-index-container > div > div > div:nth-child(1) > div.alife-one-design-sycm-indexes-trend-index-item-multiple-line-selectable.alife-one-design-sycm-indexes-trend-index-item-uvHits.active > div > div.oui-index-cell-indexValue.oui-num > div > div:nth-child(2) > img') #await uvHits.screenshot({'path': 'uvHits.png'}) #await asyncio.sleep(3) print('开始爬取市场大盘……')

主要介绍了python爬虫 Pyppeteer使用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

对于使用模拟登陆等操作来爬虫的手段，已经很容易被检测了，网上很多教程是说在网站所有js代码执行之前来执行js代码来到达效果，确实修改成功了。这种写法就万无一失了吗？并不是这样的，如果此时点击链接、输入网址进入另一个页面，或者开启新的窗口，你会发现，window.navigator.webdriver这个对象又变成true了，所以这样并非根治。但是本文，提到的设置内容能够有效根治网上的一大堆无效的js注入教程，本文详细讲解，通过如何设置，来达到仿被检测的问题，一次阅读终生受益，再也不为使用模拟登陆被限制的问题而头疼。