爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。

之前在进行ROS学习的过程中一直在困扰如何将ROS应用到项目中，本人只是简单学习过51和32的单片机，对嵌入式系统略有涉猎，最近在学习中接触到了树莓派这个控制板，便入手了一块，下面我来简单介绍一下我在树莓派上安装ROS的过程以及对其中一些步骤粗浅的理解 0.0前言 先放上一张成功的截图（Windows下远程桌面登录树莓派图形界面） 本篇文章适用于树莓派4B，其他版本略有不同，但如果是3B就没必要看这篇文章大部分内容，直接在0.1中给的Ubuntu Mate网址中下载Ubuntu配套镜像（注意，一定要配套，官网有相关提示，请细心）然后正常刷ROS，操作参见后文 首先是树莓派的硬件连接，需要一根

yolov8添加注意力机制-学习记录

leetcode走方格起点到终点 前言 从山顶到谷底，我也仅仅用了不到3年的时间，由于研一的退学和研二的培训结构经历的失败，导致了我缺乏时间管理意识，研三阶段已经开始放飞自我，两年里囫囵吞枣的学了很多的东西，但是都以失败告终，这导致了我实习失败，论文失败，毕业失败，心态崩溃，成为了一个loseer！ 从小到大一路走来，我都是给人以好学生的姿态，至少在此之前从来都不接受自己变得不优秀的事实，但是研一和研二的两次决定都验证了：我，不优秀且蠢。我想这发生一切都应该不是偶然，肯定是自己自卑加社恐的性格弱点在作怪，要说之前没有显现出来是因为我按部就班，没有给他可乘之机。都说大学是个小社会，读研更甚，那么这方面的劣势就导致了不可挽回的。 分析下导致我失败的研究生阶段的原因： 主观原因： 自卑、社恐的心理。不自信使得我错过了一些原本争取到的机会，如牛逼的导师，不错的实习机会。而社恐使得我在与导师的交流过程中信息的不对称，我一年换了三个科研方向。 缺乏自律。我喜欢去做计划，但是在计划执行中总是被外界影响，比如实习期间我竟然选择了去参加培训，而培训的结果并不理想。 客观原因： 首先就是疫情影响直接导致了

. NET CORE 笔记（数据库映射）

C#学习记录——【实例】C#实现OPC Client源码

1.鼎捷T100二次技术转移交流篇； 2.适用于鼎捷T100系统学习初步者；

ROS2机器人建模，学习记录，笔记根据鱼香ROS网站记录。

TCPIP详解---学习记录，TCPIP详解---学习记录TCPIP详解---学习记录

CS 学习笔记，包括对各类课程、书籍、项目、实验的学习记录.zip