什么是搜索引擎（SEO）爬虫&它们是如何工作的？
你的网站上有蜘蛛🕷️。别抓狂！我说的不是真正的八条腿的蜘蛛🕷️。
我指的是搜索引擎优化爬虫。他们是实现SEO的机器人。每个主要的搜索引擎都使用爬虫来对可感知的互联网进行分类。正是通过这些爬虫（有时被称为爬行爬虫或爬行器）的工作，你的网站才在谷歌、必应、雅虎等流行搜索引擎上排名。当然，谷歌是搜索引擎界的大狗，所以在优化网站时，最好记住谷歌的爬虫。但什么是搜索引擎爬行爬虫？关键很简单：为了在搜索引擎结果页面上排名靠前，你必须编写、设计和编码你的网站以吸引他们。这意味着你必须知道他们是什么，他们在寻找什么，以及他们是如何工作的。有了这些信息，你将能够更好地优化你的网站，知道世界上最重要的搜索引擎在寻找什么。
一、什么是搜索引擎爬虫？
在你了解网络爬虫是如何工作的以及如何吸引它之前，你首先必须知道它们是什么。 搜索引擎爬虫是搜索引擎世界的步兵。像谷歌这样的搜索引擎有一些东西想从排名靠前的网站上看到。爬行器在网络上移动，并执行搜索引擎的意愿。
爬行器只是一个由特定目的引导的软件。对于爬虫来说，其目的是对网站信息进行编目。 谷歌的爬虫在网站上爬行，收集和存储数据。他们不仅要确定页面是什么，还要确定内容的质量和其中包含的主题。他们为网络上的每个网站都这样做。从长远来看，截至2019年，活跃的网站有19.4亿个，而且这个数字每天都在上升。每一个弹出的新网站都必须由爬虫机器人进行抓取、分析和编目。然后，搜索引擎爬网程序将收集的数据传递给搜索引擎进行索引。这些信息一直保存到需要时为止。当启动谷歌搜索查询时，结果和排名都是根据该索引生成的。
二、爬行器是如何工作的？
爬行器是一个复杂的软件。如果你要对整个网络进行编目，你必须这样做。但是这个机器人是如何工作的呢？首先，爬虫访问网页，寻找要包含在搜索引擎索引中的新数据。这是它的终极目标，也是它存在的原因。但这个搜索引擎机器人的任务需要做很多工作。
第一步: 爬虫检查你的Robots.txt文件
！