Real Data

什么是网站索引
站点索引是收集有关站点的信息、对其进行后续处理并将其添加到搜索引擎数据库的过程。

这可以通过两种方式完成：

1）说明书；

擎中可用的特殊形式将地址添加到数据库中。

2) 自动

机器人自主寻找场地并按照其算法进行扫描。

互联网资源索引始于上世纪九十年代。然后主 卢森堡电报数据要特征是文本内容 - 关键字的存在。如今，考虑了数百个特征，排名原理本身很复杂并且基于人工智能。



什么是搜索机器人
机器人是旨在自动获取网站数据的特殊程序。它们通过 HTTP 协议访问站点页面所在的服务器，并接收每个页面的正文作为响应。经过多级处理后，仅将搜索和排名所需的数据输入数据库。这就是网站进入搜索引擎索引的方式。

机器人是搜索引擎最重要的元素。我们所说的机器人不是指一个用于索引站点的特定程序，而是一组程序。每个系统都有自己的系统。

例如，Yandex 机器人：

基础（主机器人）；
图像索引器（专门针对图形文件）；
镜子机器人（设计用于与镜子一起工作）；
fastbot（处理内容经常变化的网站）。
机器人创建一个数据库，用于生成相关搜索结果。