百度搜索robots协议全新升级公告内容
百度搜索robots协议在2018年9月11日进行了全新升级。这次升级主要是为了优化对网站视频URL的收录抓取情况。以下是公告的主要内容：
1. robots协议的作用
- Robots协议是站点与spider沟通的重要渠道，站点可以通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
2. 视频极速体验页的定义
- 视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务，本服务针对短视频需求场景进行体验优化，将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。
3. 设置robots协议的后果
- 如果设置了robots协议，针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。
4. robots.txt 文件的格式
- robots文件包含一条或多更多的记录，这些记录通过空行分开。每一条记录的格式如下所示：field:optionalspacevalueoptionalspace。其中，User-agent用于描述搜索引擎robot的名字；Disallow用于描述不希望被访问的一组URL；Allow用于描述希望被访问的一组URL)。
5. 注意事项
- 百度会严格遵守robots的相关协议，需要注意区分您不想被抓取或收录的目录的大小写，百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议无法生效)。
6. 如何处理误封问题
- 如果误封禁了robots文件，应及时删除或修改robots文件，并到百度站长平台robots工具中进行检测和更新)。
以上就是百度搜索robots协议全新升级公告的主要内容。
原创文章，作者：Ur47000，如若转载，请注明出处：https://wyc.retuba.cn/4317.html
