Robots 是站點與 Spider 溝通的重要渠道，站點通過 Robots 文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

9月11日，百度搜索 Robots 全新升級。升級后 Robots 將優(yōu)化對網(wǎng)站視頻 URL 收錄抓取情況。僅當(dāng)您的網(wǎng)站包含不希望被視頻搜索引擎收錄的內(nèi)容時，才需要使用 robots.txt 文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立 robots.txt 文件。如您的網(wǎng)站未設(shè)置 Robots 協(xié)議，百度搜索對網(wǎng)站視頻 URL 的收錄將包含視頻播放頁 URL ，及頁面中的視頻文件、視頻周邊文本等信息，搜索對已收錄的短視頻資源將對用戶呈現(xiàn)為視頻極速體驗頁。此外，綜藝影視類長視頻，搜索引擎僅收錄頁面 URL 。

什么是視頻極速體驗頁

搜索視頻極速體驗服務(wù)旨在提升用戶觀看視頻體驗的一項富媒體體驗升級服務(wù)，本服務(wù)針對短視頻需求場景進(jìn)行體驗優(yōu)化，將為搜索用戶提供穩(wěn)定、流暢、清晰的播放及瀏覽體驗。視頻極速體驗服務(wù)包含視頻極速頁和合作平臺兩部分服務(wù)，網(wǎng)站可前往平臺完善服務(wù)設(shè)置，獲取各項搜索權(quán)益。詳情參考《視頻極速體驗服務(wù)說明》：https://ziyuan.baidu.com/college/articleinfo?id=2522

設(shè)置搜索 Robots 協(xié)議的后果

針對短視頻類內(nèi)容，視頻搜索將不再索引、展現(xiàn)網(wǎng)站的視頻資源，歷史已索引部分會從搜索中屏蔽。若設(shè)置部分目錄不希望被收錄 ，該目錄下內(nèi)容將從搜索中屏蔽，其余內(nèi)容在搜索中則以正常結(jié)果展示。