WordPress 网站如何禁止搜索结果页被抓取？

这两天在 Google Search Consle 中看到其中一个 WordPress 网站的站内搜索被搜索了大量的垃圾信息，其中一些搜索结果页还被索引，这些垃圾信息一旦被索引，就有可能被收录。

不想搜索结果页面被收录的话，可以使用 robots.txt 和 Robots Meta 告诉搜索引擎不索引这些搜索结果页。一般 SEO 用的是  robots.txt，Meta robots 标签是针对某个特定页面，自己去斟酌使用。

将下面的代码添加到 robots.txt 中，禁止搜索引擎抓取搜索结果页。

User-agent: *Disallow: /*?s=Disallow: /search/

Meta robots 就是添加以下代码

<meta name='robots' content='index, follow, max-image-preview:large, max-snippet:-1, max-video-preview:-1' />

如果使用 SEO 插件的话，会有相关的设置，比如 All in one SEO 中有专门的选项在 Search Appearance 中按照路径- Search Page-Show in Search Results选择 NO 就可以了，而 Yoast 则是默认禁止搜索收录搜索结果页。

相关文章