当前位置:首页>文章资讯WordPress教程> 如何修改WordPress自带的 robots.txt 文件

如何修改WordPress自带的 robots.txt 文件

如何修改WordPress自带的 robots.txt 文件

什么是robots.txt

简单点讲就是面向搜索引擎的协议。这是一种国际上约定俗成的协议, 用它来限制爬取信息, 也能用它来协助爬取, 但这并不是强制规定, 也就是说并非所有的搜索蜘蛛都遵守, 不过大部分都遵守.

如何修改Wordpress默认的robots.txt

老版本的WP直接在根目录新建robots.txt文件后,直接覆盖默认自带的robots.txt内容。

但是wordpress5.7版本开始, 好像就不能用这个方法了。

后面的版本robots.txt用一个函数生成,而且不允许用自定义文件覆盖。

这个函数是在 “根目录/wp-include/functions.php”文件中, 它的名称叫 do_robots(), 我们修改此函数就可以了

  1. function do_robots() {
  2. header( 'Content-Type: text/plain; charset=utf-8' );
  3. /**
  4. * Fires when displaying the robots.txt file.
  5. *
  6. * @since 2.1.0
  7. */
  8. do_action( 'do_robotstxt' );
  9. $output = "User-agent: *\n";
  10. $public = get_option( 'blog_public' );
  11. $site_url = parse_url( site_url() );
  12. $path = ( ! empty( $site_url['path'] ) ) ? $site_url['path'] : '';
  13. $output .= "Disallow: $path/wp-admin/\n";
  14. $output .= "Disallow: $path/wp-includes/\n";
  15. $output .= "Allow: $path/wp-admin/admin-ajax.php\n";
  16. /**
  17. * Filters the robots.txt output.
  18. *
  19. * @since 3.0.0
  20. *
  21. * @param string $output The robots.txt output.
  22. * @param bool $public Whether the site is considered "public".
  23. */
  24. echo apply_filters( 'robots_txt', $output, $public );
  25. }

注意不要覆盖wp-content, 否则无法抓取图片, 而wp-includes则一般没有任何静态资源

版权声明 1 本站永久网址:https://www.gzkj8.com
2 本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长:yixinis@163.com,进行删除处理。
3 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
4 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
5 本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
WordPress教程文章资讯

B2主题 圈子首页加上轮播图

2023-12-16 13:36:24

WordPress教程技术教程文章资讯

子比主题火车头采集教程 附软件+模块+高铁采集器

2024-1-10 15:50:54

0 条回复A文章作者M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
搜索