领取本站阿里云代金券,下单即可享受阿里云官网优惠券减免后,还可额外获得本站返现总金额的25%费用!

WordPress配置robots.txt规则

网站建设 优惠网 135℃ 0评论

一、前言

对于很多类似博主这样的小白站长,搭建网站已经是有挑战的事情,网站搭建之后怎么优化网站又是一个新的挑战,小白站长能做的就是一边琢磨一边学习自己搞SEO,今天在浏览器网址地址时提示“由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述 – 了解详情”这样的文字,特意抽出时间问度娘。robots.txt 文件就是告诉引擎蜘蛛网站那些内容可以被访问收录,而wordpress部署的网站很多情况默认是禁止搜索引擎被访问的。

二、服务器环境

Linux操作系统,wordpress网站,WinSCP远程连接工具,阿里云ECS服务器

三、分享

在操作之前,先查看自己网站是否被封禁,浏览器中输入https://网站/robots.txt,如博主https://www.tukelian.com/robots.txt,果不其然默认是禁止所有搜索引擎访问网站的任何内容,参数后面在解答
fengjin

既然问题发现了,那一如既往的就是解决问题,在网站的根目录/opt/lampp/htdocs(根据各自安装目录)找到robots.txt文件,如果不存在该文件直接新建该文件,文件名就是必须是robots.txt,直接赋权chmod +777 robots.txt 也可以用755的权限,博主为了避免其他问题就直接给了777权限(不安全)
找到该文件之后,就是写入内容,博主问了度娘之后加入如下内容

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php

然后重新在浏览器查看效果

rebotsxiaoguo

说明robots.txt文件已经更新,文件更新了之后接下来就是告诉引擎蜘蛛,直接上百度搜索资源平台检验

robotsjiancha
出现上诉结果,表示robots.txt配置成功,接下来就需要耐心的等待了,这是博主给百度资源中心反馈结果,各位站长可以省略这一步。
rebotsyichuli

四、参数解析

做完上诉所有的步骤之后,在回过头看看,在robots.txt文件中我们为什么需要加入这些内容,这些内容代表的是什么含义?以下是博主自己的理解

User-agent: * 允许所有搜索引擎抓取网站

User-agent: Baiduspider 只允许百度抓取,其他的浏览器大家自己问度娘举一反三

Disallow: /wp-admin/,/wp-content/,/wp-includes/   disallow顾名思义看英文是不容许的含义,那么就好理解了,就是不容许抓取wp开头的服务器配置文件,因为我们只需要引擎蜘蛛抓取网站内容即可

Disallow: /trackback/ 禁止搜索引擎抓取收录 trackback 等垃圾信息

Disallow: /comments/, 禁止搜索引擎抓取评论等相关链接。

Disallow: /attachment/ 禁止搜索引擎抓取附件页面,比如图片视频等

Disallow: /comments/feed,/feed, /*/feed 禁止搜索引擎抓取收录 feed 链接,feed 只用于订阅本站

Disallow: /*/comment-page-* 禁止搜索引擎抓取分页等相关链接。

Disallow: /?s=*,/*/?s=*\ 禁止搜索引擎抓取站内搜索结果

Disallow: /wp-*.php 禁止搜索引擎抓取 WordPress 网站根目录的以 wp 开头的php文件

robots.txt规则配置原则就是只让引擎蜘蛛抓取网站内容即可,至于网站配置文件,评论,附件等等信息就禁止抓取,如果想深入的学习每个参数的含义,大家可以再去问度娘,反正度娘无所不能。

以上是博主的一些简单理解,有不对的地方请大家在评论区留言一起讨论学习,不管如何,希望可以帮助到大家!

转载请注明:阿里云优惠券 » WordPress配置robots.txt规则

喜欢 (0)or分享 (0)

领取本站阿里云代金券2000元礼包后并购买阿里云产品您能得到哪些优惠?

1.使用阿里云代金券2000元礼包与阿里云官网首购3年五折优惠互不冲突

2.可获得本站专属返现25%【点击领取阿里云代金券2000元礼包>>

发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址