千联科技

成都APP开发制作公司

SEO人员要懂的robots技巧

发布时间:2020-05-31 15:59  作者:千联科技

SEO人员必懂的robots技巧
robots能解决什么问题?
屏蔽死链接
1、robots基本概念
网站和搜索引擎之间的一个协意,robots.txt文本,百度会根据这个来抓取内容,是搜索引擎中访问网站的时候要查看的第一个文件,robots不是命令,是指令,写robots不会即时生效可能要过二三天
2、robotsr的用途
网站的隐私的页面不会检索收录
1)屏蔽死链接
2)常见形成死链接的主要原因:站内操作造成的,URL链接改动,程序的错误
使用robots解决是你最好选择IIS日志
3)屏蔽重复页面及 无内容页面
针对无内容的页面要进行屏蔽
如:登陆页、注册页、空间页面,使用robots轻松解决问题
4)屏蔽有多个路径的同一个页面
直接用robots.txt屏蔽掉,直接禁止index.html的首页路径!像这样的首面大部分都有这样的问题
如:Useo-agent: *
Disallow: /bc/index.html
robots 写法其实很简单的
1)了解下ROBOTS 的常用符号
User-agent:定义搜索引擎的类型
如:User-agent: Baiduspider定义百度 User-agent: Googlebot定义谷歌机器人
Disallow: 指禁止搜索引擎抓取的路径
Allow: 允许搜索引擎收录的地址
*:匹配0或多个任意字符
$: 匹配行结束符
User-agent: * 允许所有搜索引擎
谷歌机器人:Googlebot 微软bing的蜘蛛:msnbot soso的蜘蛛:sosospider 雅虎的蜘蛛:Mozilla
如淘宝的:
User-agent: Baiduspider
Disallow: /
/代表网站所有目录
Allow的出现往往都是和Disallow 一起使用的
如:User-agent: *
      Allow: /bc/index.html
      Disallow: /bc/
禁下抓取网站的bc目录,但允许抓取BC下的index.html
* : 匹配零或者多个任意字符。
看死链接他们又有相同的规律,*号来进行统一屏蔽
如:
www..com/basodm?36A=1
www..com/basodm?37A=4
www..com/basodm?40A=5
www..com/basodm?33A=7
这样的死链接怎么屏蔽 ?
www..com/basodm?这部分都没变
Useo-agnet: *
Disallow: /basodm?*A=*
$ : 是结束符
禁止Baiduspider抓取网站上所有jpg图片
User-agent: Baiduspider
       Disallow: /*.jpg$(:后加空格)
//双斜杠代表网站的目录
双斜杠代表目录Useo-agnet: *
        Disallow: /basodm/
单一的斜杠和双斜杠的区别
Disallow: /台州seo/禁止搜索引擎抓取该网站的 台州SEO目录
Disallow: /台州seo
表示不但禁止搜索引擎抓取该网站的 SEO目录, 还能够禁止所有以SEO开头的目录名和文件名。
robots.txt 写法匹配参照表如:User-agent: *
      Allow: /bc/index.html
      Disallow: /bc/
禁下抓取网站的bc目录,但允许抓取BC下的index.html
* : 匹配零或者多个任意字符。
看死链接他们又有相同的规律,*号来进行统一屏蔽
如:
www..com/basodm?36A=1
www..com/basodm?37A=4
www..com/basodm?40A=5
www..com/basodm?33A=7
这样的死链接怎么屏蔽 ?
www..com/basodm?这部分都没变
Useo-agnet: *
Disallow: /basodm?*A=*
$ : 是结束符
禁止Baiduspider抓取网站上所有jpg图片
User-agent: Baiduspider
       Disallow: /*.jpg$(:后加空格)
//双斜杠代表网站的目录
双斜杠代表目录Useo-agnet: *
        Disallow: /basodm/

成都APP开发制作公司
拨打右边千联科技客服热线在线咨询