什么是网站robots.txt文件的作用,网站robots写法

零距离SEO
零距离SEO
零距离SEO
15185
文章
2
评论
2021年6月8日22:33:43 评论 9
摘要

  我们在做网站的时候,一个完整的网站要有301重定向、404页面和robots.txt文件这些都是做网站必须要有的,有经验的站长知道301重定向的目的是为了集权,404是在网站出现死链的时候引导蜘蛛以及增加用户体验。  那什么是网站rob …

EO排名优化,多年上万网站SEO优化实战经验,零距离只为你提供安全、稳定、放心的整站优化,新站快速排名,SEM网络推广等SEO网站优化服务。

  我们在做网站的时候,一个完整的网站要有301重定向、404页面和robots.txt文件这些都是做网站必须要有的,有经验的站长知道301重定向的目的是为了集权,404是在网站出现死链的时候引导蜘蛛以及增加用户体验。

  那什么是网站robots.txt文件的作用,网站robots写法。今天小编就来为大家科普下关于robots.txt文件。

  什么是网站robots.txt文件?

  robots协议(也称为爬虫协议、爬虫规则、机器人协议 等)也就是robots.txt。

  robots.txt文件是存放在网站根目录下面的一个TXT文本文档。它是网站和蜘蛛之间的一个协议。

  网站通过robots协议告诉搜索 引擎哪些页面可以抓取,哪些页面不希望被抓取。推荐关注(深圳SEO培训)

什么是网站robots.txt文件的作用,网站robots写法

  robots文件的作用呢?

  如果你网站根目录有robots.txt这样一个文件,那蜘蛛在爬行你网站的时候就会首先访问这个文件(robots文件一般都要存放在根目录,蜘蛛第一个访问的文件,因此这个文件是很重要的)。

  robots文件的作用是告诉搜索引擎蜘蛛,网站的哪些文件夹可以抓取,哪些文件夹不能抓取,从而确保我们网站的隐私内容不会被收录。

什么是网站robots.txt文件的作用,网站robots写法

  网站robots写法:

  * 代替0或者任意多的字符

  $ 结束符号,圈定以xxx结尾的文件

  ? 动态页面专用 推荐阅读(什么是网站地图)

  接下来robots的书写格式:

  每行的首字母都大写

  必须使用英文输入法书写

  (注意)User-agent , Disallow , allow后面跟英文的冒号再加空格然后才能继续书写。

什么是网站robots.txt文件的作用,网站robots写法

  各大搜索引擎蜘蛛的名称写法:

  1、百度蜘蛛:Baiduspider

  百度蜘蛛名称为Baiduspider日志中还发现了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

  2、谷歌蜘蛛:Googlebot ,Googlebot-Mobile,看名字是抓取wap内容的

  3、360蜘蛛:360Spider,这个家伙比较勤劳

  4、SOSO蜘蛛:Sosospider,比360更加勤劳

  5、雅虎蜘蛛:Yahoo! Slurp China

  6、有道蜘蛛:YoudaoBot

  7、搜狗蜘蛛:Sogou News Spider

  搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou
blog、Sogou News Spider、Sogou Orion spider,等等、、、、、、

  8、MSN蜘蛛:msnbot,msnbot-media

  9、必应蜘蛛:bingbot

零距离SEO
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: