当前位置:首页 > 谷歌SEO培训 > 谷歌对于robots文件设置要求是什么?

谷歌对于robots文件设置要求是什么?

平哥SEO2024-05-13 14:33谷歌SEO培训591

今天是平哥SEO主讲robots.txt日志文件设置。在上节课我们就了解到,robots文件规定了Googlebot要抓取一个网站页面,首先就要先访问robots文件,而且必须按robots.txt文件里的规矩办事,那么今天我们就来详细了解下如何设置robots日志文件。

一、robots.txt文件基础理论

1、robots.txt工作原理

robots.txt是一个文件,主要是给各个搜索引擎抓取工具看的,里面用来设置一些规则,目的是告诉它们,哪些搜索引擎抓取工具能来抓取,哪些搜索引擎抓取工具不能来抓取,哪些页面可以访问,哪些页面不能访问。

2、robots.txt的好处

①、控制抓取工具预算

如果不了解抓取工具预算的朋友,这里大概解释下,抓取工具预算就是抓取你网站所花费的时间和资源,也就是在有限的时间内,Googlebot抓取网站的页面数量,并且这个预算值是可以变动的,所以有些seo,为了让Googlebot抓取更多的重要页面,他们会从而利用robots.txt来控制。

②、控制部分页面和文件不被抓取

每个网站都有一些页面不想被Googlebot抓取并索引。例如网站的管理后台登录及管理页面、一些暂时性的内容页面、PDF文件、视频、图片等等。

谷歌对于robots文件设置要求是什么?

二、制作robots.txt文件

1、制作方法

①、如果你用的是一些CMS客户管理系统,类似WordPress,shopify等建站工具,那么你就不需要制作这个文件,因为系统会默认生成这个文件,并且把相应的规则填写好,如果你需要添加规则,直接点击修改即可。

②、如果你网站的根目录下面没有这个文件,那请新建一个文件,文件名为:robots.txt的文本文档,然后根据你网站的实际情况,添加相应的规则命令后,用ftp上传到服务器网站根目录就完成了。

备注:如果你想研究学习参考别人网站的robots.txt文件,也可以直接输入他们的域名,加上文件名,例如:www.c-sz.com/robots.txt

需要注意的是,robots.txt文件和网站地图不一样,robots.txt只能以这个名字命名,同时一个站点有且只有一个robots.txt文件。

2、使用方法

个人觉得常用的就三大板块和两个通用符,下面我们通过一个例子来了解吧。

User-agent: Googlebot

allow: /

User-agent: Baiduspider

Disallow: /example1/

Disallow: /example2.html

Disallow: /*.jpg$

Sitemap: https://www.c-sz.com/sitemap.xml

I、“user-agent” :指的用户代理,也就是各大搜索引擎抓取工具。

例如上面的案例中Googlebot和Baiduspider,分别为Google和百度的抓取工具。

不同的搜索引擎,不同的名称,如果有特定要求可以查询相关名称。另外,如果需要区分开不同类型的抓取工具,可以参考上节课的内容。

II、“allow” ,“disallow” :指令是“允许抓取”和“不允许抓取”某些页面路径的意思。

通配符“*”表示匹配0或多个任意字符。

通配符“$”表示字符串的结束,用于结尾。

如上面案例中的,

·允许Googlebot抓取所有页面

·不允许百度蜘蛛抓取example1栏目

·不允许百度蜘蛛抓取example2.html页面

·不允许百度蜘蛛抓取网站所有jpg类型的图片,包括图片为example.jpg?p=12345的类型

III、Sitemap:这个是站点地图的指令,类似提交网站地图的效果,之前的第十课网站地图全面解析课程里面有讲,这里我们只需把所有的站点地图加上就好。

今天就分享到这里,期待能帮助你!

扫描二维码推送至手机访问。

版权声明:本文由【平哥SEO学堂】整理发布,如需转载请注明出处。

本文链接:https://www.c-sz.com/post/13.html

分享给朋友:

“谷歌对于robots文件设置要求是什么?” 的相关文章

谷歌网站博客阅读次数怎么设置呢?

谷歌网站博客阅读次数怎么设置呢?

今天平哥SEO跟大家分享如何显示网站博客阅读次数?WordPress建站,在制作页面模板以及添加各种小功能的时候就非常方便。比如我想给网站的页面和文章显示浏览量,可以增加访客阅读的兴趣,也可以让我们自己看出哪些文章在你的网站上非常受欢迎。这里就可以启用WordPress插件:Page View Co...

Google 算法文档泄露对SEO优化有什么影响?

Google 算法文档泄露对SEO优化有什么影响?

我看到有人在问:“平哥SEO,你怎么看待Google这次文档泄露的事情?”我的观点是,这事情对我们普通SEO玩家没有什么太大的影响,不用杞人忧天。因为就算给你知道算法,你也没有短时间内拥有大量的资源去获取这个算法中的利益。我举个例子,好比很多人说:“数据表明,现在用户行为数据非常重要”,那普通玩家能...

Google 检索、索引、排名的原理规则是什么?

Google 检索、索引、排名的原理规则是什么?

Google SEO中的爬取、索引跟搜索引擎排名,分别是什么意思呢?在学习SEO之前,必定要先了解一下谷歌搜索引擎的运作方式。从你的网站文章发布的那一瞬间,你的文章网址会经历:被找到、被爬取(检索)、被索引,然后才能出现在Google搜索引擎里面并且加入Google搜索结果的排名。上面的这个过程,从...

谷歌搜索api泄露信息对SEO的启示是什么?

谷歌搜索api泄露信息对SEO的启示是什么?

核心主旨:?谷歌搜索API泄露揭示了其搜索排序算法的内部运作和潜在影响。1.事件背景谷歌前员工泄露了2500份搜索API文件,揭示了谷歌搜索排序的内部机制。文件涵盖2005年至2023年的数据,涉及谷歌如何通过浏览器收集用户数据、利用用户交互数据调整排序算法等。2.主要发现2.1用户交互数据的重要性...

独立站谷歌SEO优化应该怎么做?

独立站谷歌SEO优化应该怎么做?

Google搜索引擎有着巨大的流量,是海外互联网的流量枢纽,有效提升谷歌SEO效果能够为外贸网站带来源源不断的流量和潜在客户。独立站在做GoogleSEO的过程,其实就是一个不断提升网站排名的过程。谷歌SEO排名越靠前,网站的排名就越高,这意味着更多的询盘。今天就和大家从五个方面深度解析独立站谷歌S...

Google SEO月刊汇总有哪些?

Google SEO月刊汇总有哪些?

1.谷歌算法泄露:内部文件揭示排名秘密,谷歌确认真实性谷歌的搜索算法近日遭遇重大泄露,内部文件展示了其内容仓库API的详细信息,揭示了搜索排名的秘密。文件详细描述了谷歌用于排名的模块和属性,包括如何跟踪用户互动、链接质量和内容新鲜度。这一泄露事件证实了SEO行业长期以来的一些猜测,提供了对谷歌排名机...