当前位置:首页 > 谷歌SEO培训 > 谷歌是如何抓取理解我们的网页呢?

谷歌是如何抓取理解我们的网页呢?

平哥SEO2024-06-21 15:01谷歌SEO培训320

上一次发文,还是上次,这几天在忙,新项目起量了,耽误写文章了。

今天终于有空,所以来回答下大家最近比较关心的问题。

时不时有朋友问一些问题:

1.做工具站要不要做内容?

2.为什么不要前端渲染?

3.为什么多语言不能用js切换?

其实这些问题的答案,都跟谷歌抓取方式有关。

所以今天平哥SEO跟大家聊聊谷歌是如何抓取我们的网页,并且如何理解网页的。

注意,下文会在不同的句子里用“网址”、“网页”、“链接”等不同描述,有时候是同一个东西。

一、爬取

不管是什么网页,文章也好、新闻也好、图片页面、视频页面、音乐页面,谷歌理解网页,依然靠的是从网页获取到的文字信息。

那么是怎么获取的呢?

用的是谷歌的爬虫。

爬虫是什么?

爬虫是形象化的说法,其实是一段运行在谷歌服务器里的程序代码。

拿到一个网址后,程序发出一个GET请求,获取网址对应的html代码,这就是爬虫最主要做的事情。

注意,这里只是获取到了html代码,并没有去执行html代码。

我们可以想到,如果你的网页是前端渲染的,那么拿到的就只是html模板,没有任何内容,那自然就无法参与排名。

二、解析

爬到html代码之后,还需要用程序去解析html代码。

解析html代码目的是提取网页的正文部分,当然页头、页尾、Meta信息等也会被识别和提取出来。

以及最重要的,当前html页面里的所有的链接都会被提取出来。

三、索引

之后,当前页面解析出来的信息就会入库,然后进行分词、抽取主题、语义理解、建立正向索引、反向索引等步骤,这里就不展开讲解了。

四、处理链接

对于拿到的每一个链接,都会判断是否已经爬取过,多久之前爬的,是否还需要再爬一遍。

对于需要再爬的,会被放入到待爬列表中。

所以之前在之前的文章:新上线的网站,如何快速让谷歌收录?中提醒大家,要想快速被收录,除了需要提交到GSC后台外,还可以去别的爬虫来得特别频繁的网站发帖,吸引爬虫把我们的网址加入到待爬列表里。

每一个进入待爬列表的网址,都会走上面这些步骤,不算循环。

这样谷歌就能够通过链接,爬取完互联网上所有网站的所有网页。

五、内链和外链和反链

对于一个网站来说,链接分为内链Internal Link和外链External Link。

内链,是站内链接的简称,是指向到当前网站其它页面的链接。

外链,是站外链接的简称,又名出站链接,是指向到别的网站的链接。

假设A网站有一个指向到B网站的链接。

那么这个链接对于A网站来说,是一个External Link,也就是外部链接,可以简称为外链。

这个链接对于B网站来说,是一个Back Link,也就是反向链接,可以简称为反链。

有时候,我们会称反链为外链,其实就是同一个链接针对不同网站的说法。

如下面两句,其实是同一个意思:

“我要去搞一个Reddit的外链”;

“我要去Reddit给我网站搞一个反链”。

六、Sitemap

我们把网页在sitemap.xml文件里列出来,目的也是为了把网页加入待爬列表。

有人会问,有了Sitemap是不是就不用建立内链了呢?

告诉你,并不是这样的。

Sitemap对于谷歌是一个建议,谷歌可以不听,或者部分听取。

谷歌更喜欢通过链接去不断爬行探索网站。

甚至目前平哥优化最新的这个网站不到一个月收录十几万,压根就没有Sitemap。

方法就是在首页不断的列出最新的内容,同时有一个页面能够一页一页列出网站所有页面

这样就可以吸引谷歌的爬虫不断来我们网站爬最新的网页。

七、页面深度

从首页开始,不断的点击链接,到达了某个页面的最短路径,就是这个页面的深度。

通常我们会说,页面深度不要超过5层,但建议,最好在3层内。

也就是你要保证你网站的任何一个页面,都可以点击三次就能够到达。

那就要把一些深度的页面改成广度的页面。

具体怎么做,大家可以参考Toolify的页脚部分。

谷歌是如何抓取理解我们的网页呢?

八、权重传递

权重会在站内传递,也会在网站之间传递。

我们可以把每一个网页都当作一个最小单元,这个网页有很多出去的链接,也有很多进入的链接。

出去的链接和进入的链接,都可能是站内链接,也可能是站外链接。

不管什么类型,每一个链接都在传递权重。

一般站内链接都是dofollow的,也就是会完全传递权重,而外链则为了不传递太多权重出去,我们会设置为nofollow。

谷歌有自己的一套复杂的算法,会综合各种情况去计算每一个链接能够传递的权重到底是多少。

九、关键词召回

当用户搜索一个关键词时,谷歌会找出所有内容匹配的网页。

怎么找?

根据反向索引来找。

这里就不深入讲解了,如果大家想了解,可以谷歌搜索了解更多关于搜索引擎的原理。

但是我们知道,要想网站被召回,就一定要内容足够匹配。

这就要求第一是后端渲染,能够让谷歌爬虫可以抓取到内容。

第二则要求我们即使是工具站,也要做内容,让谷歌能够根据内容知道我们的工具到底有什么作用。

十、搜索排名

被召回的结果有几千万个,怎么给网页排序呢?

谷歌最初使用Page Rank算法,根据不同网站的权重来进行排序。

但是经过二十多年的发展,排序算法已经复杂无比了,会根据各种因素去综合排序。

谷歌是如何抓取理解我们的网页呢?

建议大家好好看看上面这图,然后在做网页时,把每一个关键因素都好好考虑到。

好了,以上介绍了怎么多,平哥再来回答开头的三个问题。

1.做工具站要不要做内容?

答:当然要做内容,你不做内容,谷歌怎么知道你的工具到底有什么用,谷歌不可能去运行你的工具来判断你的工具的用途,所以只能根据你写的内容来判断。

你可能会问,谷歌就这么相信我们写的?

答:谷歌一开始会把所有人都当作好人,去信任所有网页,然后根据搜索用户的表现来判断你的文字到底有没有如实的描述工具,如果发现言过其实,就会给你降低排名。

2.为什么不要前端渲染?

答:因为谷歌无法获取到前端渲染网页的文字内容。

你可能会问,谷歌不会去运行我们的js代码吗?

答:运行代码需要消耗额外的算力,谷歌只会给一些大网站有这样的优待,因为谷歌很需要那些大网站的内容。对于我们做的小破网站,谷歌不算浪费算力的。所以我们就不要去麻烦谷歌了,我们自己做好后端渲染不是更好吗?

3.为什么多语言不能用js切换?

答:因为js切换不会改变网址,这就导致谷歌爬虫来的时候,只能抓取到一种语言的内容,也就只能参与一种语言的搜索排名。那么这个网页的多语言就相当于白做了。

扫描二维码推送至手机访问。

版权声明:本文由【平哥SEO学堂】整理发布,如需转载请注明出处。

本文链接:https://www.c-sz.com/post/203.html

分享给朋友:

“谷歌是如何抓取理解我们的网页呢?” 的相关文章

谷歌SEO如何做外链操作呢?超级详细流程!

谷歌SEO如何做外链操作呢?超级详细流程!

之前的文章我们说过,上线不是终点,还需要根据博客表现不断进行优化,而外链就是其中较为重要的一环。平哥SEO下面举例依然延续博客文章,但是方法是通用的,博客文章页,首页,产品分类页都可以使用。但是,有两点需要记住:1)不是所有文章都需要外链才能上到前三,如果文章质量够硬,网站权重够高,关键词难度适中,...

谷歌SEO中产品属性怎么写合适呢?

谷歌SEO中产品属性怎么写合适呢?

有小伙伴问到产品属性的问题,今天平哥SEO就给大家详细分享一下:产品属性~一、什么是产品属性?产品属性是描述商品的详细信息和功能,并提供消费者决定购买所需的信息。产品属性可以包括设计特征、技术规格、价格和制造中使用的材料。产品属性分为两类:有形和无形。有形属性是感官可以感知的物理属性,例如颜色、形状...

Google SEO外链免费资源怎么找呢?

Google SEO外链免费资源怎么找呢?

今天是平哥SEO主讲Google Seo外链。Seo盛传经久不衰的定理:内容为王,外链为皇,可见外链的重要性。结合上节课我们讲了如何编辑高质量的文章,接下来我们通过外链快速让文章更好更快的获取流量和排名。一、外链原理及价值影响因素1、外链原理外链也称为反向链接,是指从其他网站指向你网站的链接。其中高...

谷歌SEO策略技巧是什么?

谷歌SEO策略技巧是什么?

在数字营销的海洋中,谷歌SEO是一艘无法忽视的巨轮。对于每一个独立站点来说,优化搜索引擎排名不仅是提升可见度的关键,更是吸引流量和潜在客户的重要手段。在谷歌这个搜索引擎巨头的统治下,了解并应用有效的SEO策略,已经成为每一个网站运营者的必修课。然而,SEO的世界充满了挑战和竞争。要在数亿的网站中脱颖...

谷歌对网站历史有影响吗?

谷歌对网站历史有影响吗?

目录:01、评估历史进程02、网站变化的时间线03、影响SEO的网站变化类型04、以前的SEO工作1、评估历史进程丨谷歌seo优化技巧衡量SEO变化的结果可能并非容易之事,一部分原因是因为各个活动部分数量太多,另一部分原因是在网站上做改变和在自然搜索结果中曝光之前可能相隔数月。这个难题只会增加衡量进...

谷歌内部文件算法泄露怎么办?有什么影响?

谷歌内部文件算法泄露怎么办?有什么影响?

今年三月,一个名为yoshi-code-bot的自动化机器人从谷歌的内部内容API仓库中发布了一系列文档。这些文档随后被分享给了SparkToro的联合创始人Rand Fishkin,他如今整理了一篇详尽的文章,内容涵盖近2500页关于谷歌搜索如何对互联网上的页面和网站进行排名的描述。外媒报道称,这...