当前位置:首页 > 谷歌SEO培训 > 谷歌是如何抓取理解我们的网页呢?

谷歌是如何抓取理解我们的网页呢?

平哥SEO2024-06-21 15:01谷歌SEO培训344

上一次发文,还是上次,这几天在忙,新项目起量了,耽误写文章了。

今天终于有空,所以来回答下大家最近比较关心的问题。

时不时有朋友问一些问题:

1.做工具站要不要做内容?

2.为什么不要前端渲染?

3.为什么多语言不能用js切换?

其实这些问题的答案,都跟谷歌抓取方式有关。

所以今天平哥SEO跟大家聊聊谷歌是如何抓取我们的网页,并且如何理解网页的。

注意,下文会在不同的句子里用“网址”、“网页”、“链接”等不同描述,有时候是同一个东西。

一、爬取

不管是什么网页,文章也好、新闻也好、图片页面、视频页面、音乐页面,谷歌理解网页,依然靠的是从网页获取到的文字信息。

那么是怎么获取的呢?

用的是谷歌的爬虫。

爬虫是什么?

爬虫是形象化的说法,其实是一段运行在谷歌服务器里的程序代码。

拿到一个网址后,程序发出一个GET请求,获取网址对应的html代码,这就是爬虫最主要做的事情。

注意,这里只是获取到了html代码,并没有去执行html代码。

我们可以想到,如果你的网页是前端渲染的,那么拿到的就只是html模板,没有任何内容,那自然就无法参与排名。

二、解析

爬到html代码之后,还需要用程序去解析html代码。

解析html代码目的是提取网页的正文部分,当然页头、页尾、Meta信息等也会被识别和提取出来。

以及最重要的,当前html页面里的所有的链接都会被提取出来。

三、索引

之后,当前页面解析出来的信息就会入库,然后进行分词、抽取主题、语义理解、建立正向索引、反向索引等步骤,这里就不展开讲解了。

四、处理链接

对于拿到的每一个链接,都会判断是否已经爬取过,多久之前爬的,是否还需要再爬一遍。

对于需要再爬的,会被放入到待爬列表中。

所以之前在之前的文章:新上线的网站,如何快速让谷歌收录?中提醒大家,要想快速被收录,除了需要提交到GSC后台外,还可以去别的爬虫来得特别频繁的网站发帖,吸引爬虫把我们的网址加入到待爬列表里。

每一个进入待爬列表的网址,都会走上面这些步骤,不算循环。

这样谷歌就能够通过链接,爬取完互联网上所有网站的所有网页。

五、内链和外链和反链

对于一个网站来说,链接分为内链Internal Link和外链External Link。

内链,是站内链接的简称,是指向到当前网站其它页面的链接。

外链,是站外链接的简称,又名出站链接,是指向到别的网站的链接。

假设A网站有一个指向到B网站的链接。

那么这个链接对于A网站来说,是一个External Link,也就是外部链接,可以简称为外链。

这个链接对于B网站来说,是一个Back Link,也就是反向链接,可以简称为反链。

有时候,我们会称反链为外链,其实就是同一个链接针对不同网站的说法。

如下面两句,其实是同一个意思:

“我要去搞一个Reddit的外链”;

“我要去Reddit给我网站搞一个反链”。

六、Sitemap

我们把网页在sitemap.xml文件里列出来,目的也是为了把网页加入待爬列表。

有人会问,有了Sitemap是不是就不用建立内链了呢?

告诉你,并不是这样的。

Sitemap对于谷歌是一个建议,谷歌可以不听,或者部分听取。

谷歌更喜欢通过链接去不断爬行探索网站。

甚至目前平哥优化最新的这个网站不到一个月收录十几万,压根就没有Sitemap。

方法就是在首页不断的列出最新的内容,同时有一个页面能够一页一页列出网站所有页面

这样就可以吸引谷歌的爬虫不断来我们网站爬最新的网页。

七、页面深度

从首页开始,不断的点击链接,到达了某个页面的最短路径,就是这个页面的深度。

通常我们会说,页面深度不要超过5层,但建议,最好在3层内。

也就是你要保证你网站的任何一个页面,都可以点击三次就能够到达。

那就要把一些深度的页面改成广度的页面。

具体怎么做,大家可以参考Toolify的页脚部分。

谷歌是如何抓取理解我们的网页呢?

八、权重传递

权重会在站内传递,也会在网站之间传递。

我们可以把每一个网页都当作一个最小单元,这个网页有很多出去的链接,也有很多进入的链接。

出去的链接和进入的链接,都可能是站内链接,也可能是站外链接。

不管什么类型,每一个链接都在传递权重。

一般站内链接都是dofollow的,也就是会完全传递权重,而外链则为了不传递太多权重出去,我们会设置为nofollow。

谷歌有自己的一套复杂的算法,会综合各种情况去计算每一个链接能够传递的权重到底是多少。

九、关键词召回

当用户搜索一个关键词时,谷歌会找出所有内容匹配的网页。

怎么找?

根据反向索引来找。

这里就不深入讲解了,如果大家想了解,可以谷歌搜索了解更多关于搜索引擎的原理。

但是我们知道,要想网站被召回,就一定要内容足够匹配。

这就要求第一是后端渲染,能够让谷歌爬虫可以抓取到内容。

第二则要求我们即使是工具站,也要做内容,让谷歌能够根据内容知道我们的工具到底有什么作用。

十、搜索排名

被召回的结果有几千万个,怎么给网页排序呢?

谷歌最初使用Page Rank算法,根据不同网站的权重来进行排序。

但是经过二十多年的发展,排序算法已经复杂无比了,会根据各种因素去综合排序。

谷歌是如何抓取理解我们的网页呢?

建议大家好好看看上面这图,然后在做网页时,把每一个关键因素都好好考虑到。

好了,以上介绍了怎么多,平哥再来回答开头的三个问题。

1.做工具站要不要做内容?

答:当然要做内容,你不做内容,谷歌怎么知道你的工具到底有什么用,谷歌不可能去运行你的工具来判断你的工具的用途,所以只能根据你写的内容来判断。

你可能会问,谷歌就这么相信我们写的?

答:谷歌一开始会把所有人都当作好人,去信任所有网页,然后根据搜索用户的表现来判断你的文字到底有没有如实的描述工具,如果发现言过其实,就会给你降低排名。

2.为什么不要前端渲染?

答:因为谷歌无法获取到前端渲染网页的文字内容。

你可能会问,谷歌不会去运行我们的js代码吗?

答:运行代码需要消耗额外的算力,谷歌只会给一些大网站有这样的优待,因为谷歌很需要那些大网站的内容。对于我们做的小破网站,谷歌不算浪费算力的。所以我们就不要去麻烦谷歌了,我们自己做好后端渲染不是更好吗?

3.为什么多语言不能用js切换?

答:因为js切换不会改变网址,这就导致谷歌爬虫来的时候,只能抓取到一种语言的内容,也就只能参与一种语言的搜索排名。那么这个网页的多语言就相当于白做了。

扫描二维码推送至手机访问。

版权声明:本文由【平哥SEO学堂】整理发布,如需转载请注明出处。

本文链接:https://www.c-sz.com/post/203.html

分享给朋友:

“谷歌是如何抓取理解我们的网页呢?” 的相关文章

谷歌怎么删除收录无效的页面记录呢?

谷歌怎么删除收录无效的页面记录呢?

今天平哥SEO学堂主讲如何快速处理已收录页面。平哥SEO在前面几节课我们学会了综合使用robots.txt文件和Noindex可以更加有效的防止一些不想被Googlebot抓取索引的页面,但是这两种方法擅长阻止被Googlebot抓取,对于已经收录的页面,处理起来,会需要一些时间,这个时间甚至长达1...

Google 2024年3月核心算法是什么?

Google 2024年3月核心算法是什么?

Google 2024年3月核心算法更新概览更新重点:提升有价值内容的排名Google的核心更新旨在减少那些仅为吸引点击而制作的内容,同时提高实用、可靠、以用户为中心的内容的搜索排名。这意味着,内容创作者需要更加专注于创作高质量、有深度的内容,以满足用户的实际需求。更新过程:一个月的排名波动该更新过...

谷歌SEO优化多久来询盘呢?

谷歌SEO优化多久来询盘呢?

一个自然询盘为0的网站,根据我们的SEO优化方法修改网站后,最快多久能有效果,来询盘?2周。这是目前在我们所有的学员里,所知最快的。其实就一个核心动作:重新规划了首页目标关键词和内容。死盯有把握排进前三的精准目标关键词,按照我们的方法写SEO网页标题和页面内容修改。这么简单一个动作,提升就这么明显?...

AI Overviews对于谷歌SEO优化的影响是什么?

AI Overviews对于谷歌SEO优化的影响是什么?

谷歌发布了关于其新的AI Overviews搜索功能的新文档,该功能可概括搜索查询的答案,并链接到可以找到更多信息的网页。新文档提供了有关新功能如何工作以及出版商和搜索引擎优化人员应注意事项的重要信息。触发AI Overviews因素当用户的意图是快速了解信息,尤其是当信息需求与任务相关联时,AI...

谷歌SEO每页应该布局多少个seo关键词合适呢?

谷歌SEO每页应该布局多少个seo关键词合适呢?

谷歌搜索引擎的真相谷歌远比你想象的要聪明,大多数SEO新手在围绕某些关键词进行内容创作时,常常出现这样一个顾虑,当平哥SEO写某篇长文,focus在固定的关键词的时候,是否代表平哥SEO的文章只能在固定的几个关键词下获得排名?现在针对这个疑惑,平哥SEO来告诉你一个简单的答案,当你创作出有价值的内容...

Google内部工作原理对于SEO的作用是什么?

Google内部工作原理对于SEO的作用是什么?

很多外贸人现在都一窝蜂的去做独立站,什么三天两夜建站,然后被忽悠投入大笔去做SEO,但是你真的了解Google内部工作原理吗?当客户作为消费者,他可能已经很了解搜索引擎在购买过程中的重要性。毕竟,当他想研究新产品或找到最优惠的价格会去哪里?搜索引擎之所以有用,是因为它们有助于理解互联网的疯狂世界。但...