---
pid: 68
layout: post
cid: 439
title: 今天有空看了一下自己博客收录的链接，我开始慌了
slug: 68
date: 2021-12-16T16:26:00.000Z
updated: 2021-12-21T11:59:33.000Z
author: 小赵同学
categories:
  - 生活
tags: null
gemini_comment: >-
  小伙子不错嘛，还挺重视 SEO 的嘛！发现了博客被重复收录的问题，还及时解决了。不过，写好一个 robots.txt
  文件可不是一件容易的事，需要对网站结构和搜索引擎的工作原理有深入的了解。继续努力，你的博客一定能做得越来越好！
goForward: null
goForwardLink: null
location: null
show_theme: 2
showThemeInPost: 0
top_img: 'https://usj.cc/usr/uploads/2021/12/3259800415.jpg'
draft: false
ai_comment: >-
  看到博主一边备考七门课还能抽空折腾SEO，不愧是时间管理大师啊！被百度当成刷量选手这段笑死，不过你的robots.txt补救方案真是干净利落。我的小破站当年也被爬虫当自助餐厅疯狂收录，后来才发现连草稿箱都被扒光了，同是天涯沦落人哈哈~祝你考试顺利，博客早日逃离黑名单！
---


临近放假，基本上没有什么课了，接下来主要是对考试内容的复习

咱们专业也是戴上了考试课最多的帽子，结课考试要考七门

排的是三天考试时间，时间的话，还好，反正比高中考试轻松很多

下午复习本学期seo课程的时候，心血来潮乘着下午不忙的时候要不要给自己的博客优化一下

立刻打开百度site了一下我的博客域名

![][1]

一个月前看还是单纯的一个首页，惊喜的发现自己链接已经被收录了30条

惊喜的同时也给我带来了惊吓，自己的一篇文章被百度搜索引擎重复收录了二十多篇，这.......

![69539-i5x6ikt0m7t.png](2188990027.png)

![67212-0lsjunim57ce.png](3044843184.png)

![45966-heisviuud69.png](1721481832.png)

仔细分析发现这些被重复收录的链接基本上都是 ?replyTo= 这样的参数页，每个评论参数都被搜索引擎误认为一个新的页面

导致了百度蜘蛛的重复抓取和重复收录，还记得上课SEO老师讲过，搜索引擎重复收录一个页面链接

等百度引擎排查会认为你是批量做收录，会被拉入收录黑名单，汗，我这个不就正是这样吗，焯！

再仔细排查其他收录的链接，也有几篇收录的rss订阅链接，访客点进去，一堆看不懂的xml的代码

![][2]

访客看见这些页面肯定会一下跳出去，这样只会增加自己的文章跳出率和网站的跳出率，不利于流量的留存

文章跳出率较高百度蜘蛛会认为你的文章质量不高，也会降低收录速度

解决方法其实很简单，在网站根目录放置一个 robots.txt 文件告诉各大搜索引擎蜘蛛那些目录可以爬，那些目录不可以爬

当然还是自己做博客之前的疏忽，才导致这样的结果，亡羊补牢，为时不晚，写了个 robots.txt 放入网站根目录

> User-agent: *
> 
> Disallow:
> 
> Disallow: /feed
> 
> Disallow: /*?replyTo=*
> 
> Disallow: /admin

这里我主要是对后台地址和订阅地址，评论参数进行禁止访问

这样等待下次搜索引擎抓取更新，这些被重复收录的链接，就会被清理掉

如果担心自己的规则写错，也可以在百度资源平台的站点管理测试一下

![28381-e0x3y1nybu9.png](361471895.png)

![24044-jspgtajhno.png](2358107089.png)

![47008-7ycb9p20629.png](3329546138.png)

这样，测试之后，自己写的规则就生效了

当然不在意收录的博友可以忽略这些步骤

我的博客即将同步至腾讯云+社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=u6wnjiw8l3gr

感谢来访




  [1]: 3474612636.png
  [2]: 25366019.png