robots文件是站长在网站优化操作中最容易忽略的细节之一。例如robots文件被错误覆盖或误封禁,给网站带来不必要的流量损失。如何解决robots文件覆盖不正确或屏蔽不正确的问题?下面小编给大家分享一下解决方法。

一、案例说明

很多站长在开发网站程序的新功能时都会选择在线开发。为了防止搜索引擎抓取网站程序新功能的开发版本,他们使用robots文件封锁整个网站,等待网站程序新功能的开发完成后。新的程序版本涵盖了原始程序,包括robots文件。过了几天,发现网站流量明显下降,网站索引量下降到0,大量网站关键词掉线。

如何解决网站robots误封的问题插图

二、处理方式

1、修改网站Robots文件,然后到百度站长平台更新robots。

2、使用百度站长平台抓取诊断工具检测,可能刚刚开始检测会显示抓取失败,没关系,多试几次就可以抓取成功了。

3、使用百度站长平台抓取频次工具,修改网站抓取频率。

4、在百度站长平台的反馈中心向百度搜索进行反馈,说明这次操作是误操作才导致的发生了这种情况。

5、在百度站长平台的资源提交页面,设置网站数据实时推送。

6、更新网站sitemap地图文件,并且提交给百度,设置24小时更新一次。

以上步骤都处理完成以后,接下来就只有等待了,正常情况几天后网站数据就会慢慢恢复了,1个星期左右网站数据就可以恢复正常。

三、案例总结

下面给大家总结下,避免大家以后也出现此类的问题。

1、不要为了图方便省事,选择在线开发网站。

2、网站开发或升级要有流程记录,例如在开发网站做了哪些处理,哪些不需要给搜索引擎抓取,哪些需要给搜索引擎抓取,这些一定要非常清楚。

3、要经常查看百度后台数据,关注网站流量及数据变化,及时发现问题,及时进行处理。