联系电话：0411-66373325
联系地址：大连市沙河口区富民广场
公司邮箱：2058793689@qq.com
备案信息：Copyright © 2016-2025,www.my249.com,All rights reserved
|
SEO中的robots到底能起到多大作用？先喊一个口号：249的小伙伴们都是雷锋！ 好啦进入正文，先说说robots是个啥！ robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 robots就是一个文本文件。当然人间有固定格式的不是瞎写的。在文件上你可以告诉搜索引擎希望他抓取什么和不希望他抓取什么。就是还有禁止抓取功能。 啥页面不希望被抓取啊？一般都是管理页面或安全性要求较高的页面。比如这个网站的管理后台就不希望被抓取到。 如果我写了希望被抓取到的页面搜索引擎就一定会抓取吗？答案是不一定。那我明确禁止的搜索引擎就一定不搜录了吗？答案也是不一定。那robots这玩意还有啥用？ 下面就说说他到底能干啥。比如我的网站在测试阶段，部分页面不希望被搜录到。于是就是用robots禁止了这些页面。这时候搜索引擎会搜录到我们禁止的页面但不会积极的显示在搜索结果里。不禁止的会在搜素结果显示。当网站测试完成正式上线，就修改成全部开放不禁止任何页面。这时候搜索引擎发现可以搜录并继续搜录且搜录的页面是原来禁止的和原来不禁止的。搜索面比较广泛。这还不是最关键的。如果你不写robots禁止测试页面，搜索引擎搜索到测试页面后发现这是是没有被禁止的、不完整的、不正规的、内容混乱的页面。搜索引擎就认为这就是你的页面，是你的正式页面。因为他无法判断你是不是测试页面。如果他认为这就是你的正式页面那就完了，你的等级一下就拉低了，甚至可能会认为你是垃圾网站。回头你再想翻身就需要时间了，也增加难度了。 |
