不要用robots屏蔽JS文件，因为搜索引擎已经可以识别JS了 _博文列表

不要用robots屏蔽JS文件，因为搜索引擎已经可以识别JS了

网络 2014/7/29 12:55:12

　很多网站在robots文件里会屏蔽JS文件，不让搜索引擎抓取。现在谷歌不建议用robots.txt屏蔽JS文件，因为现在谷歌搜索引擎已经开始通过执行JavaScript来了解网页了。谷歌索引系统会像普通用户启用了JS的浏览器一样呈现大量网页。

　　如果网页中包含由JavaScript呈现的高价值内容，而如果用robots.txt屏蔽了JS文件，那么Googlebot将无法检索这些资源，并且无法编入索引，那么谷歌的索引系统将无法像普通用户那样看到你的整个网站，无法让用户知道。为了解决这个问题，谷歌尝试通过执行JavaScript来了解网页。像普通用户启用了JavaScript的浏览器一样呈现大量网页。

　　谷歌特别强调这一点对于移动网站来说尤为重要，因为CSS和JavaScript等外部资源有助于谷歌算法了解相应网页已针对移动设备进行优化，如果屏蔽掉了会有影响。

　　很多站长经常会用JS来作弊，因为JS可以隐藏内容，不被搜索引擎抓取，不过慢慢地随着搜索引擎技术的升级，JS的内容会越来越多的被抓取出来，编入索引。所以想要继续就得JS+robots.txt了，而对于JS里面有重要内容的网站，注意不要屏蔽了CSS和JavaScript等外部资源。

　　既然谈到了搜索引擎的抓取JS的问题，就干脆再说一个相关的。有的网站会使用noscript标签，noscript标签用来定义在JS脚本未被执行时的替代内容，此标签作用发生在可识别JS文件但无法支持其中脚本的浏览器，如果浏览器不支持JS的代码，则会显示noscript中的内容。
　　noscript中的内容，搜索引擎也是可以抓取的，不过这里面由于经常被用来堆砌关键词，所以尽管搜索引擎可以抓取，但会忽略或不信任在noscript标签中的内容，就和网站注释内容一样可以识别，但会忽略掉。所以，如果你有重要的内容和链接，建议不要用在noscript标签，以防网站重要内容信息被忽略。

阅读(1191) 分享(0)

上一篇: Access 2010中怎么显示隐藏表（使用导航选项）？
下一篇: SEO：什么是存量内容？什么是流量内容？