最新消息:最新消息显示在全站导航条下方,非常给力的推广位置

2007年10月的内容

收藏

robots.txt和Robots META标签

灰鼠 11年前 (2007-10-19) 97浏览 0评论

搜索引擎都有自己的“搜索机器人”(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说,有时候会有一些站点内容,不希望被ROBOTS抓取而公开。为了...