联系我们联系我们
电子邮箱电子邮箱

Robots协议

[复制链接]
  • TA的每日心情
    擦汗
    2017-9-9 10:16
  • 签到天数: 113 天

    [LV.6]常住居民II

    Be_easy 发表于 2017-8-12 23:21:25
    168 0
    Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。








    http://blog.csdn.net/qq_34432960/article/details/56311733
    https://www.waitalone.cn/security-base-game.html
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    发表新帖

    小黑屋|手机版|Archiver|华盟论坛 ( 京ICP证070028号 )

    Powered by 华盟网 X 8.0  © 2001-2013 Comsenz Inc.  华夏黑客同盟