关于网络爬虫排除标准Robots.txt 2017-08-22 作者 luluyouth百度百科：https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797维基百科：https://zh.wikipedia.org/wiki/Robots.txt http://www.robotstxt.org/
