关于网络爬虫排除标准Robots.txt

2017年08月22日 网站 留言评论

百度百科：https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797

维基百科：https://zh.wikipedia.org/wiki/Robots.txt

 

http://www.robotstxt.org/