go写的一款企业级的管理爬虫的工具，文档很全，该有的功能都有，个人用于用于管理日常的一些爬虫任务，绰绰有余，企业内部如果有一些爬虫内容，开源版本用于管理也是足够的，对于运维来讲，完全可以用来作为作业平
华为移动搜索AspiegelBot爬虫近日被站长发现开始高频抓爬网站信息，这个AspiegelBot爬虫主要模拟安卓机进行抓爬 , UA标识符里也没有标注爬虫所属公司信息，显然不想让人发现，后面有站长
