开发者 cwlr.sf.net

  • SimplerCrawler 免费

    非常简单的单线程爬网程序,用于以 perl 编写的 Web (http)。支持遵循规则和集合的链接,以获取访问的页面的信息(基于 regexp)。