开发者 j-spider.sf.net

一种灵活且可扩展的 Web 蜘蛛引擎的 Java 实现。可选模块允许添加功能（搜索死链接、测试站点的性能和可伸缩性、创建站点地图等）。