开发者 websphinx.sf.net

WebSPHINX是一个网络爬行器（机器人，蜘蛛）Java类库，最初由卡内基梅隆大学的罗伯特·米勒开发。多线程、托勒特 HTML 解析、URL 筛选和页面分类、模式匹配、镜像等。