Robots.txt 2.0
许可： 免费试用 文件大小： 2.94 MB
用户评分： 4.2/5 - 6 评分
请稍候，您的下载链接正在检测恶意内容。
您将能够在 5 秒内下载。
您将能够在 5 秒内下载。
关于 Robots.txt
机器人.txt是机器人排除文件和日志分析器软件的可视化编辑器。它允许用户快速轻松地创建机器人.txt文件所需的指示搜索引擎蜘蛛，网站的哪些部分不索引和搜索一般网络公众，然后识别蜘蛛，这不能遵守这些说明。该程序为用户提供了登录到其 FTP 或本地网络服务器的方法，然后选择不可搜索的文档和目录。通过这个程序，你将能够直观地生成行业标准机器人.txt文件;识别恶意和不需要的蜘蛛，并禁止他们从您的网站;将搜索引擎爬网程序直接引导到多语言网站的适当页面;使用机器人.txt文件进行门道页面管理;将蜘蛛从网站的敏感和私人区域保留出去;将格式正确的机器人.txt将文件直接上传到您的 FTP 服务器，而不是从机器人.txt编辑;跟踪蜘蛛访问;以 HTML、Microsoft Excel CSV 和 XML 格式创建蜘蛛访问报告等。免费程序的更新和升级不受限制的时间;要使用的网站数量不限