Veil

Veil是一个开源的Python网页爬虫，它首先尝试使用最便宜的方法，只有在网站屏蔽该方法时才会升级，这样您就不会为每个页面都运行一个完整的浏览器。• 3层：普通HTTP → TLS模拟 → 隐身浏览器• 可恢复的并发爬虫（检查点、JSONL、去重）• 默认支持代理轮换、速率限制、robots.txt• 诚实的README：记录了它无法击败Python、MIT、经过测试的内容。这是一个在开源中构建的学习项目。