crawl4ai

官方文档、源码

1. 环境搭建和第一个案例
2. 更多，敬请期待

playwright

提供可靠的E2E端到端测试

官网、源码

1. 搭建环境：SpringAI智能体开发-小团队如何应对软件项目交付压力，自动化测试Agent来帮你(上)
2. 3步用Java控制浏览器：LangChain4j + Playwright实战、https://mp.weixin.qq.com/s/WXYvc_HmIObJaoqxkR3RCw
3. Playwright for Java、api
4. 用 Playwright 拦截与修改网络请求

firecrawl

官网、github

使用方法

# pip install firecrawl-py
from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-xxx")

# Scrape a website:
app.scrape('firecrawl.dev')