ContextQMD
Back to Langbot

LangBot Agent Testing 技术选型

skills/qa-agent-docs/qa-agent/00-technology-options.md

4.10.43.2 KB
Original Source

LangBot Agent Testing 技术选型

状态

这是技术选型背景文档，不是当前路线图。当前黑盒 E2E QA 的实施顺序见：

text
docs/qa-agent/04-black-box-e2e-roadmap.md

目标

langbot-skills 的目标不是替代测试框架，而是沉淀 agent 可复用的测试资产，让开发者 clone 仓库后，可以让 Codex、Claude Code、Computer Use 或 Playwright MCP 复用已有路径完成 LangBot 功能验证。

核心原则：

  • Skill 负责路由和少量规则。
  • Reference 负责可读流程和背景知识。
  • Case 负责结构化测试路径。
  • Troubleshooting 负责结构化故障资产。
  • lbs 负责结构校验、索引、资产创建和未来的运行/报告能力。
  • UI/browser 是产品 QA 的主路径；API/curl 只用于诊断。

浏览器控制层

不同开发者可用的浏览器控制能力不同，所以浏览器层必须可替换。

方案适用场景优点代价
Codex / Claude Computer Useagent 可以直接控制可见浏览器登录和交互路径最自然，通常不需要额外 MCP 浏览器桥接依赖具体 agent 工具能力
Playwright MCP没有 Computer Use，但有 MCP 浏览器工具稳定、可脚本化、适合回归路径OAuth 登录通常需要额外 visible profile
直接 Playwright 脚本测试路径非常稳定，适合 CI可重复性强需要维护脚本和 selector
商业 AI QA 平台团队希望外包测试运行平台报告和 PR 集成完整成本和平台绑定

当前推荐

先采用分层降级：

text
有 Computer Use？
  是 -> 使用 Computer Use 控制浏览器
  否 -> 使用 Playwright MCP

需要 GitHub OAuth？
  是 -> 使用持久浏览器 profile，让用户手动完成登录
  否 -> 直接使用已有登录态或测试账号状态

具体选择逻辑沉淀在：

text
skills/langbot-env-setup/references/browser-access-selection.md

测试原则固定在：

text
docs/qa-agent/03-agent-browser-qa-principles.md

环境变量层

测试文档不应写死端口。共享默认值放在：

text
skills/.env

关键变量：

text
LANGBOT_FRONTEND_URL
LANGBOT_BACKEND_URL
LANGBOT_DEV_FRONTEND_URL
LANGBOT_REPO
LANGBOT_WEB_REPO
LANGBOT_BROWSER_PROFILE

Agent 执行测试前应先读取 skills/.env，再用用户提供的当前环境或已启动服务覆盖默认值。

测试资产层

测试资产分两类：

text
skills/<skill>/
  references/        # Markdown 流程说明
  cases/             # 结构化测试用例
  troubleshooting/   # 结构化故障记录

当前已实现：

  • SKILL.md 路由
  • references/*.md
  • lbs case new/list/show
  • lbs trouble show/search
  • lbs test plan
  • lbs test report
  • lbs list / validate / index

下一步重点：

  • 日志守卫规则补充
  • 报告产物管理

关键判断

不要强制所有内容只能通过 CLI 修改。更好的模式是：

  • 新增 case/troubleshooting：优先使用 lbs
  • 大段流程说明：允许直接编辑 Markdown
  • 结构性变更后：必须运行 lbs validate
  • 任何生成索引的变更后：运行 lbs index

这样既能沉淀结构化资产，又不会在 schema 未稳定时拖慢迭代。