docs/workspace/compare-evaluation-analysis/real-api-samples/pro-multi-compare/request.md
comparedashscopepro/multi优先判断 system 消息是否真正促使 assistant 先澄清
作为 system 消息,要求 assistant 先澄清用户目标,再给出建议,且不要抢答。
作为 system 消息,给出建议
shared-conversation-test-caseConversation SnapshotConversation Snapshotconversation目标消息已用“【当前执行提示词见下方快照】”标记,实际内容见下方执行提示词。
system: 【当前执行提示词见下方快照】
user: 我想做一个给团队用的笔记系统。
aAshared-conversation-test-casesiliconflow原始原始作为 system 消息,给出建议
建议你直接选 Notion。
没有任何澄清问题。
bBshared-conversation-test-casedashscope工作区工作区作为 system 消息,要求 assistant 先澄清用户目标,再给出建议,且不要抢答。
你更关注多人实时协作、权限控制,还是知识沉淀与搜索?
先澄清了需求,没有直接给方案。
{
"type": "compare",
"evaluationModelKey": "dashscope",
"mode": {
"functionMode": "pro",
"subMode": "multi"
},
"focus": {
"content": "优先判断 system 消息是否真正促使 assistant 先澄清",
"source": "user",
"priority": "highest"
},
"target": {
"workspacePrompt": "作为 system 消息,要求 assistant 先澄清用户目标,再给出建议,且不要抢答。",
"referencePrompt": "作为 system 消息,给出建议"
},
"testCases": [
{
"id": "shared-conversation-test-case",
"label": "Conversation Snapshot",
"input": {
"kind": "conversation",
"label": "Conversation Snapshot",
"summary": "目标消息已用“【当前执行提示词见下方快照】”标记,实际内容见下方执行提示词。",
"content": "system: 【当前执行提示词见下方快照】\nuser: 我想做一个给团队用的笔记系统。"
}
}
],
"snapshots": [
{
"id": "a",
"label": "A",
"testCaseId": "shared-conversation-test-case",
"promptRef": {
"kind": "original",
"label": "原始"
},
"promptText": "作为 system 消息,给出建议",
"output": "建议你直接选 Notion。",
"reasoning": "没有任何澄清问题。",
"modelKey": "siliconflow",
"versionLabel": "原始"
},
{
"id": "b",
"label": "B",
"testCaseId": "shared-conversation-test-case",
"promptRef": {
"kind": "workspace",
"label": "工作区"
},
"promptText": "作为 system 消息,要求 assistant 先澄清用户目标,再给出建议,且不要抢答。",
"output": "你更关注多人实时协作、权限控制,还是知识沉淀与搜索?",
"reasoning": "先澄清了需求,没有直接给方案。",
"modelKey": "dashscope",
"versionLabel": "工作区"
}
]
}