五条评价,能说“大家都嫌包装差”吗?
商品运营打开一款陶瓷杯的评价列表,问 Agent:“最近买家主要在说什么?” 第一页五条评价里,有人说杯子没坏、外盒有压痕,有人同时提到发货慢和外盒有折痕。Agent 给出“包装破损”和“发货等待”两个主题,方便运营决定先展开哪组原文。如果结论写成“40% 的买家认为包装有问题”,周报读者很难看出这个比例其实来自什么范围。
这里的五条是按最新时间取的第一页,计数单位是评价。同一位买家可能提交多条评价,未提交评价的买家也不在样本里。页面显示“本次 5 条样本中有 2 条被引用”,并把分子对应的原文打开给人看。按最近时间取的样本可以辅助排查,推广到所有买家还需要更明确的覆盖范围和采样方法。AAPOR 对内容分析的信息披露同样要求说明纳入、排除和采样规则。这里借用的是这条透明性原则。AAPOR 标准与伦理
交互示例使用虚构评价和固定的模拟模型返回。页面可以切换正常、重复引用、样本外引用、引文不符、旧快照、空样本和结构错误七个场景,不接入真实平台或模型。打开交互示例 · 下载源码
工具负责取样,Agent 负责提出分组
简化的读取工具 readSample() 返回商品、筛选说明、快照 ID 和本页评价。快照 ID 绑定本次归纳所用的内容。真实接口可以给商品、筛选条件、权限范围以及读取时的版本分配一个快照标识,并保存被读到的评价集合。若评价翻页、排序变化或切成“只看低分”,前端应准备一份新快照,候选也需要重新核对。
| 数据 | 由谁提供 | 页面用在哪里 |
|---|---|---|
| 商品、时间排序、星级范围 | 只读评价工具 | 标明当前分析范围 |
| 评价 ID 与原文 | 只读评价工具 | 执行引用核对和展示原文 |
| 主题代码、评价 ID 与引文 | Agent 候选 | 表示建议如何分组 |
| 每个主题的引用计数 | 校验后的程序结果 | 显示本次样本内的引用条数 |
候选只有 sampleId 与 groups,每组带主题代码和引用列表。示例提前约定两种主题,以免模型自己创建诸如“全站最差包装”这类带判断的标题。页面根据主题代码查出自己的标题,并从工具快照回读评价原文。后续加入新主题时,运营可先写明主题如何判定,再用人工看过的样例检查误分。
每条引用都要通过两个检查
页面先把候选当作 unknown 处理。快照不匹配或分组结构不符时,整个结果需要重新生成。结构正确时,程序以评价 ID 查找当前样本,确保引用存在。再核对引文确实是该评价的连续片段。编号找得到,但文字来自另一条评价,同样会排除。局部拒绝会保留其余有效引用,同时显示排除数量,方便运营看到结果需要回头检查。
const review = reviewsById.get(ref.reviewId)
if (!review || ref.quote.trim().length < 4 ||
ref.quote.length > 80 || !review.text.includes(ref.quote)) {
excluded++
continue
}
if (accepted.has(review.id)) {
duplicates++
continue
}
accepted.set(review.id, { review, quote: ref.quote })
四到八十个字符是演示约定,用于限制引文的大小。它既不衡量证据分量,也无法保证引文支持主题。比如原文说“我担心外盒有压痕,收到后发现完好无损”,单独摘出“外盒有压痕”虽能通过子串核对,仍容易让人误会。因此展开卡片时,读者同时看到引文和完整原文。要验证分类质量,可以准备含否定、反讽、转述和一条评价表达多个主题的对照数据,把语义准确率与引用核验结果分别记录。
一条评价,可以同时出现两张卡
一条评价可能同时谈发货和包装,所以示例先按主题,再按评价 ID 存放引用。包装主题的 R-02 重复出现只算一次,发货主题也可以独立引用同一条。两个主题各有两条引用,合起来只有三条不同评价。主题卡片不做跨主题求和,也不将没有被模型引用的评价视为“确定未提到”。这种按键去重可以用 Set,这里使用 Map 是因为每条引用还需要保存对应原文和引文。MDN Map 键的定义
Vue 的主题列表使用主题代码作 key,引用列表使用评价 ID 作 key。展开原文的区域额外按场景和样本重建,以免从正常场景切到引文错误时沿用上次展开状态。评价和引文通过文本插值渲染,像 <小件> 这样的普通原文会显示为文字。线上若开放从原文跳到详情,链接也应由页面根据可信评价编号构造。Vue 列表渲染 · Vue 安全指南
本地运行和验收
解压源码包后可直接用浏览器打开 index.html。要修改代码或重跑测试,在解压目录执行以下命令,再访问 http://127.0.0.1:8765/。
npm ci
npm run typecheck
npm test
npm run build
python3 -m http.server 8765
先在正常场景展开两个主题,确认“外盒有折痕”和“下单后三天才发货”都属于 R-02。再选“同一主题重复引用”,检查包装仍显示两条。选择“引用样本外评价”会排除一条不存在的记录,选择“编号正确,引文不符”会使包装少一条。最后切换旧快照、空样本和结构错误,检查主题区显示具体的处理提示。离线断言还直接覆盖空引文和未登记主题。
示例中的评价和模型候选都是固定样本,离线验证只证明约定的输入能走到预期分支。接到业务点评工具时,服务端需要先根据操作者权限和商品范围取数据,再决定给模型哪些已脱敏字段。报告使用原文时,也应保留样本时间、筛选条件、已核对的引用和审核记录,让下一位运营能复查同一批评价。