01
准备中
热门话题横测
拿真实任务跑一遍
AI Coding 这边隔一阵就会冒出一个很火的说法。比如从年初开始,不少人在推通用工作流 skill;到了 7 月,又开始出现大量“应该抛弃这类 skill”的说法。与其只看谁说得更像那么回事,不如直接拿任务跑。
准备怎么测
准备短、中、长程任务,先用现在的旗舰 / Flash 模型跑,再换成这些 skill 火起来时的同档模型;同时放到 Codex 这种重型内置流程和 pi 这种极简 harness 里对照。看看同一个说法在哪些情况下成立,token 多花多少,成功率有没有提高,会不会其实只是 harness 在起作用。这些任务和指标最后需要做成一套能跨模型、skill 和 harness 复用的实景横评工具。
- 短 / 中 / 长任务
- 旗舰 / Flash 模型
- Codex / pi
- 实景横评工具