TOKEN-OPTIMIZATION · METHOD
Chain of Draft
Chain of Draft
Overview
Chain of Draft (CoD) 是一种受人类推理方式启发的提示范式,通过生成极简的中间推理步骤(每步约 5 个词)替代冗长的逐步推理文本,在保持或超越 CoT 准确率的同时仅使用 7.6% 的 token。本文综合 arXiv 论文与 Token Optimize 指南,梳理 CoD 的核心机制、实验数据和相关技术。
为什么重要
CoT(Chain of Thought)几乎是默认推理范式,但它烧 token——每多一个推理步骤都是上下文成本和延迟成本。CoD 用 arXiv 论文实证:极简推理可以达到甚至超越 CoT 准确率,仅 7.6% token 消耗。这是把”提示工程”从经验技巧升级为可量化优化的一个里程碑案例,对预算紧的生产 Agent 尤其重要。
为什么重要
CoT(Chain of Thought)几乎是默认推理范式,但它烧 token——每多一个推理步骤都是上下文成本和延迟成本。CoD 用 arXiv 论文实证:极简推理可以达到甚至超越 CoT 准确率,仅 7.6% token 消耗。这是把”提示工程”从经验技巧升级为可量化优化的一个里程碑案例,对预算紧的生产 Agent 尤其重要。
核心机制
传统 Chain-of-Thought (CoT) 提示词为 “think step by step”,鼓励模型生成详细的推理过程。CoD 在此基础上增加约束:
"think step by step, write only ~5 words per step"
关键区别:CoD 不要求模型”解释”每一步的推理,只要求输出”极简但信息丰富”的中间结果。这模拟了人类在心算或快速推理时的行为——大脑产生简短的心理草稿而非完整的叙述。
实验结果
| 任务 | CoT Token 消耗 | CoD Token 消耗 | 节省比例 | 准确率 |
|---|---|---|---|---|
| GSM8K(数学推理) | 100% 基线 | ~7.6% | 92.4% | 持平或超越 |
| 日期理解 | 100% 基线 | ~7.6% | 92.4% | 持平或超越 |
| 体育理解 | 100% 基线 | ~7.6% | 92.4% | 持平或超越 |
三项基准测试中,CoD 在准确率持平甚至超越 CoT 的同时,仅消耗约 7.6% 的 token。
推理模型的注意事项
推理模型(如 o1、DeepSeek-R1)已经在内部执行 chain-of-thought。对这些模型额外添加显式 CoT 提示,仅带来 2.9–3.1% 的准确率提升,却不值得 10–13 倍的 token 开销。因此,CoD 应主要应用于标准模型。
相关技术
- Concise Chain-of-Thought (CCoT):在多选题任务上将回复长度削减约 49%
- Focused Chain-of-Thought (F-CoT):通过结构化输入将 token 使用降低 2–3 倍
See Also
- 高效表达指南 — Agent/Skill 编写的整体精简表达体系
- Token 高效提示模式 — 输出格式优化、Prompt 压缩和语义缓存
反向链接
- Agent / Skill 高效表达指南 See Also
- Token 高效提示模式 Inline
- Token 高效提示模式 See Also