激活检查点：如何用重计算换显存来训练更大模型？
训练大模型时显存常被中间激活占满，激活检查点通过丢弃部分激活并在反向传播时重计算来降低显存峰值。本文以长序列 Transformer 训练为贯穿场景，解释其原理、与梯度累积和混合精度的组合，分析重计算开销与适用边界，并给出决策表格与流程图。
AI
AI 技术
面向开发者解析大模型、Agent、RAG、推理优化、评估体系与 AI 工程化实践。
62 篇文章
对比解码：为什么同时运行专家模型与业余模型能提升生成质量？
本文以开放域问答为场景，解释对比解码（Contrastive Decoding）如何通过专家模型与业余模型的 logits 差异抑制退化重复，分析其与温度采样、top-p 的互补性，讨论计算开销、延迟影响及在长文本生成中的适用边界。
KV Cache 管理策略对比：vLLM 的 PagedAttention 与 SGLang 的 RadixAttention
在线大模型服务中，KV Cache 的显存分配与复用直接决定吞吐与延迟。本文对比 vLLM 的 PagedAttention 与 SGLang 的 RadixAttention，解释块式分页、前缀树复用、驱逐策略与调度差异，并给出不同工作负载下的选型建议。
思维链提示：为什么让模型逐步推理能显著提升复杂任务准确率？
本文解析思维链（Chain-of-Thought）提示的机制，说明它如何通过中间推理步骤激活模型的组合泛化能力，在算术、常识推理等任务上显著提升准确率。文章对比零样本与少样本思维链，讨论提示设计、模型规模与任务类型的影响，并指出思维链失效的场景与替代方案，帮助读者在实际应用中做出合理决策。
自适应计算时间与早期退出：动态深度如何平衡大模型推理延迟与精度
在线问答服务中，不同问题难度差异巨大，固定层数推理浪费算力。本文解释自适应计算时间（ACT）与早期退出机制如何让模型按输入难度动态决定推理深度，对比固定深度推理，分析置信度阈值、层间分类器设计、训练策略及与批处理、KV Cache的兼容性，并讨论延迟、吞吐与精度的权衡及适用边界。
上下文位置偏置：为什么长上下文模型在 RAG 中仍会遗漏关键信息
长上下文模型宣称能处理百万级 token，但在长文档问答中仍会遗漏中间位置的关键信息。本文以企业知识库问答为场景，解释 Lost in the Middle 现象的成因，对比重排、检索增强和滑动窗口等缓解策略，并讨论在 RAG 流水线中的工程取舍。
HyDE 查询改写：为什么用生成文档代替原始查询能提升 RAG 检索精度？
本文以企业知识库问答为场景，解释 HyDE 如何通过让 LLM 生成假设性答案文档并用其嵌入检索，弥补查询与文档的词汇鸿沟。分析其与直接检索、查询扩展的差异，讨论生成质量、延迟开销、领域适配及失效边界，并给出生产环境中的决策建议。
上下文位置偏置：为什么大模型对长文档中间信息“视而不见”？
本文以长文档问答为场景，解释大模型对上下文不同位置信息利用率差异的现象，即“Lost in the Middle”问题。分析注意力分布与训练数据截断等成因，对比截断、重排、检索增强等缓解策略，并讨论在RAG流水线中的工程取舍，帮助读者理解并应对长上下文利用的挑战。
注意力头剪枝：为什么删除部分注意力头反而能提升模型性能？
本文以机器翻译模型压缩为场景，解释注意力头剪枝如何通过识别冗余头减少计算量，分析剪枝后性能提升的机制，对比结构化剪枝与稀疏剪枝，讨论推理部署中的收益与风险。
RAGAS 评估框架：如何用忠实度与答案相关性量化 RAG 流水线的质量？
本文以企业知识库问答为场景，介绍 RAGAS 如何利用 LLM 自动评估 RAG 流水线中的忠实度、答案相关性与上下文相关性。文章解释各指标的构建原理、计算步骤与适用边界，对比其与人工评估的差异，并讨论在跨领域、多语言场景下的局限与部署建议。
RAG-Fusion 与混合检索：多路召回如何通过倒数排名融合提升检索质量？
以企业知识库问答为场景，解释 RAG-Fusion 如何结合向量检索与 BM25 等多路召回，通过倒数排名融合（RRF）合并结果，并对比重排序（Rerank）的差异。分析 RRF 的数学原理、参数敏感性（k 值）、融合策略对召回率和精度的影响，讨论在 RAG 流水线中的部署位置与性能开销。
交叉编码器重排序：为什么让查询与文档逐 token 交互能显著提升检索精度？
本文以企业知识库多路召回为场景，解释交叉编码器如何通过全交互注意力建模查询-文档相关性，对比双编码器的向量内积，分析其精度优势与延迟代价，并讨论在 RAG 流水线中的级联部署、批处理优化与模型蒸馏实践。
投机解码中草稿模型的选择：从独立小模型到自推测架构的工程权衡
本文以在线大模型服务为场景，对比投机解码中独立小模型、Medusa/EAGLE 自推测架构与多模型投机三条草稿模型构建路线，分析训练成本、接受率、显存开销与加速比的权衡，并讨论低接受率与长序列下的失效边界及工程调优方法。
连续批处理如何提升大模型吞吐：迭代级调度与延迟权衡
在线聊天服务中，静态批处理因输出长度差异导致GPU利用率低下。本文以聊天场景贯穿，解释连续批处理如何通过迭代级调度动态加入和完成请求，分析其对TTFT和TPOT的影响，并讨论最大批大小、队列策略等参数如何权衡吞吐与延迟，以及适用边界。
投机解码中的拒绝采样：为什么接受率不是唯一决定加速比的因素
本文以在线大模型服务为场景，解释投机解码中拒绝采样如何保证输出分布与目标模型一致，分析接受率、草稿模型成本、验证批大小与加速比的关系，对比 Medusa、EAGLE 等变体，讨论低接受率或长序列下的失效边界与工程调优方法。
束搜索解码：为什么增大束宽反而降低生成质量？
束搜索是机器翻译和文本生成中常用的解码策略，但增大束宽并不总是提升质量，反而可能导致重复、空洞的译文。本文以机器翻译为场景，解释束搜索如何维护多个候选序列、长度偏置与过度约束如何导致质量下降，并对比贪心解码、采样与束搜索的适用边界，讨论长度归一化与惩罚项的工程权衡。
核采样（Top-p）如何平衡生成质量与多样性：从截断到动态候选集
核采样（Nucleus Sampling，即 Top-p）通过动态选择累积概率达到阈值的候选 token 集合，解决了固定截断策略在概率分布变化时失效的问题。本文从神经文本退化现象出发，解释核采样的机制、与 Top-k 及温度参数的相互作用，并结合对话生成与故事创作场景讨论参数设置、低熵分布下的失效模式及工程实现要点。
提示注入如何穿透 RAG 检索上下文：从间接注入到防御性提示的失效边界
本文以企业知识库问答为场景，剖析间接提示注入如何通过检索到的文档内容劫持模型行为，对比其与直接注入的差异，拆解攻击载荷的构造原理，并解释提示隔离、输入过滤、权限控制等现有防御为何失效，最后给出可操作的检测与缓解策略。
CUDA Graph 如何消除大模型推理中的 Kernel 启动开销
本文以在线大模型服务为场景，深入解析 CUDA Graph 通过捕获并重放 GPU Kernel 序列来减少 CPU 启动开销和内核间延迟的机制。文章分析了其与动态形状、批处理大小变化、PagedAttention 等技术的兼容性，讨论了捕获成本、内存占用和适用边界，并通过对比表格和流程图帮助读者理解何时使用 CUDA Graph 能获得显著收益。
KV Cache 驱逐策略：H2O 如何通过注意力分数识别重要 Token 并压缩缓存
长上下文在线服务中，KV Cache 随序列长度线性增长，成为显存瓶颈。本文聚焦 H2O 方法，解释其如何基于注意力分数识别 Heavy Hitter Token 并动态驱逐低价值 KV 对，对比 LRU、StreamingLLM 等策略，分析对生成质量、显存与延迟的影响，并讨论适用边界与实现复杂度。
DeepSeek-V3 的多 Token 预测：额外预测头如何提升训练效率并支持投机解码
本文以训练 DeepSeek-V3 为场景，解析多 Token 预测（MTP）的机制：如何通过串行预测头让模型同时学习多个未来 token，共享嵌入与输出头以控制开销，并在推理时用于投机解码。文章对比 MTP 与单 Token 预测、并行多头方案，分析其样本效率、推理加速收益及实现复杂度。
KV Cache 驱逐策略：从 LRU 到 H2O 的注意力感知淘汰机制
长上下文在线服务中，KV Cache 随序列增长迅速膨胀，成为显存与延迟瓶颈。本文以企业知识库问答为场景，对比 LRU、滑动窗口与 H2O 等驱逐策略，解释注意力感知淘汰为何更有效，分析其对生成质量、显存和延迟的影响，并讨论适用边界与实现复杂度。
约束解码如何保证大模型输出格式：从正则到文法约束的机制与工程权衡
本文以自动生成可解析的 JSON 和 SQL 为场景，解释约束解码如何在前向传播时屏蔽非法 Token，对比后处理修复与重试的失败模式，分析对生成质量、延迟和实现复杂度的影响，并给出适用边界。
Activation Beacon：用压缩激活值实现无限上下文流式推理
面对超长文档问答场景，本文解析 Activation Beacon 如何通过压缩历史 token 的激活值而非 KV Cache 实现无限上下文流式推理，对比 StreamingLLM 的注意力沉没方案，分析压缩率、信息保留与推理速度的权衡，并给出工程实现要点与失效边界。
大模型结构化输出：JSON Mode 与函数调用的机制、失败模式与工程选型
以自动生成业务报表为场景，解析大模型结构化输出的三种实现路径：仅提示词的 JSON 模式、约束解码（原生结构化输出）与函数调用，以及验证加重试的后处理方案。对比 OpenAI JSON Mode、函数调用与开源约束解码的差异，分析格式错误、内容截断、模式切换等失败模式，并给出工程选型与校验建议。
提示词缓存如何降低大模型 API 调用成本：Anthropic 与 OpenAI 的实现与失效条件
本文以企业批量调用大模型 API 为场景，解析提示词缓存如何通过复用前缀的 KV 状态减少重复预填充计算，并对比 Anthropic 与 OpenAI 的缓存机制、计费方式、命中条件与失效策略，讨论其对延迟、成本及数据隐私的影响，给出适用边界。
检索头机制：Transformer 如何通过特定注意力头实现上下文信息检索
本文以企业知识库问答为场景，分析 Transformer 中检索头（Retrieval Heads）的机制：它们如何通过注意力模式从长上下文中提取信息，与普通注意力头的差异，以及如何通过头消融实验验证其功能。同时讨论在 RAG 和长上下文模型中的应用与局限性。
滑动窗口注意力：局部窗口与全局缓存如何支撑长文本高效推理
以长文档摘要为场景，解析滑动窗口注意力如何通过限制注意力范围将计算复杂度从平方降为线性，并借助跨层信息传递与KV缓存轮转保留远距离信息。对比全局注意力与稀疏注意力，分析显存、延迟与质量权衡，以及窗口大小对困惑度的影响。
大模型文本水印：Kirchenbauer 方法的红绿列表偏置与检测可靠性
本文以识别 AI 生成文本为场景，深入解析 Kirchenbauer 水印方法：如何在生成时通过偏置 logits 嵌入信号，如何用统计检验检测，以及硬水印与软水印的差异。同时探讨低熵文本、翻译和改写攻击下的鲁棒性，帮助读者理解水印的适用边界与工程权衡。
AI 推理系列（十六）：PagedAttention——为什么 vLLM 能把 GPU 显存“像操作系统一样”管理？
围绕在线大模型服务中动态增长的 KV Cache，解释 PagedAttention 如何通过逻辑块、物理块和块表实现按需分配，并分析内部碎片、Copy-on-Write、Prefix Caching、Continuous Batching 及长上下文场景中的工程边界。
AI 推理系列（十八）：SnapKV——为什么模型真正关注的历史 Token，可能不到 10%？
围绕长上下文 Decode 中持续增长的 KV Cache，解释 SnapKV 如何利用 Prompt 末尾观察窗口估计各 Attention Head 的关键历史位置，并分析按 Head 选择、局部聚合、显存与带宽收益、多轮 Agent 失效以及指令遵循风险。
AI 推理系列（十七）：Hymba——为什么 Attention 和 Mamba 一定要二选一？
围绕小模型推理中的精确检索、固定状态与 KV Cache 成本，解释 Hymba 如何在同一层并行组合 Attention Head 与 SSM Head，并分析 Meta Token、跨层 KV 共享、部分滑动窗口、混合 Kernel 和端侧部署中的工程边界。
AI 推理系列（十五）：TokenFormer——如果模型参数也是 Token，会发生什么？
围绕大模型每次扩容都要重新训练的成本，解释 TokenFormer 如何用 Token-Parameter Attention 将部分固定矩阵计算改写为可查询的 Parameter Tokens，并分析渐进扩容、参数复用、训练稳定性、推理开销与工程生态边界。
AI 推理系列（十四）：Mamba 的 Selective State Space——不用 Attention，模型如何“记住”长序列？
从长日志流和持续生成场景出发，解释 Mamba 如何用输入相关的选择性状态更新替代持续增长的 KV Cache，分析 Selective Scan、Mamba-2 的 SSD、Mamba-3 的状态表达能力，以及线性复杂度在 GPU 与真实推理系统中的收益边界。
Graph RAG 如何通过知识图谱增强大模型的多跳推理与事实一致性
本文以医疗问答为场景，解析 Graph RAG 如何通过知识图谱的结构化信息解决传统 RAG 在多跳问答中的推理断裂与幻觉问题。内容涵盖图构建、实体链接、图检索与推理路径生成，对比向量检索与 Text-to-Cypher，并讨论索引更新、查询延迟与领域迁移的工程权衡。
上下文文档嵌入：Anthropic 的上下文检索如何提升 RAG 检索相关性
本文以法律文档检索为场景，分析 Anthropic 提出的上下文检索（Contextual Retrieval）如何通过为每个文本块生成包含文档上下文的嵌入来改善检索相关性，对比传统分块嵌入，讨论预处理成本与延迟。
Gorilla 的文档感知微调：如何让语言模型准确调用 API 并降低幻觉
本文以自动调用云 API 为场景，解析 Gorilla 如何利用 API 文档进行微调，生成正确的调用语法，对比 Toolformer 的自监督方法，讨论幻觉、API 变更适应性与检索增强的集成。
多向量检索：ColBERT 的迟交互机制如何平衡检索精度与索引成本
在企业知识库等细粒度文档检索场景中，单向量模型常因信息压缩而遗漏细节，交叉编码器虽精确却计算昂贵。本文以 ColBERT 的迟交互机制为核心，解释其如何通过 token 级向量匹配提升精度，并对比单向量与交叉编码器的延迟和存储开销，同时讨论索引压缩与近似搜索的工程权衡。
自一致性采样：通过多条思维链投票提升大模型推理可靠性
大模型在数学问题求解中单次贪心解码容易因一步推理偏差导致最终答案错误。本文以数学问题为场景，分析自一致性如何通过采样多条思维链并投票选择最一致答案来缓解这一问题，并讨论采样温度、样本数量与计算开销之间的权衡。
AI 推理系列（十三）：EAGLE——为什么预测“下一个 Token”不如预测模型内部的“思维特征”？
围绕大模型逐 Token 解码的串行瓶颈，解释 EAGLE 为什么把 Draft 从离散 Token 预测转向目标模型隐藏 Feature 预测，并分析 Feature Uncertainty、候选验证、接受长度、Draft 成本、Batch 与在线服务中的真实加速边界。
AI 推理系列（十二）：Attention Sink——为什么删除最早几个 Token，会让大模型突然“失忆”？
围绕长期 Agent 与流式推理中 KV Cache 持续增长的问题，解释 Attention Sink 为何使纯滑动窗口在删除初始 Token 后出现质量退化，以及 StreamingLLM 如何保留少量 Sink Token 与最近窗口，在固定缓存预算下持续处理数据流，并分析它与真正长上下文和长期记忆的边界。
AI 推理系列（十一）：Ring Attention 如何让多张 GPU 共同计算一条超长序列
围绕百万 Token 长上下文的单卡容量瓶颈，解释 Ring Attention 如何沿序列维度切分 Q/K/V，让 KV Block 在多张 GPU 间环形流动并与本地计算重叠，同时分析 online softmax、Context Parallelism、Ulysses、GQA 与跨节点网络带宽之间的工程权衡。
Medusa 多头投机解码：通过并行候选头加速大模型推理
大模型自回归解码受限于顺序生成，每次只能输出一个 token，导致高延迟和低硬件利用率。Medusa 在原始模型上附加多个预测头，一次生成多个候选 token，并通过树状注意力并行验证，显著减少解码步骤。本文以在线聊天服务为场景，拆解其训练流程、树状注意力机制、典型接受方案，并与传统投机解码对比，分析候选接受率对加速比的影响及适用边界。
LLM-as-Judge 评估偏差：位置偏见与冗长偏好如何影响大模型评判可靠性
在自动评估问答质量时，用大模型当裁判会引入位置偏见和冗长偏好，导致评分随答案顺序或长度变化，扭曲模型对比结果。本文以企业知识库问答评估为场景，剖析这两种偏差的成因，对比交换位置、校准评分等缓解策略，并讨论它们对排行榜和迭代决策的误导风险。
AI 推理系列（十）：MLA 如何用低秩压缩重构 KV Cache：从 DeepSeek-V2 到 FlashMLA
围绕长上下文推理中的 KV Cache 容量与带宽瓶颈，解释 Multi-head Latent Attention 如何通过低秩 KV 联合压缩只缓存潜在表示，并分析 Decoupled RoPE、GQA/量化差异、Kernel 融合以及训练与推理路径中的工程权衡。
AI 推理系列（九）：Chunked Prefill 如何避免长 Prompt 阻塞在线大模型服务
解释长 Prompt Prefill 如何阻塞在线 Decode，以及 Chunked Prefill 如何通过分块和混合调度改善流式延迟，并分析 Chunk Size、Token Budget、TTFT、TPOT、Goodput 与 Prefill-Decode 分离之间的工程取舍。
AI 推理系列（八）：Prefix Caching 如何减少 Agent 重复 Prefill：从 KV 复用到 RadixAttention
围绕 Agent、RAG 与多轮对话中反复出现的长 System Prompt、工具定义和历史前缀，解释 Prefix Caching 如何复用已计算的 KV Cache，分析 vLLM Block Hash、SGLang RadixAttention、缓存淘汰、多级存储及命中率对 TTFT 与吞吐的影响。
AI 推理系列（七）：Mixture-of-Depths：让不同 Token 获得不同 Transformer 计算深度
围绕在线大模型推理中的固定深度计算开销，解释 Mixture-of-Depths 如何用固定容量路由让部分 Token 跳过 Transformer Block，并分析它与 MoE、Early Exit、KV Cache、Gather/Scatter 和 GPU 规则计算之间的工程权衡。
AI 推理系列（六）：RoPE 如何编码 Token 距离：从旋转位置到长上下文扩展
从 Self-Attention 不具备天然顺序感这一问题出发，解释 RoPE 如何通过旋转 Query 和 Key 注入位置关系，并梳理 Position Interpolation、YaRN、LongRoPE 等上下文扩展方法的机制、工程边界与长文本系统中的真实瓶颈。
工具调用代理的错误恢复：从重试、回退到人工干预的工程策略
当 LLM Agent 调用外部 API 失败时，简单的重试往往不够。本文以旅行预订助手为场景，分析 API 异常、参数错误和超时等故障模式，对比 ReAct 的自我修正、Toolformer 的过滤机制与基于规则的恢复，讨论重试次数、回退策略与人工介入的工程实现，帮助开发者在自动化与可靠性之间做出权衡。
重排序模型在 RAG 中的精度-延迟权衡：交叉编码器与双编码器的对比
本文聚焦 RAG 检索后重排序阶段，以多路召回融合为场景，对比交叉编码器（如 BGE-reranker）与双编码器在精度和延迟上的差异。通过分析级联架构、模型蒸馏与批处理优化，解释重排序如何缓解“中间丢失”问题，帮助读者在工程实践中做出权衡。
自动规划工具使用：从 ReAct 到 Toolformer 的工程演进
大模型调用外部工具时，如何自动解析 API 文档、生成动作序列并处理错误？本文以企业客服查询系统为贯穿场景，对比 ReAct 的推理-行动交织与 Toolformer 的自监督工具学习，剖析二者在复杂 API 场景下的规划策略、鲁棒工具选择与执行验证方案，并给出工程权衡与常见失败模式。
大模型幻觉自动评估：TruthfulQA 与 HaluEval 的机理、指标与工程权衡
聚焦 TruthfulQA 与 HaluEval 两个代表性基准，解析它们在设计机理、评估指标和生成式模型对抗性评估上的异同。文章以企业知识库问答为贯穿场景，讨论指标效度、跨领域泛化不足等挑战，并探索结合人工评估与自动评估的工程实践，帮助读者理解幻觉评估的适用边界与部署决策。
AI 推理系列（五）：MoE 专家路由如何实现稀疏激活：从 Router 到专家并行的工程权衡
围绕大规模 MoE 模型的专家路由机制，解释 Token 如何通过 Top-K Router 只激活少量专家，并分析负载均衡、Shared Expert、Expert Parallelism、All-to-All 通信以及真实推理流量下的热点与部署边界。
LLaVA 视觉指令微调：从投影层对齐到多模态幻觉缓解
以 LLaVA 为例，深入分析视觉指令微调如何通过两阶段训练将视觉编码器与语言模型对齐，覆盖投影层设计、数据构造与端到端微调，并讨论多模态幻觉的成因与缓解手段，为实际部署提供工程权衡。
AI 推理系列（四）：KV Cache 量化如何压缩长上下文推理：从 KIVI 到混合精度缓存
围绕长上下文和高并发推理中的显存瓶颈，解释 KV Cache 量化为何需要区别处理 Key 与 Value，分析 KIVI、KVQuant 等方案的量化粒度、离群值处理与运行时开销，并讨论它与 GQA、PagedAttention、Prefix Caching 的组合边界。
AI 推理系列（三）：Grouped-Query Attention 如何压缩 KV Cache：MHA、MQA 与 GQA 的工程权衡
围绕长上下文在线推理中的 KV Cache 显存压力，解释 Grouped-Query Attention 如何让多组 Query Head 共享更少的 Key/Value Head，并分析它与 MHA、MQA、PagedAttention、FlashAttention 的边界、吞吐收益和质量权衡。
AI 推理系列（二）：FlashAttention 如何用 IO 感知分块加速 Transformer 注意力计算
从 GPU 内存层级与 Attention 中间矩阵的数据流出发，解释 FlashAttention 如何通过分块计算、online softmax 和片上数据复用减少 HBM 读写，并分析 FlashAttention-2、长上下文训练、prefill 与逐 Token 解码中的实际收益和工程边界。
AI 推理系列（一）：Speculative Decoding 如何加速大模型推理：从候选生成到并行验证
围绕在线大模型服务的逐 Token 生成瓶颈，解释 Speculative Decoding 如何用低成本候选生成配合目标模型并行验证减少串行解码轮次，并分析接受率、Draft 成本、KV Cache、连续批处理、Medusa 与 EAGLE 等工程权衡。
过程监督如何提升大模型数学推理：从 PRM800K 到自动化的实践与挑战
本文以 OpenAI 的 Let's Verify Step by Step 为切入点，剖析过程监督相比结果监督在数学推理中的优势。重点讨论过程奖励模型训练数据的构建、步骤级人工标注的成本与自动化替代方案（如 Math-Shepherd），以及在 Lean 等形式化验证环境中的应用潜力和挑战。
直接偏好优化与 RLHF 在大模型对齐中的实现与权衡
系统对比 DPO 与基于 PPO 的 RLHF 在实现复杂度、训练稳定性、计算开销及最终性能上的差异，聚焦 DPO 如何通过隐式奖励建模将对齐简化为分类损失，并从工程角度分析两种方案在在线服务场景中的关键权衡。
RAPTOR：基于递归摘要的树状索引增强检索
介绍 RAPTOR 方法如何通过递归嵌入、聚类与摘要构建多层树状索引，解决长文档检索中粒度过粗的问题，并与传统分块策略进行对比，讨论工程实现、成本权衡及局限性。