激活检查点:如何用重计算换显存来训练更大模型?
训练大模型时显存常被中间激活占满,激活检查点通过丢弃部分激活并在反向传播时重计算来降低显存峰值。本文以长序列 Transformer 训练为贯穿场景,解释其原理、与梯度累积和混合精度的组合,分析重计算开销与适用边界,并给出决策表格与流程图。
面向中文开发者拆解 AI、Java、JVM、浏览器与 Web 工程的复杂机制,也认真研究日常技术与生活问题。
面向开发者解析大模型、Agent、RAG、推理优化、评估体系与 AI 工程化实践。
训练大模型时显存常被中间激活占满,激活检查点通过丢弃部分激活并在反向传播时重计算来降低显存峰值。本文以长序列 Transformer 训练为贯穿场景,解释其原理、与梯度累积和混合精度的组合,分析重计算开销与适用边界,并给出决策表格与流程图。
本文以开放域问答为场景,解释对比解码(Contrastive Decoding)如何通过专家模型与业余模型的 logits 差异抑制退化重复,分析其与温度采样、top-p 的互补性,讨论计算开销、延迟影响及在长文本生成中的适用边界。
在线大模型服务中,KV Cache 的显存分配与复用直接决定吞吐与延迟。本文对比 vLLM 的 PagedAttention 与 SGLang 的 RadixAttention,解释块式分页、前缀树复用、驱逐策略与调度差异,并给出不同工作负载下的选型建议。
深入解析 Java、JVM、Spring、并发编程与服务端工程实践。
本文聚焦 G1 GC 对超过区域大小一半的巨型对象的处理机制,解释其为何直接进入老年代并可能引发提前 Full GC,以及如何通过调整区域大小(-XX:G1HeapRegionSize)优化。读者将理解巨型对象的分配路径、回收策略与工程权衡,并获得避免负面影响的配置方法。
本文聚焦 HotSpot 的 TLAB 机制,解释为何小对象分配通过指针碰撞完成,以及 TLAB 大小如何影响分配效率与 GC 停顿。通过高并发服务场景,分析 TLAB 初始化、分配流程、慢路径分配、参数调优及其与逃逸分析的关系,帮助读者理解并优化 Java 应用的对象分配性能。
为什么 Math.sqrt 和 System.arraycopy 会被 JIT 替换为 CPU 指令?本文聚焦 HotSpot C2 编译器的内在函数机制,解释识别与替换过程、常见内在函数、诊断方法,以及手写代码与内在函数的性能差异,帮助你利用内在函数优化数值计算和数组操作。
深入解析浏览器运行机制、Web 标准、性能工程与前端架构实践。
CSS Typed OM 将样式值表示为类型化对象,替代字符串读写。本文以动画中频繁操作 transform 和 width 为例,对比传统 style 字符串操作与 attributeStyleMap 的差异,说明其性能优势、浏览器支持边界及与 Houdini 的关系。
本文介绍 CSS Custom Highlight API 如何通过 ::highlight() 伪元素为任意文本范围应用样式,并与 ::selection 对比,分析其性能影响(如重绘范围),以代码编辑器语法高亮为例,对比传统 span 包裹方案,说明适用边界。
CSS Nesting 让样式表更紧凑,但嵌套规则在浏览器中会被扁平化为等效选择器,其权重计算方式与 :is() 类似,可能引发优先级陷阱。本文以组件库样式覆盖场景为例,对比 BEM 与嵌套写法,分析嵌套层级对层叠的影响及可维护性问题。
从生活里的小现象切入,讲清具体技术如何工作。
在陌生城市用手机指南针找方向时,常被提示画圈校准。本文解释手机磁力计如何感知地磁场方向,以及铁磁物体和电子设备如何干扰测量,说明校准为何能消除硬磁与软磁干扰,并指出校准后仍可能漂移的原因。
冬天手机电量骤降甚至自动关机,并非电池坏了,而是锂离子电池的物理特性在低温下被放大。本文从电池内部化学反应讲起,解释电解液变黏稠、锂离子迁移变慢如何导致内阻升高、可用容量减少,以及温度回升后电量恢复的原理,并给出实用的低温使用建议。
夜间把手机亮度调低,用另一部手机拍摄屏幕,画面里常出现一条条明暗条纹。这并非手机坏了,而是OLED屏幕采用PWM调光控制亮度,屏幕在极短时间内反复亮灭。本文从这一现象切入,解释PWM调光如何工作、占空比与亮度的关系,对比DC调光,并说明低频PWM可能引起视觉疲劳的原因,帮助读者识别低频PWM屏幕。
围绕一个具体生活问题,给出原理、步骤与避坑方法。
带制冰机和饮水机的冰箱出冰变慢、冰块有异味,很可能是水过滤器吸附饱和了。本文解释活性炭过滤器的工作原理、更换周期判断方法,并给出可照着做的更换步骤与常见误区,帮你恢复制冰效果。
吸尘器吸力变弱、刷头不转,很多时候不是电机或滤网的锅,而是滚刷被头发和宠物毛缠住了。这篇文章解释缠绕如何影响吸力与转动,并给出断电拆刷、剪断缠绕、清理刷毛、装回测试的完整步骤,同时说明适用边界、常见误区与防缠绕替代方案。
带制冰机和饮水机的冰箱出冰变慢、冰块变小或有异味,常见原因不是制冷系统故障,而是水过滤器堵塞或饱和。本文解释过滤器如何影响水流量和冰质,并给出可照着做的更换步骤、适用边界和常见误区,帮助你用最小成本恢复制冰效果。
围绕一个具体问题检索资料、讲清机制与边界,范围不限。
本文以 DeepSeek Harness 作为贯穿案例,解析 Cordis 元框架如何通过共享 context、插件、可逆 effects、reactive coeffects、服务注册、事件和配置组合实现空间与时间组合。文章区分了 Cordis 通用机制、Harness 已实现内容和合理推断,并通过对比表格与 Mermaid 流程图展示一次代码任务中数据与状态的流动,以及可逆 effect 在卸载、热更新、错误恢复中的价值。
围绕 2024 年 7 月大模型集体答错「9.11 和 9.9 哪个大」的现象,从分词器对数字的切分、训练数据的语境偏差与概率预测机制切入,解释错误成因、成立边界与改进方向。