WIBLOG · Technological & Life

聊技术,也聊那些值得认真琢磨的生活小事。

145篇文章6个内容分类
RECENT NOTES

最近更新

查看归档

TLAB 与指针碰撞分配:HotSpot 线程本地分配缓冲区的生命周期与调优

本文聚焦 HotSpot 的 TLAB 机制,解释为何小对象分配通过指针碰撞完成,以及 TLAB 大小如何影响分配效率与 GC 停顿。通过高并发服务场景,分析 TLAB 初始化、分配流程、慢路径分配、参数调优及其与逃逸分析的关系,帮助读者理解并优化 Java 应用的对象分配性能。

束搜索解码:为什么增大束宽反而降低生成质量?

束搜索是机器翻译和文本生成中常用的解码策略,但增大束宽并不总是提升质量,反而可能导致重复、空洞的译文。本文以机器翻译为场景,解释束搜索如何维护多个候选序列、长度偏置与过度约束如何导致质量下降,并对比贪心解码、采样与束搜索的适用边界,讨论长度归一化与惩罚项的工程权衡。

核采样(Top-p)如何平衡生成质量与多样性:从截断到动态候选集

核采样(Nucleus Sampling,即 Top-p)通过动态选择累积概率达到阈值的候选 token 集合,解决了固定截断策略在概率分布变化时失效的问题。本文从神经文本退化现象出发,解释核采样的机制、与 Top-k 及温度参数的相互作用,并结合对话生成与故事创作场景讨论参数设置、低熵分布下的失效模式及工程实现要点。

查看全部文章 ↗