WIBLOG · Technological & Life

聊技术,也聊那些值得认真琢磨的生活小事。

47篇文章4个内容分类
RECENT NOTES

最近更新

查看归档

注意力沉没与流式大模型:如何让无限长文本生成保持稳定

流式大模型在超长对话中常因注意力崩溃而输出混乱,滑动窗口方案虽节省显存却会引发困惑度飙升。本文以对话机器人为场景,解释注意力沉没现象及其成因,分析 StreamingLLM 如何通过保留初始 token 的 KV 缓存来稳定注意力分布,并对比滑动窗口、长度外推等方法的权衡,帮助读者理解在无限长流式生成中保持模型稳定的工程决策。

洗碗机亮碟剂怎么调?让玻璃杯告别水渍的表面活性剂原理与档位设置

洗完碗发现玻璃杯上全是水渍?这很可能不是洗碗机坏了,而是亮碟剂用量没调对。本文从水渍形成的物理原因讲起,解释亮碟剂中非离子表面活性剂如何降低水的表面张力、让水膜铺展快速干燥,并给出根据水硬度调节分配器档位的具体步骤和判断标准。

查看全部文章 ↗