文章目录＋
01 / 人工智能
它更像工作枱，不是长期记忆
模型本身不会因一段对话就永久更新参数。
长对话最古怪的时刻，是模型仍然引用到你三小时前讲过的字，却忘了你二十分钟前已经推翻那个决定。看得见，不代表排得好。
对话拖得太长时，早期的假设、后来的修正、临时的例外会黐在一起。模型可能仍然『看见』那句话，却把较新的、较醒目的内容当成主线。这跟人开会一样：记录满晒，决策未必清楚。
02 / 人工智能
失忆有两种，外表却一样
第一种是资料真的被挤出窗口；第二种是资料仍在，模型却没有有效使用。研究「Lost in the Middle」发现，多个长 context 模型对开头和结尾资料表现较好，关键证据放在中间时准确度明显下降。
看得到与找得到，是两个能力。
这种情况在改网站、改 code、改合约时特别烦：你以为它在跟进，实际上它抓住了旧版本。
因此好的长任务会定期重写摘要、标示已确认／待确认、把原始文件与工作笔记分开，必要时重新检索，而不是把所有历史一股脑塞进去。
03 / 人工智能
长窗口会制造一种虚假安全感
把整份合约、所有电邮和几十次对话一次塞入，感觉像把完整档案交给专家。但无关内容会竞争注意力，重复版本会互相冲突，旧指示亦可能压过新目标。
容量增加后，资讯工程问题没有消失，只是从「放不下」变成「找不准」。
我通常会在第二次重复纠正之后重开一个干净对话。系，感觉像放弃；其实是帮未来的自己悭时间。
窗口有上限；超出时内容可能被截走、压缩或用较粗略的摘要代替。即使未超出，位置、格式和重复程度亦会影响模型取用。
04 / 人工智能
摘要既救命，也会慢慢变形
系统常把旧对话压成摘要以腾出空间。摘要保留它当时认为重要的东西，删掉语气、例外和细节；下一轮再摘要一次，误差便像影印件一样累积。
使用者觉得 AI 改口，可能不是它忘了全部，而是关键限制在压缩时被当成背景。
05 / 人工智能
真正的记忆通常在模型外面
持续型产品会把偏好、任务状态或文件存入资料库，需要时再检索回窗口。这是外部记忆，不是模型突然有了人生回忆。
设计得好，它会保存来源、时间和可删除性；设计得差，它会把旧猜测当成永久事实。
06 / 人工智能
让长对话更可靠的做法
把当前目标、不可违反的限制和所需输出放在靠近问题的位置；长文件先分段检索；每隔一段由人确认状态摘要；重要决定另存成结构化清单。不要只问「窗口有多大」，要问「资料怎样进入、被选中、被压缩和被更新」。
窗口预算还包括你看不见的东西
使用者输入并不是窗口的全部。系统指示、角色讯息、工具定义、工具回传、检索片段和预留输出都会占空间。
一个标示可处理长文件的产品，真正留给文件的容量可能较少；如果工具 schema 很大，每一轮甚至先为「可能用到的能力」付出 context。这也是长对话愈来愈慢或突然遗漏细节的原因之一。
记得一句话，也可能忘记它的地位
模型可能重述某个数字，却忘记它只是草稿；可能记得一条规则，却遗失后面的例外。长 context 的难题不只 retrieval，还包括关系：哪个版本取代哪个、谁说过、何时有效、结论还是假设。
把这些关系写成结构化状态，比单纯增加窗口更接近真正的记忆。
07 / 人工智能
真正的瓶颈，常常不是容量，而是注意力和秩序。
对话拖得太长时，早期的假设、后来的修正、临时的例外会黐在一起。模型可能仍然『看见』那句话，却把较新的、较醒目的内容当成主线。这跟人开会一样：记录满晒，决策未必清楚。
因此好的长任务会定期重写摘要、标示已确认／待确认、把原始文件与工作笔记分开，必要时重新检索，而不是把所有历史一股脑塞进去。
08 / 人工智能
长上下文不等于无限记忆
窗口有上限；超出时内容可能被截走、压缩或用较粗略的摘要代替。即使未超出，位置、格式和重复程度亦会影响模型取用。
最实用的做法不是迷信一个很大的数字，而是测试你自己的文件：把关键条款放在不同位置，看看系统是否真的找得到。
09 / 人工智能
读者最常问
把文件切得越细越好？
不一定。切太细会拆散定义同例外；要按问题和段落意思切，并保留标题、页码等线索。
摘要可以取代原文？
只适合做导航，不能自动取代关键合约、政策或数字；重要内容仍要回到原文核对。
长对话几时应该重开？
当目标、假设或角色已经改变，或者你开始不停纠正同一件事时，重开一个干净工作区通常更快。
资料注脚
资料注脚
来源用来支持机制与限制；模型、产品及价格会更新，阅读时应以官方页面的版本和日期为准。