返回文章库

人工智能/深层解释

大型语言模型(LLM)是甚么?为何它能够写文章?

LLM 不是先想好整篇文章才打字,而是根据前文一次预测一个 token;这正是它能写新句子、亦会把小错一路写大的原因。

01 / 人工智能

文章并不是一次生成

LLM 读过大量文字后学到语言之间的机率关系。它每次根据已出现的内容预测下一个 token,重复很多次,就变成一段看似有完整意图的文章。

它像一位永远只准看已写文字的即兴乐手:下一个音合理,不代表整首歌早已存在脑内。

LLM 写文最令人误会的一点,是它写得太顺。顺到你忘了每一步都只是接下一个 token,没有一个小编坐在背后替它查资料。

每一个新 token 都会成为下一步的地面。开头若把一家公司年份写错,后面模型可能继续补出职位、产品和故事,因为在当前上下文中,那条路已经最顺。

02 / 人工智能

大型主要大在参数与资料

模型内有大量可调数值,训练时透过预测错误不断微调。参数不是一格格百科条目,而是分散地承载语法、关联、风格及概念模式。

某个事实未必收藏在一个地址;它可能由许多权重共同令某段文字变得较可能。

一个开头写错的公司年份,可以一路长成完整但不存在的品牌故事——句子之间很有默契,事实之间没有。

这也是为甚么一个好 prompt 不只是叫它『写得专业』,而是提供受众、证据、限制、例子和检查点;你是在铺路,不系在念咒。

03 / 人工智能

Attention 是临时布置的关系网

Transformer 的关键不是永远记住每句话,而是在目前输入中计算哪些位置值得互相注意。同一个「bank」在河流和贷款句子内会建立不同关系。

这张关系网每次都重算,所以模型能按上下文改变用法,但计算成本亦会随输入长度增加。

所以好的写作流程要有人把手伸进去,不系只在最后按 spell-check。

模型可以模仿语气、结构和常见论证,但不会因为自己真的去过那间店、开过那间公司或承受过那个决定而知道其分量。

04 / 人工智能

写得像,是因为世界留在语言里

大量人类知识以语言规律留下痕迹。食谱有步骤、新闻有因果、论文有论证、电邮有礼貌结构。

模型学会这些形状后,可以生成以前未见的组合。令人意外的并非「猜字」突然变成魔法,而是足够规模的语言预测,会迫使模型捕捉深层结构。

05 / 人工智能

但下一步正确不保证全局正确

一句句看都合理的文章,论点仍可能在第五段偷换概念。局部流畅会累积成全局自信,而早期一个错误亦会成为之后预测的新上下文,越写越完整。

长答案因此不是短答案的放大版;它是更多次没有外部验证的下注。

06 / 人工智能

最实用的阅读方式

把 LLM 文章视为高质素草稿生成,而不是来源本身。检查名词、数字、引用和因果跳跃;要求它指出不确定处;涉及最新或高风险资讯时,把可查证材料放回流程。

理解它如何写,目的不是贬低它,而是把惊人能力放在正确位置。

07 / 人工智能

『逐字预测』听落好简单,实际上是一个会累积路线的决定系统。

每一个新 token 都会成为下一步的地面。开头若把一家公司年份写错,后面模型可能继续补出职位、产品和故事,因为在当前上下文中,那条路已经最顺。

这也是为甚么一个好 prompt 不只是叫它『写得专业』,而是提供受众、证据、限制、例子和检查点;你是在铺路,不系在念咒。

08 / 人工智能

会写作,不代表有作者经验

模型可以模仿语气、结构和常见论证,但不会因为自己真的去过那间店、开过那间公司或承受过那个决定而知道其分量。

人手编辑的价值不只系改文法,还包括删掉空泛句、补上实际背景,以及指出一个漂亮句子其实没有证据。

09 / 人工智能

读者最常问

LLM 系咪搜寻引擎?
不系。它可以配合搜寻工具,但模型本身主要生成文字,不保证每句都对应最新外部事实。

点解同一个 prompt 有时答案不同?
取样设定、上下文、模型版本和工具结果都可能改变下一个 token 的分布。

如何叫模型写得少些 AI 味?
给具体读者、例子、节奏和反馈,并由人删走重复和空话;一句『自然些』通常不够。

资料注脚

资料注脚

  1. platform.openai.com/docs/guides/text
  2. learn.chatgpt.com/docs/glossary

来源用来支持机制与限制;模型、产品及价格会更新,阅读时应以官方页面的版本和日期为准。

读到最后,没有推销。

这里只保留一个更准确的理解,不把好奇心变成销售漏斗。

WhatsApp 联系 Locke Lee