跳到正文
docai.cc

DOCAI · 课程 · L1 · 24 分钟 · 认识 Claude

Claude 能做什么、不能做什么:边界全说明

把能力清单和七条边界放在一起看:知识截止、幻觉、算术、执行、联网、拒答与长对话退化,各自怎么应对。

Claude 入门 · Claude 是什么

你将学会

  • 分清哪些任务可以放心交给它
  • 遇到数字与事实时知道怎么复核
  • 用换问法的方式规避它的计算短板

先摆正期待

用得好的人,通常不是背了更多提示词,而是清楚哪些事交给它、哪些事必须自己接手。期待对了,提问次数反而更少。

稳定擅长的方向

  • 文字加工:改写、扩写、压缩、换语气、总结长文。
  • 代码:生成片段、解释报错、审查改动。
  • 推理整理:把零散信息归类,列出方案优劣。
  • 教学:用不同难度讲同一个概念,出题并批改。
  • 结构化:把自由文本转成表格、清单或 JSON。

这些事的共性是「有文字输入、有文字输出、对错可以人工核对」。底层机制见什么是 LLM。

七条要记住的边界

先把原因说清,应对才不至于变成死记硬背。它学的是海量文本里「下一个词最可能是什么」,因此擅长把语言组织得像样,却不会自动区分「像样」和「真实」。训练有一次性的时间点,之后的新闻、价格、新规定自然不在它的知识里。它默认没有手脚,只有你接入并授权的连接器或代码环境才会替它执行动作,执行范围仍受权限约束。理解这三件事,就能推出一大半注意事项。

边界 表现 应对
知识有截止时间 训练之后发生的事它不知道 自己查好最新资料再交给它整理
会编 统计数据、文献出处、人物履历最容易被编出来 关键事实回到一手来源核对
算术不稳 多步运算、大数计算容易出错 让它写代码执行,或把代码拿回本地跑
不能直接动手 默认只输出文字;发信、下单、改文件要靠你授权的连接器或外部工具 分清「给方案」与「去执行」,动作权限逐项收紧
检索不等于知道 搜索多要手动开启,结果可能过时或被误读 让它给出检索时间与来源,再点开原文核对
会拒绝 危险、违法、针对真人的恶意内容 这是设计约束,硬绕没有意义
长对话会走样 几十轮后忘细节、风格漂移 换新对话,把要点重新交代

表格里的「编」,就是业界说的幻觉:语气笃定,内容却站不住。判断方法始终只有一个——让它指出依据,然后你自己看。概念见幻觉。

两个提问习惯

把不确定逼出来

三个动作,值得养成习惯:

  • 要依据:「这条结论用了哪些原文?逐条列出来源。」
  • 要把握度:「你对这个回答有几分把握?哪部分最容易错?」
  • 要反例:「找出能推翻这个方案的理由,越多越好。」

第三问最有用。它默认顺着你的方向答,不明确要反例,风险就不会摆上桌。这三问既适用于它,也适用于任何对话助手。

一个换问法的例子

你手头有一组数字,想算离散程度。差的问法是:

算出 7、19、31、44、52 的标准差。

它很可能回你一个数,你却无从验证。换成:

不要直接给结果。用 Python 的 statistics 模块算这组数,把每一步打印出来,我要在本地跑一遍。

产物从「一个数字」变成「一段可执行、可复核的代码」。这是协作里最实用的心法:要过程,不要结论。

如果你完全不写代码,也有折中办法:让它把计算拆成一步步的算式,你拿计算器抽查其中两步;或者把数字放进表格软件,让它只负责写公式。原则不变——让结果落在你能验证的地方。

什么时候该停手

该换工具的三个时刻

  • 你要的是最新信息,而它没有开启检索:先去查,再回来让它整理。
  • 你要的是精确结果,却没有复核手段:换计算器、脚本或表格。
  • 你要它直接完成操作:先看现有连接器是否支持,并确认授权范围与回滚办法;超出范围再换专用工具。

分清「生成文字」和「改变世界」,很多误用就避免了。

五类不能单独交给它的场景

医疗诊断、合同的最终审核、财务决策、实时行情、涉密材料。这五类都该有专业人士兜底。它可以起草、整理、列疑点,但不能替责任人签字。

三条核对流程,照着做就行

与其背下七条边界的名字,不如在交付前跑一遍固定动作。下面按任务类型给出可以直接套用的核对方式。

任务 先向它要什么 你核对什么 不通过时
引用数据、政策、价格 出处名称、发布时间、原文链接 打开原始页面,确认数字和口径一致 删掉该结论,或改用你提供的材料重写
论文、书籍、案例 DOI、期刊名、作者与年份 在数据库中能检索到同一条记录 判为编造,整段弃用
计算与统计 可运行的脚本或表格公式 本地跑一遍,换一组边界值再跑 让它解释差异,仍不一致就自己算
操作类建议 每一步的输入、输出与失败处理 在副本或测试环境先走一遍 缩小步骤,直到每步都能回滚

最后一行最容易被忽略。凡是会改动文件、发送内容、提交表单的建议,都先要求它把「执行后会发生什么」写出来,再决定要不要动手。

这张表也能直接变成提示词。比如核对统计口径,可以这样发:

下面这段结论里,每个数字都必须带三样东西:来源机构、统计年份、口径说明(含不含某类样本)。 缺任何一样就标注「待核」,不要用推测补齐。 结论:<粘贴你的草稿>

它会把缺口暴露出来,而不是替你填平。愿意逐条对照,比笼统地问「准确吗」有效得多。

常见误判:现象、原因与处理

现象:回答里出现非常具体的论文标题、作者和 DOI,看起来比你的资料还权威。 为什么:文献引用是语言模型最容易「补全」的格式,字段越齐全,越可能来自模式拼装而不是真实记录。 怎么办:把 DOI 拿去数据库检索;查不到就整段删除。不要只让它「再确认一下」,它可能给出第二个同样工整的假条目。

现象:前几轮说好的格式,后面越来越不遵守。 为什么:对话变长后,早期的约定被挤出可用上下文,模型只能依据最近几轮推断。 怎么办:新开一段对话,把格式约定压缩成五条以内的清单放在开头;需要保留的结论另存到文件或知识库式的外部记录里,而不是指望它一直记得。

现象:让它总结一份长报告,它漏掉了中间整节。 为什么:一次塞入的文本超过它能稳定处理的范围,首尾保留得较好,中段容易被略过。 怎么办:按章节切分,先逐段要摘要,再让它只根据这些摘要合成总览;每个阶段的产物都落盘,方便回查。上下文如何被消耗,见上下文窗口。

现象:问它今天几号,它给了一个日期,你误以为它已经联网。 为什么:日期格式太常见,模型可以凭训练分布猜一个,而不是真的查询。 怎么办:不要把「答得出日期」当成联网证据。需要实时信息时,明确要求它调用搜索并贴出链接与抓取时间;没有链接就按「未联网」处理。以当前版本实际提供的功能为准。

现象:同一个问题换个说法,它给出互相矛盾的答案。 为什么:生成带有随机性,且你的措辞改变了它关注的重点;两次回答都不等于事实。 怎么办:把两次答案的差异点列出来,针对差异去查一手资料。差异本身是有用的信号,说明哪里最不确定。

收束

能力清单决定你怎么用它,边界清单决定你什么时候停手。下一节算账:免费版够不够用。

自测

先自己回答,再展开对照;答不上来就回到对应小节。
  1. 01为什么让它直接算数不可靠?看答案

    它擅长理解数学概念,但多步运算容易出错;更稳的做法是让它写代码,你在本地运行。

  2. 02怎么判断它这次回答里有没有编?看答案

    要求它指出依据,再回到一手来源核对;关键数据不要只看它的表述。

  3. 03长对话变差时最有效的处理是什么?看答案

    另开一段对话,把当前结论和必要背景重新交代一遍。

查看 Markdown

涉及的概念

在知识树上

相关动态

全部新闻 →