跳到正文
docai
.
cc
学 AI
学习
知识树
概念
专题
新闻
资料库
知识树
安全与合规
防护与护栏
DOCAI · 知识树 · 安全与合规
防护与护栏
Guardrails
输入过滤、输出校验、权限边界与幻觉控制。
这一枝现有 6 条：2 概念 · 2 课程 · 1 专题 · 1 新闻
概念
02
护栏（guardrails）
围在模型输入、输出与工具调用外的检查与限制，防止有害、越权或超预算的行为真正落地。
L3
幻觉（Hallucination）
模型生成看似合理、实则与事实不符的内容，而且往往说得很笃定。
L2
课程
02
Claude 能做什么、不能做什么：边界全说明
把能力清单和七条边界放在一起看：知识截止、幻觉、算术、执行、联网、拒答与长对话退化，各自怎么应对。
L1
减少幻觉：给资料、要引用
幻觉不是模型坏了，是它在缺信息时选择了猜。这一课用三个动作把它从「猜」推回「不答」：限定材料、要求引用、留出口。
L2
专题
01
评测与防线：让输出可验收
没有评测，改提示词只能靠感觉。专题讲评测集、LLM 评分与回归对比，再覆盖幻觉、提示注入、越狱与系统提示泄露，最后用护栏和人工确认收口。
新闻
01
美联航禁止 AI 代理代订机票：自动化的责任边界浮出水面
美联航明确禁止旅客用 AI 代理代订机票和管理订单，理由是网络安全风险。这是第一批由大公司公开划出的「代理不得入内」边界。
相邻的分支
回到领域 →
提示注入
直接注入、间接注入、越狱与系统提示泄露
3 条
隐私与数据
数据留存、脱敏、跨境与供应商条款
3 条
法规与合规
生成内容标识、备案、行业限制与责任划分
2 条
