跳到正文
docai.cc

DOCAI · 知识树 · 10

安全与合规

Safety

什么不能让它做，出了事怎么兜住。安全不是最后加的一层过滤，而是从权限设计开始的第一行代码。这一枝按攻击面排：提示注入、越狱、系统提示泄露、数据与合规。每条都给出「会发生什么」和「至少做什么」，不承诺百分百防住。

4 个分支 · 6 概念 · 6 课程 · 1 专题 · 1 新闻

从这三条开始

先读一篇专题或一节课，再回头补概念，比从词条开始快。
专题评测与防线：让输出可验收没有评测，改提示词只能靠感觉。专题讲评测集、LLM 评分与回归对比，再覆盖幻觉、提示注入、越狱与系统提示泄露，最后用护栏和人工确认收口。课程Claude 能做什么、不能做什么：边界全说明把能力清单和七条边界放在一起看：知识截止、幻觉、算术、执行、联网、拒答与长对话退化，各自怎么应对。概念提示注入（Prompt Injection）把指令藏进模型会读到的内容里（网页、文件、邮件），诱导它偏离原本的任务。

这一领域的七个分叉

每个分支都能单独走完；读完再回来看兄弟分支，不会重复。
01

提示注入

Prompt injection
看全部 3 条 →

直接注入、间接注入、越狱与系统提示泄露

概念

03
02

防护与护栏

Guardrails
看全部 6 条 →

输入过滤、输出校验、权限边界与幻觉控制

概念

02

课程

02

专题

01

新闻

01
03

隐私与数据

Privacy
看全部 3 条 →

数据留存、脱敏、跨境与供应商条款

课程

03
04

法规与合规

Regulation
看全部 2 条 →

生成内容标识、备案、行业限制与责任划分

概念

01

课程

01

这一领域的最新动态

新闻页里每一句都能回到来源。

新闻

01