DOCAI · 概念 · L2
什么是多模态
一句话定义
能同时处理文字、图片、音频等不同形式输入的模型。
开发者更新 2026-11-13核验 2026-11-13 · docai 编辑部
它是什么
普通语言模型只收文字。多模态模型还能收图片、音频、视频，并把它们和文字放在同一个上下文里理解。
你可以发一张报错截图问「这是什么问题」，也可以发一张表格照片让它转成结构化数据。
图片怎么变成模型能读的
图片会被切成小块（patch），每块编码成一组向量，再当成 token 送进模型。
所以图片也占上下文、也计费。一张高清大图可能相当于几百上千个 token。
三个常见误解
- 「多模态等于能生成图片」：理解输入和生成图片是两件事，很多模型只做前者。
- 「图片里的字一定能读对」：小字、模糊、手写、复杂排版都会显著降低准确率。关键数字要人工核对。
- 「发原图最好」：不是。裁掉无关区域、提高目标区域清晰度，通常比整张大图更准也更便宜。
实践要点
- 先压缩尺寸，再上传；多数任务不需要原始分辨率。
- 对需要精确读取的表格，同时给文字说明，双通道互相印证。
- 图片内容同样可能藏提示注入，见什么是提示注入。