AI 识别 CAD 图纸能否进入日常业务,首先取决于企业准备怎样验收。挑几张清晰图纸演示,能够说明流程跑得起来,却回答不了换一批图、换一个版本后是否仍然可靠。
先准备一套可独立复核的样本包:保留原始文件和版本,覆盖常见与困难图纸,为目标字段建立人工标准答案,将调试样本与封存验收样本分开,并分别记录首次识别、人工修正和最终放行结果。验收对象是约定业务任务,不能只看画面上识别出了多少文字。
本文讨论企业开展概念验证(POC)时的样本准备方法,不报告某个客户的实施成果,也不把公开文档识别研究的成绩当作 CAD 图纸识别能力。
先验“读出文字”,还是验“交付可用数据”?
假设目标是把图纸中的物料清单整理成待审核表格。标题栏读对了,但物料号与数量串行,仍然不能用于备料;尺寸数字读对了,单位或公差漏掉,同样不能作为工艺依据。这些是验收设计示例,并非某个客户的实际故障记录。
因此,企业先要写清交付物:是提取标题栏、整理物料清单,还是识别连接关系?每种任务分别规定必填字段、来源定位、缺失处理、人工确认点及禁止自动执行的动作。把数据送进生产系统属于后续业务链路,需要单独验证,不能由识别演示代替。
公开研究也体现了任务差别。FUNSD 项目(2019)包含 199 份完整标注表单,用于文字检测、识别、布局分析和表单理解。它提示我们将“看见文字”与“理解字段关系”分开评价;但该数据集不是工业 CAD 验收集。来源:FUNSD 项目主页,2019。
样本怎样分层,才能暴露真实短板?
建议由业务负责人从实际待处理资料中抽取样本,再由工艺或工程人员核对分层。不要只让供应商挑熟悉的模板,也不要为了考倒系统而只放极端坏图。常用图纸与困难图纸分别统计,才能同时看到日常可用性和风险边界。
| 分层维度 | 建议保留的差异 | 主要检查什么 |
|---|---|---|
| 文件来源 | 原生 DWG、矢量 PDF、扫描 PDF;记录实际转换过程 | 结果适用哪种输入,转换是否遗漏内容 |
| 版式与内容 | 不同来源模板、字体、表格结构、符号和语言 | 换模板后字段、数量及对应关系是否仍正确 |
| 清晰度与复杂度 | 清晰样本,以及小字、旋转、重叠标注、跨页表格 | 识别困难时能否提示复核,而非补出猜测值 |
| 版本与业务风险 | 新旧版本、相近料号、易混单位、关键尺寸 | 是否混用旧版,关键错误是否被单独拦截 |
| 缺项与异常 | 缺页、标注不完整、字段冲突、无法打开的文件 | 能否明确报错、留痕和转人工处理 |
原生文件与转换文件要成对保存,记录文件名、版本、文件哈希和转换设置。若方案实际只能处理 PDF,就应将结论限定为这条 PDF 处理链路,不应外推为原生 DWG 已通过验证。
样本数量由业务覆盖和关键错误风险决定,本文不提供通用合格张数。某类图纸没有样本,就在报告中明确列为未验证;关键类别只有少量样本时,也不能用总体平均成绩掩盖证据不足。
人工标准答案应该长什么样?
人工金标准就是测试前经业务人员核对的标准答案。它不应只有一张最终 Excel,还应能回到原图解释每个值从哪里来、为何这样判断。
- 每个字段保存图纸标识、版本、页码或区域、原始文字、标准值及单位。
- 物料行保留行之间的对应关系;不能只比较物料号和数量是否分别出现。
- 区分“图中不存在”“存在但看不清”“不适用”和“需要工程判断”,不要全部填为空白。
- 允许的格式差异提前约定,如空格或单位换算;料号前导零、尺寸公差等业务含义不得随意归一化。
- 标注有争议时由指定业务负责人裁定,记录理由;未裁定项单列,不临时选择对系统有利的答案。
DocVQA 项目在 2020 年挑战赛数据集中提供了约 5 万个问题和 1.2 万张文档图像,问题与答案由人工标注。这一公开事实说明文档评测需要明确问题及可核对答案;这些数量不是企业 POC 应照搬的样本规模。来源:DocVQA 数据集主页,2020;相关论文发表于 WACV 2021。
调试样本与验收样本为什么要分开?
调试样本用于找错、完善规则和调整处理流程,可以让供应商反复查看。封存验收样本用于判断方案对未参与调试的资料是否有效,标准答案应由验收方管理,并在正式测试前冻结。
分组时要考虑产品族、图纸来源和模板。仅把同一张图的新旧版本分别放进调试集与验收集,可能高估对新资料的适应能力。若业务确实主要处理同系列图纸,应说明测试是在验证同系列适配,而不是跨模板泛化。
一旦把验收样本及答案用于改进,该批样本就承担了调试或回归作用。再次测试可说明已知问题是否修好,但判断新资料适应能力,还需要未参与调试的样本。文件处理失败、超时或被拒绝的记录也应保留,不能从分母里悄悄删掉。
首次识别与人工修正后,应该怎样分别计分?
首次结果在任何人工改动前保存,随后逐项记录修正内容、原因和人工耗时。最终放行结果另列,让经营者同时看见自动化能力与实际复核负担。
| 观察层 | 建议记录 | 能回答的问题 |
|---|---|---|
| 首次自动结果 | 字段正确数与应提取数、漏提项、额外错误项、关键字段错误、拒识与失败文件 | 未经人工干预时,系统实际完成了什么 |
| 人工修正过程 | 改动项、复核耗时、重跑次数,以及是否查阅其他资料 | 为了得到可用结果,业务人员还要做多少工作 |
| 最终业务结果 | 字段及关系复核、版本确认、下游校验和放行记录 | 在约定人工审核条件下,结果能否用于下一步 |
例如,字段正确率可以按“正确提取的应提取字段数 ÷ 全部应提取字段数”计算,但还须单列额外生成的错误字段,否则系统多填了内容可能不会在该指标中受罚。物料与数量的对应关系、关键尺寸和版本错误也应单独核对。整张图是否通过,应依据预先约定的必填项和关键项规则判断。
门槛必须在测试前确定,包括哪些错误直接判该样本不通过、哪些情况可以转人工、哪些类别暂不进入上线范围。采用人工审核流程时,修正后的正确结果可以作为人机协作成效,却不能回写成首次自动识别成绩。
NIST 的 AI RMF 1.0(2023)将风险管理核心组织为 4 个功能:Govern、Map、Measure、Manage,并要求建立、执行和记录客观、可重复或可扩展的测试评估过程。本文据此建议冻结样本、方案版本和评分规则;该框架没有规定 CAD 图纸的统一合格准确率。来源:NIST AI RMF 1.0,2023,第 5 节。
开测前,负责人应收到什么?
一份完整的验收包应包括:原始文件及版本清单、样本分层说明、人工标准答案、评分规则、封存样本管理记录,以及结果记录表。运行时补齐模型或服务版本、解析与转换工具版本、配置、提示词、测试时间、首次输出和人工修改履历。
最终决策按类别作出:哪些资料可以进入受控试用,哪些仍须人工处理,哪些要补样本再判断。如果复核人员仍需逐项重做,或关键错误无法被发现,即使普通字段成绩不错,也不宜据此扩大应用范围。
常见问题
只有 PDF,没有原生 CAD 文件,能做验证吗?
可以,但应明确验证对象是现有 PDF 资料及其处理链路。保留文件来源,区分扫描与矢量内容;结论不自动覆盖未测过的 DWG 文件、图层或对象属性。
供应商演示已经识别成功,还需要独立验收吗?
需要。演示说明特定样本在当时条件下得到结果;独立验收还要检查未参与调试的图纸、失败输入、关键错误和人工复核负担。
试验中发现标准答案本身有错,怎么办?
记录争议及裁定依据,发布新的答案版本,对受影响结果按同一规则重新核算,保留原评分。不能只改某一次测试的答案而让其他结果继续沿用旧口径。
奥斯坦丁软件(OTD)建议,企业评估图纸 AI 项目时,把样本包、验收责任和人工放行边界纳入项目范围。先证明限定资料和任务下的可用性,再讨论接入物料、工艺或生产业务。
作者
OTD 研究组
专注制造业数字化转型实践,深耕 MES、WMS、数字孪生与 IoT 集成领域,帮助工厂从「看不见」走向「可控可优」。