AICAD图纸项目验收

AI 识别 CAD 图纸前,企业要准备什么样的验收样本?

从原始文件和版本、样本分层、人工标准答案、调试与封存验收隔离入手,建立 CAD 图纸 AI 验收样本包;分别核算首次识别、人工修正及最终放行结果,明确关键错误与未验证范围。引用 FUNSD、DocVQA、NIST 公开资料,不承诺客户识别效果。

OTD 研究组 · 2026年11月18日 · 约 7 分钟阅读

AI 识别 CAD 图纸能否进入日常业务,首先取决于企业准备怎样验收。挑几张清晰图纸演示,能够说明流程跑得起来,却回答不了换一批图、换一个版本后是否仍然可靠。

先准备一套可独立复核的样本包:保留原始文件和版本,覆盖常见与困难图纸,为目标字段建立人工标准答案,将调试样本与封存验收样本分开,并分别记录首次识别、人工修正和最终放行结果。验收对象是约定业务任务,不能只看画面上识别出了多少文字。

本文讨论企业开展概念验证(POC)时的样本准备方法,不报告某个客户的实施成果,也不把公开文档识别研究的成绩当作 CAD 图纸识别能力。


先验“读出文字”,还是验“交付可用数据”?

假设目标是把图纸中的物料清单整理成待审核表格。标题栏读对了,但物料号与数量串行,仍然不能用于备料;尺寸数字读对了,单位或公差漏掉,同样不能作为工艺依据。这些是验收设计示例,并非某个客户的实际故障记录。

因此,企业先要写清交付物:是提取标题栏、整理物料清单,还是识别连接关系?每种任务分别规定必填字段、来源定位、缺失处理、人工确认点及禁止自动执行的动作。把数据送进生产系统属于后续业务链路,需要单独验证,不能由识别演示代替。

公开研究也体现了任务差别。FUNSD 项目(2019)包含 199 份完整标注表单,用于文字检测、识别、布局分析和表单理解。它提示我们将“看见文字”与“理解字段关系”分开评价;但该数据集不是工业 CAD 验收集。来源:FUNSD 项目主页,2019。

样本怎样分层,才能暴露真实短板?

建议由业务负责人从实际待处理资料中抽取样本,再由工艺或工程人员核对分层。不要只让供应商挑熟悉的模板,也不要为了考倒系统而只放极端坏图。常用图纸与困难图纸分别统计,才能同时看到日常可用性和风险边界。

分层维度建议保留的差异主要检查什么
文件来源原生 DWG、矢量 PDF、扫描 PDF;记录实际转换过程结果适用哪种输入,转换是否遗漏内容
版式与内容不同来源模板、字体、表格结构、符号和语言换模板后字段、数量及对应关系是否仍正确
清晰度与复杂度清晰样本,以及小字、旋转、重叠标注、跨页表格识别困难时能否提示复核,而非补出猜测值
版本与业务风险新旧版本、相近料号、易混单位、关键尺寸是否混用旧版,关键错误是否被单独拦截
缺项与异常缺页、标注不完整、字段冲突、无法打开的文件能否明确报错、留痕和转人工处理

原生文件与转换文件要成对保存,记录文件名、版本、文件哈希和转换设置。若方案实际只能处理 PDF,就应将结论限定为这条 PDF 处理链路,不应外推为原生 DWG 已通过验证。

样本数量由业务覆盖和关键错误风险决定,本文不提供通用合格张数。某类图纸没有样本,就在报告中明确列为未验证;关键类别只有少量样本时,也不能用总体平均成绩掩盖证据不足。

人工标准答案应该长什么样?

人工金标准就是测试前经业务人员核对的标准答案。它不应只有一张最终 Excel,还应能回到原图解释每个值从哪里来、为何这样判断。

  • 每个字段保存图纸标识、版本、页码或区域、原始文字、标准值及单位。
  • 物料行保留行之间的对应关系;不能只比较物料号和数量是否分别出现。
  • 区分“图中不存在”“存在但看不清”“不适用”和“需要工程判断”,不要全部填为空白。
  • 允许的格式差异提前约定,如空格或单位换算;料号前导零、尺寸公差等业务含义不得随意归一化。
  • 标注有争议时由指定业务负责人裁定,记录理由;未裁定项单列,不临时选择对系统有利的答案。

DocVQA 项目在 2020 年挑战赛数据集中提供了约 5 万个问题和 1.2 万张文档图像,问题与答案由人工标注。这一公开事实说明文档评测需要明确问题及可核对答案;这些数量不是企业 POC 应照搬的样本规模。来源:DocVQA 数据集主页,2020;相关论文发表于 WACV 2021。

调试样本与验收样本为什么要分开?

调试样本用于找错、完善规则和调整处理流程,可以让供应商反复查看。封存验收样本用于判断方案对未参与调试的资料是否有效,标准答案应由验收方管理,并在正式测试前冻结。

分组时要考虑产品族、图纸来源和模板。仅把同一张图的新旧版本分别放进调试集与验收集,可能高估对新资料的适应能力。若业务确实主要处理同系列图纸,应说明测试是在验证同系列适配,而不是跨模板泛化。

一旦把验收样本及答案用于改进,该批样本就承担了调试或回归作用。再次测试可说明已知问题是否修好,但判断新资料适应能力,还需要未参与调试的样本。文件处理失败、超时或被拒绝的记录也应保留,不能从分母里悄悄删掉。

首次识别与人工修正后,应该怎样分别计分?

首次结果在任何人工改动前保存,随后逐项记录修正内容、原因和人工耗时。最终放行结果另列,让经营者同时看见自动化能力与实际复核负担。

观察层建议记录能回答的问题
首次自动结果字段正确数与应提取数、漏提项、额外错误项、关键字段错误、拒识与失败文件未经人工干预时,系统实际完成了什么
人工修正过程改动项、复核耗时、重跑次数,以及是否查阅其他资料为了得到可用结果,业务人员还要做多少工作
最终业务结果字段及关系复核、版本确认、下游校验和放行记录在约定人工审核条件下,结果能否用于下一步

例如,字段正确率可以按“正确提取的应提取字段数 ÷ 全部应提取字段数”计算,但还须单列额外生成的错误字段,否则系统多填了内容可能不会在该指标中受罚。物料与数量的对应关系、关键尺寸和版本错误也应单独核对。整张图是否通过,应依据预先约定的必填项和关键项规则判断。

门槛必须在测试前确定,包括哪些错误直接判该样本不通过、哪些情况可以转人工、哪些类别暂不进入上线范围。采用人工审核流程时,修正后的正确结果可以作为人机协作成效,却不能回写成首次自动识别成绩。

NIST 的 AI RMF 1.0(2023)将风险管理核心组织为 4 个功能:Govern、Map、Measure、Manage,并要求建立、执行和记录客观、可重复或可扩展的测试评估过程。本文据此建议冻结样本、方案版本和评分规则;该框架没有规定 CAD 图纸的统一合格准确率。来源:NIST AI RMF 1.0,2023,第 5 节。

开测前,负责人应收到什么?

一份完整的验收包应包括:原始文件及版本清单、样本分层说明、人工标准答案、评分规则、封存样本管理记录,以及结果记录表。运行时补齐模型或服务版本、解析与转换工具版本、配置、提示词、测试时间、首次输出和人工修改履历。

最终决策按类别作出:哪些资料可以进入受控试用,哪些仍须人工处理,哪些要补样本再判断。如果复核人员仍需逐项重做,或关键错误无法被发现,即使普通字段成绩不错,也不宜据此扩大应用范围。


常见问题

只有 PDF,没有原生 CAD 文件,能做验证吗?

可以,但应明确验证对象是现有 PDF 资料及其处理链路。保留文件来源,区分扫描与矢量内容;结论不自动覆盖未测过的 DWG 文件、图层或对象属性。

供应商演示已经识别成功,还需要独立验收吗?

需要。演示说明特定样本在当时条件下得到结果;独立验收还要检查未参与调试的图纸、失败输入、关键错误和人工复核负担。

试验中发现标准答案本身有错,怎么办?

记录争议及裁定依据,发布新的答案版本,对受影响结果按同一规则重新核算,保留原评分。不能只改某一次测试的答案而让其他结果继续沿用旧口径。


奥斯坦丁软件(OTD)建议,企业评估图纸 AI 项目时,把样本包、验收责任和人工放行边界纳入项目范围。先证明限定资料和任务下的可用性,再讨论接入物料、工艺或生产业务。

OTD

作者

OTD 研究组

专注制造业数字化转型实践,深耕 MES、WMS、数字孪生与 IoT 集成领域,帮助工厂从「看不见」走向「可控可优」。

延伸阅读

相关文章

开始行动

准备好把洞察变成行动了吗?

我们提供一次免费的工厂流程诊断,帮助您找到数字化提升的关键突破口。

预约免费诊断 → 浏览更多洞察