上电首期科创营第4组——少样本AI视觉半导体缺陷检测系统

晶迹探微：少样本AI 视觉半导体缺陷检测系统

我们项目团队通过调研了解到，半导体晶圆制造工序繁杂，光刻、刻蚀、沉积、平坦化等上百道加工流程中，微小颗粒污染、工艺参数波动都会催生各类微观缺陷，直接决定芯片良率与产品可靠性。在碳化硅衬底清洗车间的终检工位，缺陷判别长期依赖人工肉眼检测，不仅人力成本高，检测结果还会受操作人员疲劳程度、个人经验影响，质检一致性难以保证。与此同时，传统深度学习检测模型高度依赖大批量标注样本，产线内不少缺陷属于偶发异常，可采集样本数量十分有限，常规 AI 检测方案很难适配少样本工业质检场景。上海电力大学创新训练营第四组跨学科团队瞄准半导体产线质检现实痛点，研发“晶迹探微” 少样本 AI 视觉半导体缺陷检测系统，创新采用双模型协同架构，同步实现已知缺陷精准识别、未知异常告警拒识，以青年科创力量破解晶圆质检行业痛点难题。

晶圆缺陷检测绝非简单质量核查，而是半导体制造业把控产品良率的核心关口。依据半导体生产质量管控相关规范，衬底晶圆出厂必须完成完整缺陷筛查。传统质检模式高度依靠人工目检，重复性劳动强度大；市面上通用深度学习检测系统大多属于闭集识别，仅能识别训练集中出现过的缺陷，面对产线突发的全新缺陷无法有效预警；同时大规模标注样本获取成本高昂，很多小众缺陷根本无法收集足量训练数据，算法输出结果黑盒不可解释，产线工程师无法知晓缺陷判定逻辑，行业存在显著的技术缺口。立足工业现场真实痛点，团队确立三大核心目标：攻克少样本条件下晶圆缺陷检测难题，兼顾已知缺陷定位分类与未知异常识别；削减产线质检人力开销，提升质检环节自动化水平；搭建一套可解释、可迭代的检测原型，输出完整分析报告，为工艺溯源改良提供支撑，实现半导体衬底晶圆质检环节智能化赋能。

面对半导体质检的现实困境，我们团队跳出“堆砌数据、扩大模型规模” 的固有算法研发思路，提出“双模型并行，已知未知兼顾”的创新构想，融合深度学习目标检测与规则驱动可解释模型，走出一条适配工业少样本场景的质检新路径。

在方案构思阶段，团队完整还原“产线图像采集 — 缺陷推理判别 — 检测报告输出” 完整业务链路，从检测对象、现场操作人员、硬件算力、样本条件、车间工况多维度拆解行业独有的痛点：稀有缺陷样本采集标注困难、新型未知缺陷无法识别、算法判定过程不可解释、产线工作人员不具备算法专业背景难以操作系统等。针对一系列现实痛点，团队搭建完整解决方案：依靠 YOLO11s 少样本检测模型完成已知缺陷的定位与分类；配套规则驱动可解释模型，实现未知异常拒识、已知缺陷二次校验，未知异常样本自动归档入库，支撑后续增量迭代学习；在单 YOLO 网络基础上叠加轻量不确定性计算模块，以接近单模型的算力开销实现双路系统的能力，降低车间硬件部署门槛；配套简易可视化前端，产线人员可以直接上手操作，系统自动输出包含缺陷位置、缺陷类别、置信度、诱因推测与优化建议的检测反思报告。整套系统无需海量标注数据集，适配工业现场样本稀缺的真实工况，和市面上传统闭集深度学习检测产品形成明显区分。

从最初灵光闪现的创意构思到可以运行调试的完整原型系统，项目历经多轮模型迭代、三级实物模拟验证，在反复训练调参、对比测试、复盘改错中完成技术打磨，完整见证科创项目从 0 到 1 的成长全过程。

项目启动之初，团队首要任务是验证少样本缺陷检测整套闭环是否可行。为此团队专门设计三级模拟验证路线，分层递进完成方案验证。第一阶段选用便签作为简易样本，采集正常、折痕、破损、污点样本，打通图像输入— 推理识别 — 结果输出的基础流程，验证检测逻辑可以跑通；但测试中也暴露出明显短板：矩形便签样本和真实圆形晶圆几何形态差异巨大，模型能力无法直接迁移到晶圆检测任务上。

针对初代验证暴露出的问题，团队推进第二阶段验证，更换圆形实物样本开展测试，完成圆盘目标定位，分别针对边缘破损、内部划痕污点搭建对应的分析逻辑，实现圆盘类物件的缺陷分析；但该阶段实物样本缺陷难以标准化复刻，样本可控性不足，距离真实产线的测试条件仍存在不小差距。

在前两阶段测试积累的经验之上，团队开展第三阶段验证，采用 3D 打印工艺制作模拟晶圆，得到几何尺寸固定、缺陷可控可复现的 FDM 圆盘模拟晶圆，采用黑色背景提升缺陷与基底的对比度，可以批量制作断裂、折痕、污渍等各类缺陷样本，用于模型训练与实机测试，完成从简易模拟样本到标准化模拟晶圆的跨越。

在样本验证同步推进的同时，两套核心模型分别开展持续迭代优化。YOLO11s 检测模型基于预训练权重开展迁移学习，经过多轮补强训练迭代：Baseline 原始少样本首次训练 mAP50 达到 95.1%；针对折痕缺陷做补强微调后指标提升至 98.4%；同步补充断裂、折痕样本后指标来到 99.1%；面对不同光照条件样本开展训练，最终完成断裂 + 折痕联合补强版本。研发过程中团队总结出关键工程经验：纸面指标最优的模型不等于工业现场表现最稳定，必须以工业摄像头实时测试得到的误检率、运行稳定性、检测框跟随效果作为核心评判标准。

规则驱动模型完成 V11 至 V21 多轮版本迭代：V11 版本搭建暗区逻辑回归与基础轮廓基线，实现基础识别能力，但边缘微小缺口容易出现漏检；V13 新增紧凑度、填充率特征，污点、划痕识别稳定性得到提升；V19 引入灰度环带侵入判断，边缘破损判定从单一轮廓证据升级为几何 + 灰度双重证据；V20 修复未知异常判定的逻辑顺序漏洞；V21 加入带符号内凹外凸约束，守住开集识别语义，规避未知缺陷被算法强行归类的风险，一步步补齐逻辑漏洞，提升整套系统的可解释性与识别可靠性。、

历经多轮迭代打磨，项目取得一系列阶段性科创成果，为少样本晶圆缺陷检测提供一套切实可行的技术方案。落地应用层面，项目瞄准碳化硅衬底清洗质检细分场景，完成产线需求拆解与完整系统方案设计；内部测试结果显示，正常图片识别准确率 94%；边缘破损、污点、划痕识别准确率 98% 以上；未知异常正确拒识率可达 93% 以上；使用 58 张完全未参与训练的新样本开展外部补充测试，整体识别准确率 94.8%，全部边缘破损均识别到位，仅少量划痕存在误判为破损的情况。项目产出完整算法研发文档、可运行软件原型、三级验证数据集、全套测试报告，形成从需求调研、样本验证、模型迭代到软件原型开发的完整研发链路。项目不仅解决产线质检人力成本高、稀有缺陷样本不足的现实难题，系统输出的可解释报告还能够协助工艺工程师追溯缺陷成因，反向助推生产工艺优化，兼具产业落地价值与技术探索意义。

回望整个项目的开发历程，跨学科团队成员真切感悟到，科创不能只追逐论文上漂亮的数字指标，真正有价值的创新源自工业一线真实的需求。晶圆表面毫微米级别的划痕、崩边、污渍，直接左右芯片产品良率，却因为缺陷样本稀缺，成为传统 AI 检测难以逾越的难关，促使团队跳出一味追求高精度指标的惯性，兼顾识别精度、现场运行稳定性与结果可解释性。从搭建简易验证闭环起步，面对样本域偏移、模型漏检误检、未知缺陷判别、硬件算力约束等重重难题，不断调整训练策略、迭代规则逻辑，反复开展对比测试，每一次识别稳定性提升，每一处逻辑漏洞修复，都来自无数次调参、测试与复盘。

从钻研深度学习网络、机器视觉图像处理、规则特征工程，到开展产线调研、需求拆解、原型落地，不同学科知识互相碰撞交融，让算法不再局限于实验室数据集，真正贴合工业产线的实际使用场景。科技创新的价值，就是把实验室的代码算法，转化为赋能产业一线的实际力量。团队始终期许，依靠少样本 AI 视觉检测系统，精准捕捉晶圆表面细微缺陷，守护半导体产品质量关口。未来团队会持续打磨系统性能，攻克现存技术难点，推进知识库扩充、多模态能力升级、边缘端部署、对接产线 MES 系统，期待该技术能够落地半导体制造车间，以青年科创力量助力国内半导体产业发展。

未来展望

七天科创营结束，但“晶迹探微”还有很多没做完的事。我们很清楚，现在这套原型只是验证了双模型协同的思路可行，离真正走进产线还有不小的距离。接下来，团队打算沿着几个具体方向继续打磨，不追求一步到位，但希望每一轮迭代都有实际进步。

首先还是要把模型和样本这件事做扎实。目前YOLO11s经过几轮补强训练，指标有所提升，但复杂光照下识别效果仍会下滑，过拟合也出现过。后续我们会继续收集不同光照、不同工艺阶段的缺陷样本，优化数据划分和训练策略，让模型在少样本条件下更稳一些。规则驱动模型也会继续修逻辑漏洞，把未知异常拒识策略做得更可靠，减少误判和漏检。陈达在统筹项目时已经体会到，工业AI项目不是单点技术，而是一条完整实操链路，这条链路要跑顺，就得在数据和模型上反复下功夫。

同时，我们希望把检测报告和知识库逐步完善起来。现在系统能输出缺陷位置、类别、置信度和简单建议，但诱因分析还比较依赖规则经验。后续计划把产线工程师的工艺知识、历史质检记录逐步整理进知识库，让报告更有参考价值。在收尾阶段配合完成的多组对照实验、整理的测试报告，这些测试框架也会继续沿用，成为后续迭代的验证基础，在一轮轮调试中积累的经验，也会沉淀成团队后续开发的参考。

另外，我们也会尝试把系统往边缘端和更多场景推进。原型目前主要在开发环境运行，离车间硬件还有距离，未来会做模型量化和推理加速，争取把整套流程放到更低功耗的设备上，同时探索与产线MES系统对接，让检测结果能自动回传、缺陷样本能归档迭代。现在项目聚焦碳化硅衬底清洗终检工位，但半导体制造里类似的小样本质检需求不少，我们会先在现有场景把系统做扎实，再考虑向其他细分环节做适配验证。科创营结束不是终点，我们会带着这段经历继续参加科创实践，向老师请教，和同学交流，一步一步把“晶迹探微”完善下去。

致谢

本次创新训练营能够顺利推进，“晶迹探微”项目从产业痛点调研到原型系统落地，离不开司南半导体给予的支持与指导。特别感谢司南半导体公司提供的实地考察机会，以及司南半导体公司李四华总经理亲自莅临闭幕式评审，并对我们的项目作出细致点评。

李总在听取团队汇报后，对“晶迹探微”少样本AI视觉半导体缺陷检测系统给予了肯定，认为我们团队能够跳出单纯追求指标的研究惯性，关注到半导体产线真实存在的少样本质检难题，并尝试用双模型协同的方式兼顾已知缺陷识别与未知异常拒识，思路有现实针对性，方向值得继续探索。同时，李总也结合产业实际给出了几点建议：后续可以进一步结合真实晶圆样本改进方案，在现有模拟验证的基础上，争取接触到产线真实数据，让系统更贴近实际工况；检测报告的输出可以更多考虑产线工程师的使用习惯，让分析结果与工艺溯源之间的衔接更自然；在系统落地方面，也可以多关注车间现有硬件条件和操作流程，降低一线人员的使用门槛。这些建议让我们对项目下一步的完善方向有了更清晰的认识，也让我们意识到，实验室里的原型和产线里的工具之间，还有不少需要补足的功课。

感谢司南半导体为本次训练营提供的产业视角与实践支持，也感谢李四华总经理的肯定与建议。这些来自产业一线的声音，让“晶迹探微”不只是一个训练营作品，而有了继续向前打磨的方向。

感谢我校孙玉芹院长率领的创新创业学院为我们首期科创营提供的条件保障和宝贵机会，感谢张执南教授和沈靖、王磊老师对我们项目团队的耐心指导，在此一并感谢。

感想体会

陈达（队长）：从产业痛点到原型落地，最难的是把“想法”推成“系统”

这次创新训练营，我最大的收获不是学会了某个工具，而是完整走完了一遍从挖掘产业痛点到原型系统落地的流程

作为队长，我主要负责统筹任务分工、模拟样本收集采集和可视化前端开发。听起来是“分工统筹”，实际推进起来，困难比预想的多得多。

前期调研时，我们结合半导体质检行业现状梳理需求，但真正落到系统方案时，才发现很多设想和工业现场差距很大。比如可视化前端，一开始我们只想着把数据展示出来，可测试时发现，工业使用者更关心的是异常在哪里、置信度如何、能不能快速判断。界面信息一多，反而干扰判断。我们只能一边请教指导老师，一边重新站在使用者视角梳理逻辑，把页面从“能看”改成“好用”。

项目推进中，任务交叉、进度不一也是大问题。有人卡在数据采集，有人等前端联调，测试流程又不断暴露新问题。我作为队长，开始学会把复杂任务拆小、把节点排清楚，每天跟进进度，遇到卡点及时协调。过程中我也亲手处理数据集、调试前端界面、跟进整体测试，真正体会到工业 AI 项目不是单点技术，而是一条完整实操链路。

科创营让我看清：创新不是一蹴而就的奇迹，而是日积月累的沉淀、反复试错的坚持、精益求精的打磨。感谢指导老师随时答疑，也感谢并肩奋战的队员，每个人各司其职、攻坚克难，项目才能一步步落地成型。

王婷（队员）：从模型精度震荡到测试报告，每一次试错都在逼我们主动思考

入营前，我总觉得科研创新晦涩遥远，是顶尖人才的专属。真正进入科创营后，几位老师用真实产业案例拆解创新思路，才让我慢慢触摸到科研创新的温度。我的核心工作是全套项目 PPT 制作、成果材料梳理汇总，并在收尾阶段协助整机联调、对比测试，记录识别准确率、拒识率等关键指标，整理测试报告。

最难忘的是沉浸式实操。纸上得来终觉浅，课堂熟记的理论，落地时总会遇到意想不到的问题。项目推进中，我们遭遇过模型精度震荡、规则逻辑漏洞、样本迁移失败等各类问题。有一次，模型精度反复波动，大家一度怀疑是数据问题，后来逐项排查，才发现是规则逻辑和样本分布不匹配。我们重新梳理判定条件，调整测试方案，才把指标稳住。

我负责 PPT 和材料汇总，看似不直接碰模型，但要把技术逻辑、痛点、创新点和测试结果讲清楚，必须真正理解项目。收尾调试阶段，我配合两位模型负责人完成多组对照实验，记录关键指标，整理测试报告。一次次试错调整，教会我冷静分析问题、排查漏洞，也让我摆脱被动接收知识，建立主动思考、大胆探索、严谨求证的科研思维。

团队协作同样关键。队长统筹分工，两名队友分别攻坚两套核心模型，我负责材料输出与辅助调试。遇到分歧坦诚交流，遇到难题互帮互助。科创营结束不是终点，而是投身科创探索未知的全新起点。

张朋睿（队员）：规则驱动模型从 V11 到 V21，熬夜调试也要把漏洞一个个补上

参加本次“AI + 能源电力设计创新训练营”，是一段充满挑战同时收获满满的经历。刚入营时，我对工业项目需求分析、规则驱动模型开发都很陌生，面对半导体产业真实需求，不知道如何把想法转化成可落地的系统方案。随着训练推进，在老师指引下，我慢慢学会调研用户真实需求、定义核心痛点、筛选技术路线、搭建最小可行原型。

项目攻坚阶段，我主要负责规则驱动模型从 V11 到 V21 全版本迭代，编写特征判定逻辑，修复各类逻辑漏洞，优化未知异常拒识策略。这段经历里，困难是常态。规则逻辑一旦有漏洞，系统就会出现误判；拒识策略不够好，未知异常就容易被放过。我们经常起早贪黑，熬夜调试规则逻辑，遇到系统调试卡壳，大家不轻易放弃，互相鼓励，反复修改测试。每修好一个漏洞，就离可运行的原型近一步。

这段经历让我真切感受到，创新不是凭空想象，而是立足现实需求，在一次次试错迭代中打磨出来。我从一开始对项目开发懵懂生疏，逐步熟悉完整创新开发流程，懂得如何把算法想法转化为可运行的原型模块。和队友并肩奋斗，我体会到团队协作的力量，感谢每一位拼搏的组员，大家互相补位，共同扛下高强度开发任务。

作为新时代青年学生，训练营也让我对青年担当有了更具象的理解。AI 赋能制造业，是产业实实在在的需求。我们不再被动接收课本理论，而是尝试运用所学解决行业真实问题。虽然系统还有大量完善空间，但这次从 0 到 1 的创新实践，锻炼了我的工程思维和问题解决能力。

郑皓青（队员）：过拟合、复杂光照识别下滑，逐条拆解问题根源

为期七天的创新训练营，短暂且充实，是我们团队科创路上一次珍贵深刻的成长历练。我主要承担 YOLO11s 少样本检测模型的训练、补强调参工作，系统掌握数据集划分、迁移学习、多轮迭代训练、模型对比测试等技术，补齐工程实操短板。

实践过程中，困难接踵而至。模型多次出现过拟合，复杂光照下识别效果下滑，团队一度陷入瓶颈。每当这时，我们就会深入研讨，逐条拆解问题根源，梳理解决方案。比如针对过拟合，我们重新调整数据划分和训练策略，对比多版本训练权重；针对复杂光照识别下滑，我们补强样本、优化调参，反复测试验证。真正做到知行合一，把理论知识转化为可运行的模型权重文件。

更让我受益匪浅的是思维与综合能力的蜕变。不仅学会科学创新思维与项目研发逻辑一次次研讨，更教会我们理性分析问题、高效解决问题。团队沟通协作能力也得到极大锻炼。从方案研讨、分工协作，到难题攻坚、细节打磨，我们在磨合中凝聚力量。还记得路演前夕，团队熬夜完成系统测试、报告整理，只为保证原型顺利演示，让我真切体会团队协作对于科创项目的重大意义。

本次训练营经历，是科创路上宝贵财富。我们收获实操技能、创新思维，更体会到严谨务实的科研精神。未来我们团队会带着训练营所学所思，持续打磨少样本 AI 视觉检测系统，攻克现存技术难点，继续精进作品。