上电首期科创营第1组
——具身AI电力巡检四足机器人：让智能巡检走近复杂现场
在上海电力大学创新训练营中，第一组项目团队（1.具身AI电力巡检四足机器人）围绕复杂电力场景的智能巡检需求，完成了“具身AI电力巡检四足机器人”项目。团队将 Lite3 四足机器人、SCM901 边缘计算板卡和 YOLO 视觉识别模型结合起来，打通动作回放、定点拍照、板端识别、语音告警和结果留存流程，实现机器狗依次到达正常与破损绝缘子点位并反馈检测结果。项目以可演示、可复盘的整机闭环，验证了具身智能技术辅助完成重复性电力巡检的可行性，也为后续自动避障和复杂现场应用积累了工程经验。
训练营期间，团队没有让识别模型停留在电脑屏幕上，而是把它带到真实运动平台上反复验证。从一张图片上的目标识别，到机器狗移动、停靠、检测、播报和保存结果，每一次功能接通都伴随着新的问题，也推动项目一步步形成可展示、可复盘的巡检闭环。
图1 具身AI电力巡检四足机器人产品外观
从行业需求出发让巡检更安全更智能
电力设备巡检关系到系统安全稳定运行。传统人工方式需要巡检人员进入现场逐点观察，在带电环境、复杂地形和重复性任务中承受较高的时间成本和安全风险。轮式设备在台阶、杂物和不平整地面附近也容易受到限制。四足机器人具有较强的地形适应能力，为复杂场景中的移动巡检提供了新的载体。
国家层面持续推动机器人应用与能源数字化建设。《“机器人+”应用行动实施方案》提出拓展机器人在重点行业的典型应用场景；《加快构建新型电力系统行动方案（2024—2027年）》强调能源领域数字化、智能化升级；电力安全生产相关行动计划也更加重视风险预警、智能管控和现场安全能力。团队据此将项目目标确定为：让机器人替代人员完成部分重复性巡检任务，并把图像、识别结果和现场反馈汇集到同一流程中。
图2 项目调研引用的机器人与新型电力系统政策资料
项目采用四足机器人作为移动平台，利用上位机完成动作控制和路线回放，在机器人到达巡检点位后，由SCM901 板端调用摄像头拍照并执行 YOLO 模型推理。检测结果通过语音播报反馈，同时保存带有检测框的结果图，为现场核查和后续模型改进提供依据。
从单张识别走向完整巡检闭环
项目早期，团队首先验证模型能否在图片中识别绝缘子和破损区域。模型使用class_id=0 表示绝缘子，class_id=1 表示破损。随着测试深入，团队发现仅按最高置信度直接播报容易出现误判：背景物体可能被误识别，同一画面中也可能同时出现绝缘子与破损区域标签。于是，判断逻辑逐步加入绝缘子存在条件、破损标签优先、延时检测和阶段状态约束。
图3 绝缘子主体与破损区域检测结果
最终展示程序形成两阶段流程。程序启动后等待3 秒开始检测；在首个正常点位确认之前，即使偶然出现破损结果也不会提前结束。第一次检测到正常绝缘子后，程序播放正常提示音并等待8 秒，随后进入第二阶段。此后再次检测到正常结果时保持静默，检测到破损绝缘子后播放告警并结束程序。该机制与机器狗经过两个巡检点位的动作节奏相匹配，降低了第一点位误报导致流程中断的概率。
这套流程把拍照、推理、规则判断、语音播报和任务状态连接起来，使模型不再孤立运行，而是成为机器人巡检任务中的一个决策环节。
让机器狗沿着巡检路线稳稳走起来
让模型“看得见”之后，团队面对的下一个问题是：怎样让机器狗准确走到该看的地方？训练营现场，负责运动控制的成员一遍遍操控 Lite3 跨过障碍、调整姿态并停在绝缘子前，再用上位机记录动作。路线稍有偏差，摄像头就可能对不准目标；停留时间太短，视觉程序也来不及完成拍照和识别。团队于是反复修改步态、转向和停靠时间，把一连串分散动作调成可重复回放的巡检路线。
图4 Lite3 智能运动控制台界面
演示开始后，机器狗从起点出发，按照记录好的动作越过场地中的障碍，先后到达两个绝缘子点位。团队设计的Lite3 智能运动控制台集中显示实时图传、基础运动、步态切换、示教录制和软急停等功能，成员可以一边观察画面，一边随时调整动作。现阶段这条路线仍以动作回放为主；下一步，团队计划接入深度相机或雷达，使机器狗遇到临时障碍时能够减速、停下或局部绕行，必要时由人工接管，再返回巡检路线继续任务。
在需求分析和现场问题中不断迭代
项目不是一次写完的程序，而是在持续发现问题、定位原因和修改方案的过程中逐步成形。通过上海交通大学张执南教授的讲解和现场专家沈靖老师的示范，团队先从巡检人员、设备、场地、时间和任务流程等角度梳理需求，再通过行为拆解、问题归类和原因分析，将目标收敛为“能到达、能感知、能判断、能反馈”的最小可行系统。
图5 团队通过便签与流程图开展需求分析和方案生成
进入工程实现后，问题变得更加具体：SSH 连接是否稳定，程序和模型如何传输至板端，摄像头设备号是否正确，存储目录为何变为只读，编译后的模型文件是否与运行程序兼容，“yolov8.jpg”是否真正被新结果覆盖，音频设备能否正常播报。团队逐项核对网络、权限、路径、依赖和日志，将原本停留在电脑端的算法迁移到SCM901 板端运行。
这些看似琐碎的故障构成了项目成长的主线。每一次连接失败、推理报错和识别误判，都促使团队建立更清晰的排查顺序，也让成员认识到，工程效果由算法、硬件、操作系统、摄像头、文件系统和现场流程共同决定。
用真实画面重新训练模型
现场使用的摄像头像素较低，画面还会受到距离、角度和光照影响。团队发现，主要依赖网络高清图片训练的模型，在模糊摄像头画面上容易把正常绝缘子判断为破损，也可能漏检真实缺陷。为缩小训练数据与展示场景之间的差异，团队从板端摄像头采集图片，制作对应标签，重新划分训练集与验证集，并在GPU 环境中完成 100 轮训练。
图6 模型 100 轮训练过程中的损失和精度变化
训练曲线帮助团队观察损失下降和检测指标变化，但模型训练完成并不意味着可直接部署至板端。模型还需要经过与SCM901 运行环境匹配的编译和部署流程，运行程序、模型结构与底层推理库之间也必须保持兼容。新模型部署过程中出现的异常，使团队进一步理解了数据、权重、模型编译和硬件运行时之间的关系。
针对展示稳定性，团队同时保留规则层面的保护：只有检测到有效绝缘子主体后才进入正常或破损判断，并利用阶段状态控制播报。模型与流程逻辑相互配合，使系统在有限数据和低清晰度画面条件下仍能完成演示任务。
一次联调怎样跑通完整巡检
把运动路线和视觉程序接到一起时，团队很快发现，“机器狗走到了”和“摄像头拍到了”并不总在同一时刻发生。训练营现场，成员们围在机器人旁：有人盯着脚步和停靠姿态，有人查看 SCM901 板端终端输出，有人核对检测框和音频反馈。起初，机器狗已经转身离开，程序可能还在等待；有时画面刚稳定，播报却没有按预期响起。大家便一轮轮调整动作回放时序和检测等待时间，为每个点位留出稳定的拍摄窗口。
图7 团队围绕四足机器人开展板端与运动控制联调
经过多轮联调，一次完整巡检终于顺利跑通：机器狗从起点出发，越过障碍后停在第一个正常绝缘子前，视觉程序识别目标并播报“正常”；随后它继续前进，在第二个破损绝缘子前再次停下，程序识别破损区域、发出告警并结束视觉进程。短短一段路线，串起了动作回放、定点停靠、板端推理和语音反馈，也让团队第一次能够沿着一次任务的全过程检查每个环节是否准确衔接。
为了方便后续核查，团队在联调过程中持续保留原图、带框结果图、终端输出和问题记录。这些资料既用于复盘演示过程，也为后续扩充真实场景数据和完善工程流程提供依据。
阶段成果与团队收获
目前，项目已经形成一套可提交、可继续迭代的阶段成果。软件方面，团队完成了Lite3 上位机控制与动作回放程序、SCM901 板端视觉检测程序和正常与破损语音反馈逻辑；算法方面，整理了绝缘子数据集、标签、训练结果和模型文件；工程资料方面，保留了部署脚本、调试记录、检测结果图、项目汇报 PPT和说明文档。这些材料共同记录了项目从需求提出、方案形成到整机演示的全过程。
图8 团队在科创营现场开展方案讨论与任务分工
回望项目推进过程，团队最大的收获，是认识到有价值的创新既需要新的技术想法，也需要把想法放到真实环境中反复验证。最初大家更关注模型能否识别一张图片，后来逐渐意识到，摄像头像素、安装角度、网络连接、板端权限、动作时序和音频设备都会影响最终结果。正是在一次次排查和修正中，项目才从单一算法演示发展为完整的机器人巡检系统。
科创营为团队提供了跨越算法、硬件、控制和展示表达的实践机会。成员在分工协作中学习模型训练、板端部署、上位机开发与现场联调，也学会用需求分析和工程验证检验创意。一次次测试积累下来的数据、日志和协作经验，也成为团队继续完善系统的起点。
绝影工程师为现场联调提供支持
项目推进过程中，武汉市物新智道公司携手云深处科技公司旗下绝影品牌四足机器人团队，为团队提供了现场与线上相结合的技术支持。两位工程师来到训练营现场，围绕Lite3 运动控制、设备连接和调试流程与成员一起排查问题，并根据演示路线和使用环境给出操作建议。面对学生团队第一次把四足机器人与自研视觉程序接到一起的情况，工程师的现场指导帮助团队更快熟悉设备，也缩短了从单项测试到整机联调的摸索时间。
图9 现场人员围绕机器狗开展设备调试
现场工作结束后，支持仍在线上延续。机器狗在板端部署中出现SSH 登录受限、网络连接不稳定和接口连接异常等问题时，团队通过聊天和远程沟通向工程师说明现象。工程师根据报错提示帮助判断原因，提醒成员等待登录限制解除，并从 IP 地址、网络线路、USB 与网口状态等方向逐项排查。两张沟通截图记录了这段从“连不上”到重新定位问题的过程。
图10 线上工程师协助排查 SSH 登录受限问题
图11 线上沟通中分析网络与接口连接问题
这些支持没有替代团队完成开发，而是为故障排查提供了更准确的入口。成员在解决具体问题的过程中，逐渐形成先确认设备和网络、再检查系统状态、最后核对程序和模型的排查顺序，也更加理解厂商经验与学生自主实践相互配合的价值。
师者同行科创营中的悉心指导
从项目选题、需求分析到整机联调和成果汇报，老师们始终关注团队的推进情况。面对学生第一次把四足机器人、边缘计算板卡和视觉模型组合到同一任务中的挑战，老师们既帮助团队把握项目方向，也在现场一次次陪伴调试。许多关键进展的背后，都凝聚着老师们耐心讨论、反复检查和及时鼓励的付出。
孙玉芹院长多次从行业需求、应用价值和创新完整性等角度指导项目。团队最初把注意力主要放在“模型能否识别一张图片”上，孙院长则引导大家回到真实巡检过程，继续思考机器人如何到达点位、检测结果如何反馈、系统怎样形成闭环，以及现有成果与后续规划应如何清楚表达。这些建议促使团队将单一算法测试扩展为具身AI巡检方案，也让项目展示更加完整、重点更加明确。
现场梳理项目思路与应用场景
沈靖、王磊老师则把大量精力投入现场指导。机器狗的动作回放、摄像头位置、板端程序运行和语音播报需要相互配合时，老师们与团队一起观察演示过程，帮助大家梳理故障现象和排查顺序，并在一次次联调中提醒成员记录问题、逐项验证。面对连接失败、识别误报和流程衔接不顺等情况，老师们始终耐心分析、及时鼓励，让团队在反复试验中逐渐找到解决办法。
老师们的辛勤付出不仅帮助项目按计划完成，更让团队学习到一种严谨务实的工程态度。遇到问题时先观察现象、再分析原因、随后设计验证方法；形成成果后既要说明已经完成的功能，也要如实区分仍在规划中的方向。对第一组成员而言，这些方法和习惯与最终作品同样珍贵，也将继续影响大家今后的专业学习和科创实践。
面向真实电力场景的下一步规划
目前形成的仍是面向训练营展示的阶段性原型。下一阶段，团队将首先围绕识别可靠性继续补充真实场景数据，覆盖不同光照、距离、角度和背景条件，并建立更规范的测试集与评价方法，让模型效果能够被持续比较和复核。
在运动与环境感知方面，团队计划接入深度相机或雷达，逐步验证障碍物检测、减速停车、局部绕行和人工接管等功能，并研究绕行后重新返回巡检点位的方法。自动避障和多传感器融合目前仍属于后续规划，尚未作为现有成果完成。
在工程化方面，团队将继续优化摄像头和板卡安装，完善部署脚本、运行日志与故障恢复流程，并按巡检点位保存原图、带框结果图、置信度和判定记录。未来还可加入巡检轨迹和缺陷记录自动生成，使系统从可演示的原型逐步走向更稳定、可维护、可复核的工程样机。
想体会
成员一姓名：林一楠
参加本次创新训练营，让我第一次较为完整地经历了一个工程项目从需求分析到现场展示的全过程。项目开始时，我们只有“让机器狗代替人工完成部分电力巡检”的初步想法。随着调研深入，我们逐步明确巡检对象、移动路线、检测点位和结果反馈方式，再把大目标拆成上位机控制、动作回放、板端识别和语音播报等可以分别验证的任务。这个过程让我认识到，项目统筹不是简单分配工作，而是需要持续确认每个环节能否在同一套流程中衔接。
面对时间紧、任务交叉和现场问题频发的情况，团队成员需要及时沟通进度，遇到技术困难时也要共同判断问题属于算法、硬件还是操作流程。一次次讨论和调整让我学会在复杂任务中抓住关键目标，并根据现场条件做出取舍。今后参与科创项目时，我会更加重视需求定义、阶段验证和资料沉淀，让团队协作建立在清晰的信息和可检查的成果之上。
员二姓名：周济仁
视觉识别部分给我最深的感受，是模型在电脑上能够识别，并不代表它到了真实设备上仍然稳定。网络图片通常清晰且主体突出，而机器狗摄像头拍到的画面会受到像素、距离、角度和光照影响。正常绝缘子被误判为破损、破损区域没有被持续检测到等问题，使我们不断检查标签、阈值和训练数据，并把现场摄像头拍摄的图片补充到数据集中，重新完成训练和验证。
在调试过程中，我逐渐理解了数据质量、模型能力和判断规则之间的关系。单纯提高训练轮数不能自动解决场景差异，置信度也不能脱离目标位置和任务阶段单独使用。通过加入绝缘子存在条件、阶段状态和播报控制，模型结果才真正转化为可以支撑展示的判断。今后我希望继续补充不同光照和距离下的数据，并通过更规范的测试评价模型，让识别结果更加稳定、可解释。
员三姓名：曾行之
板端部署让我认识到，算法落地涉及远不止一个模型文件。我们需要通过SSH 连接 SCM901，传输程序、权重、音频和运行依赖，确认摄像头设备号与音频设备，同时处理目录只读、文件权限和模型兼容等问题。曾经看似简单的一条运行命令，背后其实包含操作系统、文件路径、推理库和硬件环境之间的配合。
一次次查看终端输出、比对文件时间和检查检测结果图，使我逐渐形成了更有顺序的排查习惯：先确认设备和文件，再确认运行环境，然后检查模型输出和业务逻辑。这个过程虽然反复，却让我真正理解了“部署”与“运行”的差别，也提升了我面对陌生硬件环境时独立定位问题的能力。未来我希望进一步完善部署脚本和运行日志，让设备配置、版本替换和故障恢复更加高效。
员四姓名：沈非凡
整机联调阶段让我体会到，机器人项目中的每个模块都会影响最终展示。机器狗的动作回放时间、到达点位后的姿态、摄像头朝向、程序启动等待时间和音频播报顺序必须相互匹配。我们一边观察机器狗运动，一边查看板端终端和检测图片，通过调整检测时序和流程状态，让机器人能够先完成正常点位检测，再移动到破损点位告警并结束任务。
从最初只能分别运行各程序，到最终完成一次连续巡检流程，我感受到团队协作和现场验证的重要性。工程中的成功不是某一个模块表现突出，而是所有环节在规定时间内可靠配合。科创营也让我学会在压力下保持耐心，记录问题、快速沟通并反复测试。下一阶段，我希望参与自动避障和多传感器融合的实现，使机器狗在路线发生变化时也能安全完成巡检。
