Lab Notebook · Self-Driven Experiment Vol. 02 / 工程实验

无人机
AI 调度系统。

自驱立项的实验项目。把"一句自然语言指令"通过 Coze Agent、FastAPI、MAVSDK 与 PX4 仿真，完整打通到无人机起飞——一个设计岗位之外的工程练习。

Stack
FastAPI · MAVSDK · PX4 SITL
Simulators
AirSim · Gazebo
Status
链路打通 · 持续迭代
Team
独立完成 · 零外援
System Flow · 01

完整调度链路。

六步独立打通 · 端到端

Step 01
飞书消息

发送自然语言指令，如「起飞并悬停」。

Step 02
Coze Agent

解析意图，结构化指令参数。

Step 03
Webhook

指令推送至 FastAPI 云端服务。

Step 04
FastAPI

本地 listener 轮询获取任务。

Step 05
MAVLink v2

MAVSDK 调用协议控制 PX4 飞控。

Step 06
双仿真验证

AirSim / UE4 与 Gazebo 并行。

01

飞书消息

发送自然语言指令

02

Coze Agent

解析意图，结构化参数

03

Webhook + FastAPI

云端服务接收指令

04

本地 Listener

轮询获取任务

05

MAVSDK · MAVLink v2

控制 PX4 飞控

06

双仿真验证

AirSim · Gazebo 并行

Demo · 02

系统演示。

从自然语言到仿真起飞

项目演示视频 · 2026 liuhai.vip
Architecture · 03

系统架构图。

云端 + 本地异步调度

飞书 App
→
Coze Agent
→
Webhook
↓
FastAPI 云端
←
本地 Listener 轮询
↓
MAVSDK
→
MAVLink v2 · PX4 SITL
↓
AirSim · UE4
⇄
Gazebo 仿真
Project Status · 04

工程状态。

实时记录 · 持续更新

已完成 06 / Done
  • 飞书 → Coze Agent 意图解析
  • Webhook → FastAPI 云端部署
  • MAVSDK + MAVLink v2 控制层
  • AirSim / UE4 虚拟飞机控制
  • Gazebo 仿真并行验证
  • 项目网站 liuhai.vip 上线
进行中 04 / WIP
  • 仿真环境稳定性持续优化
  • 多指令序列并发调度测试
  • AI 分身对话页完善
  • 项目文档整理与开源准备
下一步 04 / Next
  • 真机硬件在环（HIL）验证
  • 多机编队调度支持
  • 视觉识别 + 自主避障接入
  • 行业化解决方案封装
Real Scenarios · 05

真正想落地的
业务场景。

从工程到行业应用的判断

"企业最先需要的不是'AI 自己决定怎么飞'，而是把重复、固定、标准化的无人机任务自动化。AI 负责理解任务和调度流程，飞控、地面站或机巢平台负责安全执行。"

现场痛点
客户每次巡检都要依赖专业飞手，临时沟通、航线确认、天气判断、飞后整理都很碎，导致高频巡检很难规模化。
我的思路
让用户用自然语言描述任务，系统自动解析地点、目标、时间和安全条件，再把任务交给 QGC、PX4 仿真或未来的 DJI Dock / Cloud API 执行。
落地边界
AI 不直接绕过安全规则控制飞机；真正落地时需要加入禁飞区、天气阈值、电量、返航策略、人工确认和飞行日志留存。
01 / Daily Patrol

园区 / 厂区日常巡逻

固定航线、固定频次、固定检查点最适合自动化。园区边界、仓库周边、夜间安防，飞完自动留下任务记录与异常截图。

高频重复 安防巡逻 任务留痕
02 / Industrial Inspection

光伏 / 电力 / 水利巡检

把"去某片区域巡检"拆成位置解析、航线生成、天气判断、飞后报告。后续接入图像识别，做热斑、破损、异物初筛。

行业巡检 图像采集 报告闭环
03 / Site Progress

工地 / 园区进度巡查

按周或按天对同一区域执行固定任务，采集俯视影像和关键点位照片，用于施工进度、堆料变化、围挡安全管理。

固定航线 进度对比 现场管理
04 / Dock Automation

机巢无人值守调度

若接入 DJI Dock / Cloud API，现有 FastAPI 调度层可以变成机巢任务中枢：接收任务、检查条件、下发航线、回收状态。

DJI Dock Cloud API 无人值守
05 / Ground Station

地面站 / QGC 辅助调度

面向 QGC 岗位，把项目收敛成"中文任务到航线草案、任务状态显示、MAVLink 日志解析"的小工具，而不是一上来做完整平台。

QGC MAVLink 任务状态
06 / Emergency Support

应急巡查辅助

在消防、山林、河道或城市事件中，AI 帮助快速整理任务描述和点位信息，但最终执行保留人工确认与安全接管。

快速响应 人工确认 安全优先
Technical Edges · 06

核心技术壁垒。

为什么这个项目难以复制

01

端到端全链路打通

从自然语言输入到飞控指令输出，独立完成了 Feishu → Coze → Webhook → FastAPI → MAVSDK → MAVLink → PX4 的完整链路。不是调某一段 API，是整个管道自己接通。

无现成方案可抄
02

AI 意图解析 × 飞控协议的跨层融合

大多数做 AI 调度的人不懂 MAVLink，懂无人机的人不会用 Coze 构建 Agent。这个项目同时踩进了两个领域，并让它们协同工作——这是真实的跨栈能力。

双栈融合稀缺
03

云端 + 本地异步调度架构

FastAPI 部署在云端做指令缓冲，本地 listener 用轮询方式取任务再驱动飞控，解决了 "AI 服务在云上、飞控在本地局域网" 的连通难题，是实际工程中绕不开的架构问题。

工程问题真实解
04

双仿真环境并行验证

AirSim / UE4 提供高保真视觉仿真，Gazebo 提供物理行为验证，两套环境并行跑同一套指令。这种双轨验证能更早暴露控制层问题，是接近工业级测试思路的做法。

双轨验证方法论
05

有真实落地参照的系统观

在福华的工作经历让我清楚无人机企业的实际售前流程、客户痛点和落地边界，调度系统的设计从一开始就在考虑"这个方案能不能卖给客户"，而不只是技术自嗨。

业务视角优先
06

自驱 · 零资源 · 独立交付

没有团队、没有导师、没有任务指派。从立项、技术选型、踩坑、调试到上线演示网站，全程一个人完成。这不只是技术能力的证明，更是执行力和自驱机制的证明。

独立交付能力
Also Shipped · 07

企业 AI 知识库
（已上线在用）。

福华内部 · 非 Demo · 持续运行

在福华期间，除了 AI 调度系统这个仿真级实验，我还自驱完成了一个真正上线的项目：基于 Coze 平台独立搭建企业 AI 知识库智能体，整理产品参数、型号对比、常见问题，通过 Prompt Engineering 优化应答逻辑，集成飞书机器人实现客户咨询 7×24 小时自动应答。系统已在公司内部正式上线持续使用——这是一个完整跑通"立项 → 整理 → 训练 → 部署 → 维护"全流程的真实案例。

Concept Design · 08

无人机控制面板
海事巡检驾驶舱。

Figma 原型 · 设计思路展示

针对远洋货轮船体巡检场景，用 Figma 设计的完整任务驾驶舱概念。覆盖任务执行的完整生命周期：实时画面与 AI 分析、多机编队地图调度、巡检完成后的缺陷报告与传感器汇总。每个模块都对应实际作业中的决策节点。

相机视图 — 实时画面与 AI 分析 地图视图 — 多机编队航线 巡检报告 — 缺陷汇总与传感器检测

实时相机画面叠加目标船舶信息弹窗，底部同步显示 AI 分析结果（表面外观 / 气体环境 / 钢板内部）与任务规划地图，飞行员可在单屏内完成态势感知与任务监控。

⚠ 此为 Figma 原型设计，展示设计思路与行业理解，尚未接入真实无人机硬件或后端服务。

A1 / Sensors

多传感器融合显示

可见光、热成像、LiDAR 点云、超声波探伤、气体传感器、湿度传感器六路数据在报告页统一呈现，对应真实货轮检测流程中的标准传感器配置。

A2 / AI Defect

AI 缺陷识别可视化

巡检报告以热异常区域 / 密封异常 / 表面腐蚀三类缺陷分类显示，并在船体俯视图上标注具体位置，方便后续人工复核与维修定位。

A3 / Lifecycle

完整任务生命周期

三个视图分别覆盖「执行中」「调度中」「已结束」三个任务阶段，驾驶舱逻辑完整，不是单屏截图拼凑，而是有内在交互逻辑的系统设计。