实时感知
接入摄像头和历史视频，在边缘侧完成解码、脱敏、目标检测与连续跟踪。
方案概要
从被动监控升级为主动运营智能
系统接入实时或历史视频流，在边缘侧完成目标检测、跨帧跟踪和隐私处理，再通过视觉语言模型理解人员、叉车、托盘与作业区域之间的时空关系。视频事件与 BLE、RFID、IoT 传感器、订单及仓储数据进行关联，Agent 可以用自然语言检索关键片段、生成事件时间线、验证告警，并通过 MCP 工具创建工单、通知负责人或触发复核流程。针对高风险行为，系统保留视频时间点、对象轨迹和业务证据，并将最终处置交由授权人员确认。
减少长时间人工盯屏，把异常发现、证据检索和处置协同压缩到同一工作流，同时保留实时性、可追溯性与人工控制边界。
VLM + Tracking实时场景理解
Video RAG自然语言事件检索
MCP Actions告警与工单执行
实现流程
视频感知、业务关联与 Agent 行动闭环
场景理解
VLM 识别对象、动作、区域和时序关系，将画面转化为可检索的语义事件。
多源关联
融合 BLE、RFID、IoT、订单和仓储数据，验证视觉事件并降低误报。
Agent 处置
生成摘要和证据，通过 MCP 创建工单、通知负责人，并对高风险操作请求审批。
Production Architecture
以轻量实时感知驱动按需多模态推理
持续运行的是硬件解码、小型检测模型和目标跟踪；只有经规则与业务数据筛选的异常片段才进入 VLM，从架构层面控制 GPU 成本、响应延迟和误报率。
Edge Ingest
摄像头视频
复用既有 RTSP / ONVIF 摄像头，在边缘节点接入实时流，并按权限保存原始录像和事件片段。
Decode & Sample
硬件解码与抽帧
利用 NVDEC 等硬件解码能力批量处理多路视频，根据对象速度和场景风险动态调整采样率，而不是把每一帧交给模型。
Always-on CV
小型检测模型 + Tracking
轻量检测模型持续识别人员、叉车、托盘和车辆，Tracker 在跨帧之间维护对象 ID、轨迹、速度与停留时间。
Event Gate
规则和业务数据过滤
将区域越界、停留时间和拥堵规则与 BLE、RFID、WMS、订单及排班数据关联，只保留需要进一步解释的候选事件。
仅异常片段进入高成本推理
On-demand VLM
VLM 复核与场景解释
仅分析事件前后的关键帧或短片，判断对象之间的时空关系、解释异常原因，并生成带时间点和证据引用的语义事件。
Agent Action
Agent 创建工单、通知和报告
Agent 检索事件证据，通过 MCP 调用 WMS、工单和通知系统；高风险动作保留人工审批与完整审计记录。
交互体验
实时视觉运营指挥中心
切换错放托盘、禁区闯入和装卸拥堵场景，观察目标跟踪、VLM 理解、事件检索与 MCP 工具执行。
LiveOps Vision实时运营指挥中心
系统健康12 / 12 路摄像头
FORKLIFT 02 · 98%
WORKER 03 · 96%
WORKER 07 · 94%
PALLET P-2048
DOCK 04
隐私保护合成画面非真实客户监控数据
检测到错放托盘 P-204810:24:21
4 个目标38 msRTSP · 30 FPS
00:00
00:12