🦺 Safety Rope v7b 訓練報告（新冠軍）

version: v20260503_p10_dinov3_re_v7b_clean · 訓練日 2026-05-03 · backbone vit_small_patch16_dinov3 @ 1280×720
arch: ViT-S patch16 + RoIAlign + MLP 2-cls，外擴 1.0 / 0.2 / 1.5（X / Y_top / Y_bot）
data: manifest_v3_clean.csv（修了 cvat task_id != data_id 的 path bug，226 task / 12291 train / 2953 val / 4863 test）

TL;DR — 一刀拿到全方位進步

五版對照表（test set）

v6 → v7b 三件事貢獻拆解

v7a vs v7b（clean manifest 上 camaug 的純效果）

camaug 在 clean data 上仍 +1.2pp AP / FP -21（更保守，R 略跌但 P 升）—— viewpoint augmentation 對降誤報持續有效，但 magnitude 比 path fix 小。

🎯 Inference-time Temporal Smoothing（0 訓練成本，已上線）

5/3 research agent 驗證：對 v6 推論機率做 IoU≥0.7 + window=±10 frame + N=7 median pool 的 temporal smoothing：

FP 完全不漲、FN 降 30（漏報少 8.9%）。已加進 mac model_viewer 的 inference loop（自動對 safety_rope_* 主版套用）。

v7b + smoothing 預估 test_AP ~0.93+ / FN ~250（push 到 0.93 級）—— 已部署但 test 數字尚未跑，等場域實測。

Augmentation 配置（v7b）

• Photometric：brightness ±0.4 / contrast ±0.3 / saturation ±0.4
• ROI bbox jitter：center ±20% / size 0.7-1.4× / 外擴 ratio 0.5-2.0×
• Random erasing：person bbox 上半 60%，prob 0.4 / area 5-20%
• Horizontal flip：prob 0.5
• Rotation ±5°（v6 新加）：prob 0.5，模擬攝影機歪斜
• Gaussian blur σ=0.5-1.5（v6 新加）：prob 0.2，模擬攝影機對焦微差

Training history

best_epoch=15, val_AP=0.9351（patience=8 在 ep23 觸發 early stop）

📦 模型下載

🧪 推論 quick-start（含 temporal smoothing）

pip install torch torchvision timm ultralytics opencv-python pillow numpy

curl -L -o best_fp16.pt https://pub-478929a98a5c440cb22c2241c0bde314.r2.dev/safety_rope_v20260503_v7b_clean/best_fp16.pt
curl -L -o person_yolo11n_v20260501.pt https://pub-478929a98a5c440cb22c2241c0bde314.r2.dev/person_yolo11n_v20260501/best.pt

Model class 跟單張 inference 同 v6 報告（點此），下面是新加的 temporal smoothing wrapper（部署時整合）：

from collections import deque
import statistics

class TemporalSmoother:
    """IoU>=0.7 + window=±0.5s + N=7 median pool。
    research 驗證：v6+smoothing test_AP +0.81pp / FN -8.9% / FP 不變。0 訓練成本。"""
    def __init__(self, win_s=0.5, iou_thr=0.7, top_n=7):
        self.buf = []   # [{ts, items: [(bbox, prob)]}]
        self.win_s = win_s; self.iou_thr = iou_thr; self.top_n = top_n
    @staticmethod
    def _iou(a, b):
        ix1, iy1 = max(a[0],b[0]), max(a[1],b[1])
        ix2, iy2 = min(a[2],b[2]), min(a[3],b[3])
        iw, ih = max(0, ix2-ix1), max(0, iy2-iy1)
        inter = iw*ih
        return inter / max((a[2]-a[0])*(a[3]-a[1]) + (b[2]-b[0])*(b[3]-b[1]) - inter, 1e-9)
    def smooth(self, persons, ts):
        """persons: list of {bbox, prob}。in-place 改 prob 為 smoothed，加 prob_raw 欄。"""
        self.buf = [e for e in self.buf if ts - e["ts"] < self.win_s * 2]
        for p in persons:
            cur_bb, cur_prob = p["bbox"], p["prob"]
            matched = []
            for entry in self.buf:
                if abs(ts - entry["ts"]) > self.win_s: continue
                best_iou, best_prob = 0, None
                for past_bb, past_prob in entry["items"]:
                    v = self._iou(cur_bb, past_bb)
                    if v >= self.iou_thr and v > best_iou:
                        best_iou, best_prob = v, past_prob
                if best_prob is not None:
                    matched.append((entry["ts"], best_prob))
            matched.append((ts, cur_prob))
            matched.sort(key=lambda x: -x[0])
            recent = [pr for _, pr in matched[:self.top_n]]
            if len(recent) >= 2:
                p["prob_raw"] = cur_prob
                p["prob"] = float(statistics.median(recent))
        # 加當前 frame 進 buffer
        self.buf.append({"ts": ts, "items": [(p["bbox"], p.get("prob_raw", p["prob"])) for p in persons]})
        return persons

# 用法
smoother = TemporalSmoother()
for frame in stream:
    persons = single_frame_infer(frame)   # 你的 v7b infer 函式
    persons = smoother.smooth(persons, time.time())   # in-place smoothing
    for p in persons:
        if p["prob"] >= 0.461:   # v7b thr
            alert(p)

Mac model_viewer 已自動套用 smoothing 對所有 safety_rope_* handler。場域可看 attrs 內 safety_rope_correct（smoothed） vs safety_rope_correct_raw（單張 prob）的差。

下一步

1. 場域實測 v7b + smoothing 對「人類連續看才能判」的場景（單張 prob 抖動 → median 抑制）
2. 5090-2 research agent 啟動 v8 clip-aware fine-tune（T=4 clip + TokShift + consistency aux loss）目標 test_AP ≥ 0.91
3. e2e audit 用 clean manifest 重跑（之前 v4 audit 結論作廢，path bug 修了之後才知 YOLO 真實漏框/假框數字）
4. YOLO conf 0.35→0.5 / imgsz 640→1280 試驗（清場域 hard-neg 重訓 person YOLO）

Raw artifacts: 5090-2:~/runs_new/safety_rope_v20260503_p10_dinov3_re_v7b_clean/
R2 bucket: rai-models
對照舊版 v6 報告: v6_camaug_report.html