fire_smoke_v20260805（R11）— 補 L1 弱訊號後首次全面超越現役

總覽

四版同一組 test 集對照

箭頭是 R11 相對 v610 現役。上表全部用固定 conf 0.5；逐支調 conf 的結果見第四節。 L1 / L2 / L3 是合成正樣本的難度分級（L1 悶燒初期、不透明度 10–20%、面積 <5%；L2 成長期；L3 明顯期）。

因果驗證

只補了 3 支鏡頭的 L1，那 3 支就是進步最多的

R11 = R10 的設定原封不動 + 對 新東陽 ch2 / 興農 151-16 / 興農 153-15 各補約 60 張 L1 生成正樣本 （train 的 L1 從 465 張增為 705 張）。其餘一律沒動。

代價很小但要記錄：沒補資料的鏡頭裡只有華周 CH12 退了 12pp（50/50 → 44/50），其餘持平或進步。 CH12 在 conf 0.05 下仍是 R 98% / FP 1.5%，實務上不受影響。

逐鏡頭

ISMS 21 支 + 彰化清潔隊 2 支（固定 conf 0.5）

每格是 偵測數 / 誤報數。「正」= 該鏡頭 test 合成正樣本數，「負」= 真實負樣本張數。 只有負樣本的鏡頭（思維 7 支）只能看誤報。

彰化清潔隊 2 支不在 ISMS 172 內，但資料乾淨、一併評估：一號 10 正 / 94 負、二號 11 正 / 39 負， R11 在兩支都是 conf 調整後 R 100% / FP 0%。

誤報根因分析 · SOP 3.5

99 個誤報裡有 88 個來自兩支鏡頭

1 · 固定 recall 下的 precision 與 FP 絕對數

全體固定 conf 0.5：偵測 642/714（89.9%）、誤報 99/4,584（2.16%）。 現役 v610 在同一點是 631/714 與 2,429/4,584 —— R11 多抓 11 張、少誤報 2,330 張。

2 · 按場景拆 FP

3 · train / test gap

val mAP 0.9745、test 逐鏡頭偵測 90% —— 沒有「train 背起來、test 崩掉」的型態。 補 L1 後 L1 分層直接 +14pp 也說明先前是欠資料不是過擬合，所以這次補資料才有效。 （若是泛化問題，補資料照 SOP 是無效的，該走 aug / ensemble。）

4 · shortcut 機制

CH1 的 FP 型態與 R5 / R10 一致（99 → 90 → 73 逐版下降但仍高）。 該鏡頭是室內強光 + 白色蒸氣背景，而模型在訓練期幾乎沒看過這支的負樣本， 等於把「這個視角的正常畫面」歸到未知區。這不是 shortcut，是資料缺口， 補真實負樣本就會掉下來 —— 但目前取樣器抓不到這支的 RTSP（見待辦）。

5 · ensemble vs 單一 aug

本輪沒有做 ensemble 評估。R11 是單一模型。 依 safety_rope 的經驗，兩個 decorrelated model 平均可再降 FP 約 19%， 但目前 FP 已集中在兩支資料有洞的鏡頭，ensemble 的期望效益低於直接補那兩支的資料，故不排入。

6 · 標註模糊場景

思維 易利養雞場：只有 15 張負樣本、四版全 100% 誤報。雞舍粉塵 / 水氣在畫面上與薄煙難以區分， 這很可能是標註本身的模糊上限而非模型可解的問題。建議人工複核這 15 張後再決定是否列入 KPI。

部署設定

逐鏡頭 conf 建議 — 21 支裡 18 支可上版

固定 conf 0.5 對大多數鏡頭都不是好工作點。逐支掃 conf 0.05–0.99 後的結果如下。 三種模式：高準度（recall ≥ 95% 前提下取最高 conf）、低誤報（FP ≤ 2% 前提下取最低 conf）、 單一平衡（同一個 conf 同時滿足 recall ≥ 90% 且 FP ≤ 5%，作為可上版判定）。

⚠️ conf 是 sigmoid 機率、不是 YOLO 置信度，0.05 是正常工作值，不要當成異常。

規格

模型與推論方式

這是整張畫面的分類，不做 crop、不接 person / 物件偵測器。 判定是 max(smoke, fire) ≥ conf，門檻逐鏡頭設（見上一節）。

import torch, timm
import torchvision.transforms as T
from PIL import Image

ck = torch.load("best.pt", map_location="cpu", weights_only=False)
sd = {k.replace("module.", ""): v for k, v in (ck.get("model_state") or ck).items()}
m = timm.create_model(ck.get("model_name", "mobilenetv3_large_100.ra_in1k"),
                      pretrained=False, num_classes=sd["classifier.weight"].shape[0])
m.load_state_dict(sd, strict=False); m.eval().cuda()

sz = int(ck.get("img_size") or 224)          # 224，不要改
tf = T.Compose([T.Resize((sz, sz)), T.ToTensor(),
                T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])

def has_fire_smoke(img_path, conf):
    x = tf(Image.open(img_path).convert("RGB")).unsqueeze(0).cuda()
    with torch.no_grad():
        p = torch.sigmoid(m(x))[0].cpu().numpy()   # [smoke, fire]
    return float(p.max()) >= conf, {"smoke": float(p[0]), "fire": float(p[1])}

訓練設定

與 R10 的差異只有訓練資料：新東陽 ch2 / 興農 151-16 各 +60 張 L1、興農 153-15 +120 張 L1。 超參數、aug、oversample 倍率全部沿用 R10，未做任何調整。

下一步

建議與待辦

1. 建議上版 R11 取代 v610 —— 偵測、誤報、L1/L3 四項全贏，L2 退 4pp 是唯一代價。 上版時務必逐鏡頭套 conf，套單一 0.5 會浪費掉這個模型（18 支可用會掉到約 10 支）。
2. 華周 CH1 補真實負樣本 —— 全體 74% 的誤報來自這一支，成因明確（train / val 各只有 1 張負樣本）。 阻塞在取樣器抓不到該支 RTSP，要先修串流。這件事的效益大於任何模型調整。
3. 天銳測試 1 / 測試 2 補 L1 正樣本 —— 誤報已是 0，卡在 recall 82% / 89% 封頂。 依 ch2 這次的實證（+60 張 L1 → 64%→100%），兩支各補 60 張、約 $9。
4. 思維 易利養雞場人工複核那 15 張 —— 四版全 100% 誤報，先確認是不是標註本身模糊，再決定是否列入 KPI。
5. 華周 CH12 退 12pp 觀察即可，conf 0.05 下仍 R 98% / FP 1.5%。

位置

檔案

# 5090-2
~/factory_ppe/runs/fire_smoke_R11_l1x3/best.pt      ckpt（= R2 的 fire_smoke_v20260805）
~/runs_new/round_R11.log                            訓練 log
~/runs_new/fire_smoke_R11_os8/manifest.csv          訓練用 manifest（oversample ×8）
~/runs_new/fire_smoke_R11/manifest.csv              unique manifest
~/runs_new/r11_eval.log                             四版逐鏡頭對照（本報告第三節）
~/runs_new/r11_conf.log                             逐鏡頭 conf 掃描
~/runs_new/r11_excl.log                             天銳 ×2 + 新東陽 ch2 補掃
/tmp/eval_fire21_R11.py  /tmp/conf_R11.py           評估腳本
/tmp/eval_fire21_R11.json  /tmp/conf_R11.json       評估結果

# R2
https://pub-478929a98a5c440cb22c2241c0bde314.r2.dev/fire_smoke_v20260805/best.pt