Fire/Smoke v20260410 — SK 獨立測試報告

模型: MobileNetV3-Large (v20260410) · SK 場域資料獨立驗證
涵蓋所有 SK tasks 共 4,005 張 · 76 個 tasks · 含 CH08/CH10/新增 CH16

AP Smoke
0.9105
SK Samples
4,005
SK Tasks
76
可上線 Channels
10/17
問題 Tasks
36
Full Test mAP
0.9892
對照

Threshold 調整前後對比(Smoke)

ThresholdPrecisionRecallF1FPFNFPR
原始 (全資料集)0.00466.0%97.6%0.78801,3016192.1%
SK 最佳化 (FPR≤5%)0.32095.9%59.3%0.7330651,0554.6%

SK 資料分佈

類型數量佔比
Smoke only2,59264.7%
Fire only00.0%
Smoke + Fire00.0%
Negative1,41335.3%
Total4,005100%

Per-Channel Threshold 建議與上線狀態(按東海/大甲分區)

每個鏡頭獨立搜尋最佳 threshold(FPR≤5% 約束下最大 F1)

ChannelFramesPosNeg建議 ThresholdPrecisionRecallF1狀態建議
東海
CH018245572670.3995.9%50.4%0.661Not Ready不建議 t=0.39,recall 50% 太低,需補資料
CH023451711740.3192.1%33.9%0.496Not Ready不建議 t=0.31,recall 34% 太低,需補資料
CH033602431170.0899.1%89.3%0.939Ready可上線 t=0.08
CH04474384900.1398.7%80.2%0.885Ready可上線 t=0.13
CH05242310.01100.0%100.0%1.000Ready可上線 t=0.01
CH06212100.01100.0%100.0%1.000Ready可上線 t=0.01
CH07292277150.02100.0%90.6%0.951Ready可上線 t=0.02
CH08595900.01100.0%98.3%0.991Ready可上線 t=0.01
CH0911451630.03100.0%98.0%0.990Ready可上線 t=0.03
CH10505000.01100.0%12.0%0.214Not Readyprob 過低(中位數 0.002),模型無法辨識此鏡頭的煙,需補資料重訓
CH11141400.01100.0%100.0%1.000Ready可上線 t=0.01
CH12252410.06100.0%95.8%0.979Ready可上線 t=0.06
CH132341241100.1893.3%45.2%0.609Not Readyprob 過低(中位數 0.145),模型無法辨識此鏡頭的煙,需補資料重訓
CH1412446780.01100.0%56.5%0.722Not Readyprob 過低(中位數 0.046),模型無法辨識此鏡頭的煙,需補資料重訓
CH165321753570.3182.3%29.1%0.430Not Readyprob 過低(中位數 0.140),模型無法辨識此鏡頭的煙,需補資料重訓
大甲
CH1412446780.01100.0%56.5%0.722Not Readyprob 過低(中位數 0.046),模型無法辨識此鏡頭的煙,需補資料重訓
CH154643251390.8196.5%51.1%0.668Not Ready不建議 t=0.81,recall 51% 太低,需補資料
CH165321753570.3182.3%29.1%0.430Not Readyprob 過低(中位數 0.140),模型無法辨識此鏡頭的煙,需補資料重訓
CH17494810.02100.0%100.0%1.000Ready可上線 t=0.02

Per-Location 分析(使用 per-channel threshold)

LocationFramesPrecisionRecallFPRAcc
東海306098.1%66.2%2.9%76%
大甲94593.6%53.3%3.5%75%

連續幀穩定度(翻轉率 >30%)

TaskFramesFlipsRate
東海SK-[CH01] 2026-03-11 16.04.00(Train) 有黑煙警報(警報1分鐘,黑煙5分鐘).mp4984243%
大甲SK-CH14-AI-test23941%
東海SK-[CH04] 2026-03-15 10.30.00(Val).mp4541630%

Per-Task 準確度(按準度排序,低→高)

Task NameLocationCHFramesAccTPFPFNTN
+ 東海SK_CH16_AI.mp4FN:2 CVAT↗ 東海CH1619 0.0% 00190
+ 東海SK-CH02-AI-加強4_valFN:2 CVAT↗ 東海CH0222 0.0% 00220
+ 東海-CH10-AIFN:2 CVAT↗ 東海CH1050 12.0% 60440
+ 東海SK-[CH01] 2026-03-11 13.51.00(Val).mp4FN:2 CVAT↗ 東海CH0148 20.8% 20388
+ SK大甲_15_20250912092540.mp4FN:2 CVAT↗ 大甲CH1533 27.3% 00249
+ SK-東海AI-CH13-1.mp4FN:2 CVAT↗ 東海CH1324 29.2% 50172
+ 東海SK-[CH01] 2026-03-11 16.45.00(Train).mp4FN:2 CVAT↗ 東海CH01100 33.0% 330670
+ SK大甲_15_20241202104500.mp4FN:2 CVAT↗ 大甲CH1591 35.2% 005932
+ 東海SK-[CH02] 2026-03-13 13.40.00(Test).mp4FN:2 CVAT↗ 東海CH0230 40.0% 001812
+ 東海SK-[CH16] 2026-03-13 13.40.00(Test).mp4FN:2 CVAT↗ 東海CH1637 40.5% 002215
+ 東海SK-[CH01] 2026-03-13 14.19.00(Train).mp4FN:2 CVAT↗ 東海CH0126 42.3% 001511
+ SK-東海AI-CH07-1.mp4FN:2 CVAT↗ 東海CH0725 48.0% 100132
+ 大甲-SK_15_20250924095800.mp4FN:2 CVAT↗ 大甲CH15128 50.8% 006365
+ 東海SK-[CH02] 2026-03-13 10.42.00(Train).mp4FN:2 CVAT↗ 東海CH0233 51.5% 301614
+ 東海SK-[CH04] 2026-03-15 10.30.00(Val).mp4FN:2 CVAT↗ 東海CH0454 51.9% 1702611
+ 東海SK-[CH01] 2026-03-11 13.51.00(Train).mp4FN:2 CVAT↗ 東海CH0196 53.1% 304548
+ 大甲SK-CH14-AI-testFN:2 CVAT↗ 大甲CH1423 56.5% 120101
+ 東海SK-[CH07] 2026-03-13 12.46.00(Test).mp4FN:2 CVAT↗ 東海CH0730 56.7% 401313
+ 東海SK-[CH16] 2026-03-13 14.34.00(Train).mp4FN:2 CVAT↗ 東海CH1637 56.8% 201619
+ 東海SK-[CH16] 2026-03-13 10.42.00(Val).mp4FN:2 CVAT↗ 東海CH1654 57.4% 1802313
+ 東海SK-[CH13] 2026-03-12 09.22.00(Val).mp4FN:2 CVAT↗ 東海CH1357 57.9% 002433
+ 東海SK-[CH01] 2026-03-11 12.38.00(Train).mp4FN:2 CVAT↗ 東海CH0160 61.7% 1502322
+ 東海SK-[CH04] 2026-03-14 09.30.00(1)(test).mp4FN:2 CVAT↗ 東海CH0452 63.5% 1401919
+ 東海SK-[CH13] 2026-03-13 12.46.00(Train).mp4FN:2 CVAT↗ 東海CH1357 64.9% 302034
+ SK大甲_15_20250912091830.mp4FN:2 CVAT↗ 大甲CH1539 66.7% 001326
+ 東海SK-[CH02] 2026-03-13 14.34.00(Train).mp4FP:2FN:2 CVAT↗ 東海CH0251 66.7% 851226
+ 東海SK-[CH01] 2026-03-11 16.04.00(Train) 有黑煙警報(警報1分鐘,黑煙5分鐘).mp4FP:1FN:2 CVAT↗ 東海CH0198 67.3% 621314
+ 東海SK-[CH01] 2026-03-15 15.59.00(Train).mp4FP:2FN:1 CVAT↗ 東海CH0131 67.7% 21910
+ 東海-SK[CH02] 2025-01-15 09.24.00.mp4FN:2 CVAT↗ 東海CH0228 67.9% 00919
+ 東海SK-[CH02] 2025-12-04 12.29.00.mp4FN:2 CVAT↗ 東海CH0229 69.0% 00920
+ 東海SK-[CH01] 2026-03-11 08.18.01(Train).mp4FN:2 CVAT↗ 東海CH0139 71.8% 501123
+ 東海SK-[CH02] 2026-02-10 16.33.00(黑煙在46分)-1.mp4FN:2 CVAT↗ 東海CH0218 72.2% 30510
+ SK[CH03] 2024-11-16 10.30.00FN:2 CVAT↗ 東海CH0367 74.6% 1601734
+ SK[CH02] 2025-01-23 08.08.00FN:2 CVAT↗ 東海CH0290 75.6% 002268
+ 東海SK-[CH01] 2026-02-10 16.33.00.mp4FP:1FN:2 CVAT↗ 東海CH01161 76.4% 4313780
+ 東海SK-[CH04] 2026-03-13 16.03.00(Train).mp4FP:2FN:2 CVAT↗ 東海CH0433 78.8% 20256
+ SK大甲_16_20250626115400.mp4FN:2 CVAT↗ 大甲CH16140 82.1% 0025115
+ 東海SK-[CH01] 2026-03-15 10.30.00(Train).mp4FN:2 CVAT↗ 東海CH0134 82.4% 20068
+ SK-CH04-3爐 1140401 0800FN:2 CVAT↗ 東海CH0463 82.5% 4101111
+ SK大甲_16_20250626131700.mp4FP:2FN:2 CVAT↗ 大甲CH16157 86.0% 01111135
+ 東海-SK[CH03] 2024-11-15 11.22.30.mp4FN:1 CVAT↗ 東海CH038 87.5% 3014
+ 東海SK-[CH13] 2026-03-11 12.38.00(Train).mp4FP:2FN:2 CVAT↗ 東海CH1366 87.9% 324426
+ 東海SK-[CH03] 2026-03-13 14.19.00(Train).mp4FP:2FN:2 CVAT↗ 東海CH0343 88.4% 212317
+ 大甲-SK_14_20250626115400.mp4FN:2 CVAT↗ 大甲CH1487 88.5% 001077
+ 東海-SK[CH03] 2025-07-14 07.35.00.mp4FN:2 CVAT↗ 東海CH0338 89.5% 100424
+ 東海SK-[CH13] 2026-03-11 10.14.00(Train).mp4FN:2 CVAT↗ 東海CH1330 90.0% 160311
+ 東海SK-[CH04] 2026-02-10 16.33.00-cut.mp4FP:2FN:2 CVAT↗ 東海CH04110 90.0% 97292
+ SK-[CH16] 2025-12-04 12.29.00.mp4FN:2 CVAT↗ 東海CH1631 90.3% 70321
+ 東海SK-[CH04] 2026-03-15 15.59.00(Train).mp4FN:2 CVAT↗ 東海CH0421 90.5% 80211
+ 東海SK-[CH16] 2026-02-10 16.33.00-cut.mp4FN:2 CVAT↗ 東海CH1632 90.6% 20327
+ SK-大甲-CH16-AIFN:2 CVAT↗ 大甲CH1625 92.0% 22021
+ 東海SK-[CH01] 2026-03-11 10.14.00(Train).mp4FN:2 CVAT↗ 東海CH0137 94.6% 210214
+ SK-東海AI-CH12.mp4FN:1 CVAT↗ 東海CH1225 96.0% 23011
+ 東海SK-[CH04] 2026-02-10 12.13.00-cut.mp4FN:2 CVAT↗ 東海CH0453 96.2% 410210
+ SK大甲_15_20250709141600.mp4FP:2 CVAT↗ 大甲CH15173 96.5% 166601
+ 東海-SK[CH04] 2025-01-23 11.39.00.mp4FN:1 CVAT↗ 東海CH0436 97.2% 27018
+ 東海SK-[CH03] 2026-02-10 16.33.00.mp4FN:1 CVAT↗ 東海CH0344 97.7% 70136
+ 東海-SK[CH04] 2025-01-22 16.35.00.mp4FN:1 CVAT↗ 東海CH0452 98.1% 43018
+ 東海-CH08-AIFN:1 CVAT↗ 東海CH0859 98.3% 58010
+ SK東海-[CH09] 2025-06-04 10.27.00.mp4FN:1 CVAT↗ 東海CH0960 98.3% 330126
+ WV+SK_東海[CH01] 2025-07-22 10.50.00FP:1 CVAT↗ 東海CH0164 98.4% 261037
+ SK-東海AI-CH05-1.mp4 CVAT↗ 東海CH0524 100.0% 23001
+ SK-大甲CH17-2-AI CVAT↗ 大甲CH1749 100.0% 48001
+ 東海SK-CH14-AI-test CVAT↗ 東海CH1414 100.0% 14000
+ 東海SK-CH11-test2-AI CVAT↗ 東海CH117 100.0% 7000
+ 東海SK-CH11-test-AI CVAT↗ 東海CH117 100.0% 7000
+ 東海SK-CH07-AI加強-val CVAT↗ 東海CH0777 100.0% 77000
+ 東海SK-CH07-AI加強-train CVAT↗ 東海CH07160 100.0% 160000
+ 東海SK-CH06-test3-AI CVAT↗ 東海CH067 100.0% 7000
+ 東海SK-CH06-test2-AI CVAT↗ 東海CH067 100.0% 7000
+ 東海SK-CH06-test-AI CVAT↗ 東海CH067 100.0% 7000
+ 東海SK-CH03-AI加強-train CVAT↗ 東海CH03160 100.0% 160000
+ 東海SK-CH02-AI-加強3_train CVAT↗ 東海CH0222 100.0% 22000
+ 東海SK-CH02-AI-加強2_train CVAT↗ 東海CH0222 100.0% 22000
+ 東海-SK[CH09] 2025-07-22 10.50.00.mp4 CVAT↗ 東海CH0954 100.0% 170037
+ 東海-SK[CH01] 2024-10-27 08.52.00.mp4 CVAT↗ 東海CH0130 100.0% 30000