PPE 21→22-attr v20260515 vs v504 對照報告

2026-05-16 · cvat2 #12 factory_ppe_v20260426_pool_v1 · 78,975 frame / 128,679 person crops · 加新 attr aluminized_apron

📊 整體指標

版本	test mAP	macro F1	train aug	attr_neg_weight (重點)
v504_negw_harness20_camaug ⭐ production baseline	0.9712	—	camaug	hard_hat=1.3, safety_vest=1.3, harness=2.0
v515 (strong + harness=20) 22-attr	0.9580	0.9301	strong	harness=20.0, 其餘 1.0
v515b (camaug + harness=2.0) 22-attr	0.9512	0.9214	camaug	hard_hat=1.3, safety_vest=1.3, harness=2.0 (對齊 v504)

版本

test mAP

macro F1

train aug

attr_neg_weight (重點)

v504_negw_harness20_camaug ⭐ production baseline

0.9712

—

camaug

hard_hat=1.3, safety_vest=1.3, harness=2.0

v515 (strong + harness=20) 22-attr

0.9580

0.9301

strong

harness=20.0, 其餘 1.0

v515b (camaug + harness=2.0) 22-attr

0.9512

0.9214

camaug

hard_hat=1.3, safety_vest=1.3, harness=2.0 (對齊 v504)

結論：兩個 v515 版本都比 v504 baseline mAP 退步約 1.3-2%。v515b 對齊 v504 stack 反而比 v515 第一輪略差，表示新 dataset 已不適用 v504 的最佳 hyperparams。可能因為：

cvat2 #12 自 v504 後 98% task 標註被重新修訂（v504 訓練時規模較小），distribution shift 大
v515 用 harness=20 + strong aug 在新 dataset 上反而 robust，可能因為 harness 樣本比例變高（pos 15K / neg 65K，cov 77.9%）
aluminized_apron head 完全沒標註樣本（valid=0），AP=0 拉低 22-attr macro mAP

📋 Per-attr 比較

attr	v504	v515 (strong+h20)	v515b (camaug+h2.0)
aluminized_apron	—	—	—
cleanroom_suit	AP 0.999 / F1 0.990	AP 1.000 / F1 1.000	AP 1.000 / F1 1.000
cotton_gloves	AP 0.837 / F1 0.769	AP 0.849 / F1 0.832	AP 0.823 / F1 0.822
face_mask	AP 0.986 / F1 0.965	AP 0.992 / F1 0.955	AP 0.989 / F1 0.946
fall	AP 0.982 / F1 0.955	AP 0.931 / F1 0.929	AP 0.974 / F1 0.936
full_face_mask	AP 0.998 / F1 0.983	AP 0.993 / F1 0.956	AP 0.992 / F1 0.955
hair_cover	AP 1.000 / F1 1.000	AP 1.000 / F1 1.000	AP 1.000 / F1 1.000
hard_hat	AP 0.993 / F1 0.973	AP 0.995 / F1 0.976	AP 0.994 / F1 0.972
harness	AP 0.923 / F1 0.866	AP 0.914 / F1 0.863	AP 0.929 / F1 0.865
heartbeat	AP 0.873 / F1 0.822	AP 0.854 / F1 0.817	AP 0.850 / F1 0.800
helmet_goggles	AP 0.999 / F1 0.994	AP 1.000 / F1 1.000	AP 1.000 / F1 1.000
no_gloves	AP 0.999 / F1 0.990	AP 0.994 / F1 0.962	AP 0.993 / F1 0.957
no_head_protection	AP 0.993 / F1 0.967	AP 0.975 / F1 0.931	AP 0.972 / F1 0.917
no_protective_clothing	AP 1.000 / F1 0.997	AP 0.999 / F1 0.990	AP 0.998 / F1 0.991
no_safety_shoes	AP 1.000 / F1 0.997	AP 0.948 / F1 0.914	AP 0.928 / F1 0.848
no_sleeves	AP 1.000 / F1 0.994	AP 0.959 / F1 0.894	AP 0.946 / F1 0.881
rubber_gloves	AP 1.000 / F1 0.999	AP 1.000 / F1 0.999	AP 1.000 / F1 0.999
safety_glasses	AP 0.994 / F1 0.965	AP 0.984 / F1 0.945	AP 0.960 / F1 0.924
safety_shoes	AP 0.858 / F1 0.804	AP 0.917 / F1 0.833	AP 0.920 / F1 0.859
safety_vest	AP 0.959 / F1 0.924	AP 0.964 / F1 0.936	AP 0.968 / F1 0.926
sleeves	AP 1.000 / F1 1.000	AP 0.851 / F1 0.800	AP 0.738 / F1 0.750
splash_proof_gown	AP 1.000 / F1 1.000	AP 1.000 / F1 1.000	AP 1.000 / F1 1.000

attr

v504

v515 (strong+h20)

v515b (camaug+h2.0)

aluminized_apron

—

cleanroom_suit

AP 0.999 / F1 0.990

AP 1.000 / F1 1.000

cotton_gloves

AP 0.837 / F1 0.769

AP 0.849 / F1 0.832

AP 0.823 / F1 0.822

face_mask

AP 0.986 / F1 0.965

AP 0.992 / F1 0.955

AP 0.989 / F1 0.946

fall

AP 0.982 / F1 0.955

AP 0.931 / F1 0.929

AP 0.974 / F1 0.936

full_face_mask

AP 0.998 / F1 0.983

AP 0.993 / F1 0.956

AP 0.992 / F1 0.955

hair_cover

AP 1.000 / F1 1.000

hard_hat

AP 0.993 / F1 0.973

AP 0.995 / F1 0.976

AP 0.994 / F1 0.972

harness

AP 0.923 / F1 0.866

AP 0.914 / F1 0.863

AP 0.929 / F1 0.865

heartbeat

AP 0.873 / F1 0.822

AP 0.854 / F1 0.817

AP 0.850 / F1 0.800

helmet_goggles

AP 0.999 / F1 0.994

AP 1.000 / F1 1.000

no_gloves

AP 0.999 / F1 0.990

AP 0.994 / F1 0.962

AP 0.993 / F1 0.957

no_head_protection

AP 0.993 / F1 0.967

AP 0.975 / F1 0.931

AP 0.972 / F1 0.917

no_protective_clothing

AP 1.000 / F1 0.997

AP 0.999 / F1 0.990

AP 0.998 / F1 0.991

no_safety_shoes

AP 1.000 / F1 0.997

AP 0.948 / F1 0.914

AP 0.928 / F1 0.848

no_sleeves

AP 1.000 / F1 0.994

AP 0.959 / F1 0.894

AP 0.946 / F1 0.881

rubber_gloves

AP 1.000 / F1 0.999

safety_glasses

AP 0.994 / F1 0.965

AP 0.984 / F1 0.945

AP 0.960 / F1 0.924

safety_shoes

AP 0.858 / F1 0.804

AP 0.917 / F1 0.833

AP 0.920 / F1 0.859

safety_vest

AP 0.959 / F1 0.924

AP 0.964 / F1 0.936

AP 0.968 / F1 0.926

sleeves

AP 1.000 / F1 1.000

AP 0.851 / F1 0.800

AP 0.738 / F1 0.750

splash_proof_gown

AP 1.000 / F1 1.000

attr	v515 F1	v515b F1	勝者
hard_hat	0.976	0.972	v515 (+0.003)
safety_vest	0.936	0.926	v515 (+0.010)
harness	0.863	0.865	v515b (+0.002)
fall	0.929	0.936	v515b (+0.007)
aluminized_apron	0.000	0.000	—

attr

v515 F1

v515b F1

勝者

hard_hat

0.976

0.972

v515 (+0.003)

safety_vest

0.936

0.926

v515 (+0.010)

harness

0.863

0.865

v515b (+0.002)

fall

0.929

0.936

v515b (+0.007)

aluminized_apron

0.000

—

📦 訓練 stack 詳細

項目	v504	v515	v515b
backbone	mobilenetv3_large_100.ra_in1k	mobilenetv3_large_100.ra_in1k	mobilenetv3_large_100.ra_in1k
img_size	[384, 192]	[384, 192]	[384, 192]
batch	128	128	128
epochs / patience	40 / 8	40 / 8	40 / 8
lr / wd	0.0003 / 0.01	0.0003 / 0.01	0.0003 / 0.01
aug	camaug	strong	camaug
mixup	0.2	0.2	0.2
harness neg_weight	2.0	20.0	2.0 (對齊 v504)
hard_hat / safety_vest neg_weight	1.3 / 1.3	1.0 / 1.0	1.3 / 1.3 (對齊 v504)
attrs 數	21	22 (含 aluminized_apron)	22

項目

v504

v515

v515b

backbone

mobilenetv3_large_100.ra_in1k

img_size

[384, 192]

batch

128

epochs / patience

40 / 8

lr / wd

0.0003 / 0.01

aug

camaug

strong

camaug

mixup

0.2

harness neg_weight

2.0

20.0

2.0 (對齊 v504)

hard_hat / safety_vest neg_weight

1.3 / 1.3

1.0 / 1.0

1.3 / 1.3 (對齊 v504)

attrs 數

22 (含 aluminized_apron)

📂 資料源

cvat2 #12 factory_ppe_v20260426_pool_v1：146 task / 78,975 frame

對齊外部 dataset：raicvat #2 + CPPE-5 + R2PPE + Cheese PPE + h-fexfl + SH17

v504 訓練後 98% task 標註被修訂（111 / 146 task updated）

aluminized_apron：schema 已加但**還沒任何 task 實際標註**（pos=0 neg=0 cov=0%）

PPE 21→22-attr v20260515 vs v504 對照

📊 整體指標

📋 Per-attr 比較

🔑 關鍵 attr 對照（demo 主項）

📦 訓練 stack 詳細

📂 資料源

📦 模型下載

📋 部署狀態（ppe-demo）