Factory PPE 19-attr — v20260429 報告

🦺 Factory PPE 19-attr — v20260429（4-task 3-way split）

partial-label BCE / 19 binary heads / per-attr mask（unknown→mask=0 不算 loss/metric）

v20260429 主改動：將原本 single-Train 的 4 個 cvat task（GUANXI / raicvat_p9 / p17 / p26）拆 3-way (Train/Val/Test 80/10/10)，讓所有 19 個 attribute（含 cotton_gloves / hair_cover / sleeves / heartbeat / no_X 系列）在 val/test 都有 mask=1 樣本，可以實際評估。

資料：cvat2 project 5（27 tasks, 8 sources）= 6 baseline + CPPE-5 + R2PPE + 4-task 拆分後（共 ~133k person crops）。

🏆 推薦 deploy

val_mAP

0.9712

test_mAP

0.9833

macro_f1

0.9650

params

4.2M

train time

33min

v20260429_mobilenetv3l — 10 個版本中 val_mAP 最高 / params 最少 / wall time 最短。但與 v20260428 比 test_mAP 下降，是因為 v20260428 test 只有 raicvat_p2 part07 單 source（容易）， v20260429 test 包含全 8 source 的 part03 — 更廣泛 + 更難，0.98+ 仍是好結果。

checkpoint: 5090-2:~/factory_ppe/runs/factory_ppe_v20260429_mobilenetv3l/best.pt

10 版本完整對照

version	backbone	data	val_mAP	test_mAP	macro_f1	params	epochs	time
v20260426_mobilenetv3l	MobileNetV3-L	base 6src	0.6655	0.9850	0.9532	4.2M	21 (best=13)	22 min
v20260426_efficientnetb0	EfficientNet-B0	base 6src	0.6512	0.9830	0.9611	4.0M	33 (best=25)	37 min
v20260426_convnexttiny	ConvNeXt-Tiny	base 6src	0.6974	0.9880	0.9605	27.9M	22 (best=16)	68 min
v20260427_efficientnetb0_cppe5	EfficientNet-B0	+CPPE-5	0.7640	0.9829	0.9537	4.0M	17 (best=9)	19 min
v20260427_convnexttiny_cppe5	ConvNeXt-Tiny	+CPPE-5	0.7602	0.9805	0.9421	27.9M	11 (best=5)	35 min
v20260427_mobilenetv3l_cppe5	MobileNetV3-L	+CPPE-5	0.7729	0.9788	0.9480	4.2M	18 (best=10)	19 min
v20260428_convnexttiny	ConvNeXt-Tiny	+R2PPE	0.9240	0.9925	0.9773	27.9M	16 (best=10)	61 min
v20260428_mobilenetv3l	MobileNetV3-L	+R2PPE	0.9238	0.9945	0.9770	4.2M	17 (best=9)	22 min
v20260429_convnexttiny	ConvNeXt-Tiny	+4-task split	0.9702	0.9779	0.9615	27.9M	24 (best=18)	86 min
v20260429_mobilenetv3l ⭐	MobileNetV3-L	+4-task split	0.9712	0.9833	0.9650	4.2M	27 (best=19)	33 min

version

backbone

data

val_mAP

test_mAP

macro_f1

params

epochs

time

v20260426_mobilenetv3l

MobileNetV3-L

base 6src

0.6655

0.9850

0.9532

4.2M

21 (best=13)

22 min

v20260426_efficientnetb0

EfficientNet-B0

base 6src

0.6512

0.9830

0.9611

4.0M

33 (best=25)

37 min

v20260426_convnexttiny

ConvNeXt-Tiny

base 6src

0.6974

0.9880

0.9605

27.9M

22 (best=16)

68 min

v20260427_efficientnetb0_cppe5

EfficientNet-B0

+CPPE-5

0.7640

0.9829

0.9537

4.0M

17 (best=9)

19 min

v20260427_convnexttiny_cppe5

ConvNeXt-Tiny

+CPPE-5

0.7602

0.9805

0.9421

27.9M

11 (best=5)

35 min

v20260427_mobilenetv3l_cppe5

MobileNetV3-L

+CPPE-5

0.7729

0.9788

0.9480

4.2M

18 (best=10)

19 min

v20260428_convnexttiny

ConvNeXt-Tiny

+R2PPE

0.9240

0.9925

0.9773

27.9M

16 (best=10)

61 min

v20260428_mobilenetv3l

MobileNetV3-L

+R2PPE

0.9238

0.9945

0.9770

4.2M

17 (best=9)

22 min

v20260429_convnexttiny

ConvNeXt-Tiny

+4-task split

0.9702

0.9779

0.9615

27.9M

24 (best=18)

86 min

v20260429_mobilenetv3l ⭐

MobileNetV3-L

+4-task split

0.9712

0.9833

0.9650

4.2M

27 (best=19)

33 min

訓練曲線（10 版本）

4-task split 效果（MobileNetV3-L v428 → v429）

attribute	v428 (R2PPE)	v429 (4-split)	delta
hard_hat 安全帽	0.9738	0.9913	+0.0175
no_head_protection 無護頭	0.9967	0.9960	-0.0007
full_face_mask 全面罩	0.9980	0.9972	-0.0008
face_mask 口罩	0.9890	0.9914	+0.0024
no_gloves 無手套	0.9860	0.9901	+0.0041
cotton_gloves 棉手套	0.0000	0.8143	+0.8143
rubber_gloves 橡膠手套	1.0000	1.0000	-0.0000
no_protective_clothing 無防護衣	0.9985	0.9999	+0.0014
cleanroom_suit 無塵衣	1.0000	0.9996	-0.0004
splash_proof_gown 防潑罩袍	1.0000	1.0000	+0.0000
safety_vest 反光背心	0.9735	0.9768	+0.0032
safety_shoes 安全鞋	0.0000	0.8169	+0.8169
no_safety_shoes 無安全鞋	0.1579	0.9891	+0.8311
no_sleeves 無絕緣袖	0.0000	0.9997	+0.9997
heartbeat 生命徵象器	0.0000	0.9633	+0.9633
sleeves 絕緣袖	0.0000	1.0000	+1.0000
safety_glasses 護目鏡	0.8539	0.8547	+0.0008
hair_cover 髮帽	0.0000	1.0000	+1.0000
helmet_goggles 頭盔護目	1.0000	1.0000	-0.0000

attribute

v428 (R2PPE)

v429 (4-split)

delta

hard_hat
安全帽

0.9738

0.9913

+0.0175

no_head_protection
無護頭

0.9967

0.9960

-0.0007

full_face_mask
全面罩

0.9980

0.9972

-0.0008

face_mask
口罩

0.9890

0.9914

+0.0024

no_gloves
無手套

0.9860

0.9901

+0.0041

cotton_gloves
棉手套

0.0000

0.8143

+0.8143

rubber_gloves
橡膠手套

1.0000

1.0000

-0.0000

no_protective_clothing
無防護衣

0.9985

0.9999

+0.0014

cleanroom_suit
無塵衣

1.0000

0.9996

-0.0004

splash_proof_gown
防潑罩袍

1.0000

1.0000

+0.0000

safety_vest
反光背心

0.9735

0.9768

+0.0032

safety_shoes
安全鞋

0.0000

0.8169

+0.8169

no_safety_shoes
無安全鞋

0.1579

0.9891

+0.8311

no_sleeves
無絕緣袖

0.0000

0.9997

+0.9997

heartbeat
生命徵象器

0.0000

0.9633

+0.9633

sleeves
絕緣袖

0.0000

1.0000

+1.0000

safety_glasses
護目鏡

0.8539

0.8547

+0.0008

hair_cover
髮帽

0.0000

1.0000

+1.0000

helmet_goggles
頭盔護目

1.0000

1.0000

-0.0000

Best Model Per-attribute Test Metrics

v20260429_mobilenetv3l 在 test split (raicvat_p2 part07 + 7 source 各 part03 = 跨 8 source ~13k samples)：

attribute	AP	F1	P	R	best_thr
hard_hat 安全帽	0.996	0.979	0.974	0.983	0.42
no_head_protection 無護頭	0.995	0.973	0.980	0.966	0.64
full_face_mask 全面罩	1.000	0.994	0.991	0.998	0.75
face_mask 口罩	0.998	0.977	0.973	0.980	0.35
no_gloves 無手套	0.999	0.988	0.990	0.986	0.79
cotton_gloves 棉手套	0.867	0.792	0.760	0.826	0.76
rubber_gloves 橡膠手套	1.000	1.000	1.000	1.000	0.96
no_protective_clothing 無防護衣	1.000	0.997	0.996	0.999	0.53
cleanroom_suit 無塵衣	1.000	0.997	1.000	0.994	0.80
splash_proof_gown 防潑罩袍	1.000	1.000	1.000	1.000	0.80
safety_vest 反光背心	0.980	0.937	0.943	0.930	0.83
safety_shoes 安全鞋	0.894	0.819	0.895	0.756	0.96
no_safety_shoes 無安全鞋	1.000	0.997	0.995	0.999	0.16
no_sleeves 無絕緣袖	1.000	0.991	0.991	0.992	0.63
heartbeat 生命徵象器	0.960	0.923	0.927	0.919	0.96
sleeves 絕緣袖	1.000	1.000	1.000	1.000	0.50
safety_glasses 護目鏡	0.995	0.978	0.980	0.976	0.87
hair_cover 髮帽	1.000	1.000	1.000	1.000	1.00
helmet_goggles 頭盔護目	0.999	0.994	0.992	0.996	0.65

attribute

best_thr

hard_hat
安全帽

0.996

0.979

0.974

0.983

0.42

no_head_protection
無護頭

0.995

0.973

0.980

0.966

0.64

full_face_mask
全面罩

1.000

0.994

0.991

0.998

0.75

face_mask
口罩

0.998

0.977

0.973

0.980

0.35

no_gloves
無手套

0.999

0.988

0.990

0.986

0.79

cotton_gloves
棉手套

0.867

0.792

0.760

0.826

0.76

rubber_gloves
橡膠手套

1.000

0.96

no_protective_clothing
無防護衣

1.000

0.997

0.996

0.999

0.53

cleanroom_suit
無塵衣

1.000

0.997

1.000

0.994

0.80

splash_proof_gown
防潑罩袍

1.000

0.80

safety_vest
反光背心

0.980

0.937

0.943

0.930

0.83

safety_shoes
安全鞋

0.894

0.819

0.895

0.756

0.96

no_safety_shoes
無安全鞋

1.000

0.997

0.995

0.999

0.16

no_sleeves
無絕緣袖

1.000

0.991

0.992

0.63

heartbeat
生命徵象器

0.960

0.923

0.927

0.919

0.96

sleeves
絕緣袖

1.000

0.50

safety_glasses
護目鏡

0.995

0.978

0.980

0.976

0.87

hair_cover
髮帽

1.000

1.00

helmet_goggles
頭盔護目

0.999

0.994

0.992

0.996

0.65

已知議題（剩餘）：

稀缺類 train pos 仍少：sleeves (43)、hair_cover (37)、cotton_gloves (267) — 視覺判定本身困難
R2PPE 為 CC-BY-NC license — 商用前需確認
未含 hat_color / vest_color / clothing_color 等顏色屬性 — 需另開多任務頭整合

下一步候選

建立人工高精度 test set（500-1000 張 user 親手標）— 跟 PM 對齊 schema + 當 LLM benchmark gold standard

LLM-assisted relabel：對既有 unknown / 自動 mapping 進行 verification + 補強

加 hat_color / vest_color 多任務頭（方案 B，多任務 softmax）

替換 ppe_service (port 7862) 從 v20260415 (4-cls) 為 v20260429 m3l (19-attr)