1. 项目背景与核心价值

鞋类自动分类系统是计算机视觉领域一个极具实用价值的课题。我在大四那年选择这个方向作为毕业设计，最初只是觉得"用AI识别鞋子"听起来很酷，但深入后发现这个项目远比想象中复杂且有意义。传统鞋类电商平台依赖人工标注商品类别，平均每1000张图片需要3-4小时人工处理，而基于深度学习的方案可以将效率提升20倍以上。

这个项目的核心在于构建一个能自动识别运动鞋、皮鞋、凉鞋、靴子等常见鞋类的智能系统。难点在于鞋类具有以下特征：

• 视角多样性（俯视/侧视/斜视）
• 相似品类间的细微差异（如牛津鞋与德比鞋）
• 背景干扰（电商图片常带复杂背景）

2. 技术方案选型

2.1 模型架构对比

我测试了三种主流架构的表现（测试集包含5000张图片）：

最终选择EfficientNetB4作为基础模型，因其在准确率与效率间取得最佳平衡。这里有个关键细节：需要将原模型的最后一层1000类分类层替换为自定义类别数（如8类鞋型），并重新训练全连接层。

2.2 数据准备要点

收集了来自Kaggle和自爬取的共12,000张鞋类图片，按7:2:1划分训练/验证/测试集。数据增强策略包括：

train_transforms = transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness=0.2, contrast=0.2), transforms.RandomRotation(15), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])

重要经验：电商图片中的鞋子常带有透明背景或模特脚部，建议先用Mask R-CNN进行前景提取，能提升约3%的准确率

3. 模型训练实战

3.1 环境配置

推荐使用conda创建虚拟环境：

conda create -n shoe_classifier python=3.8 conda install pytorch==1.12.1 torchvision==0.13.1 -c pytorch pip install opencv-python pandas tqdm

3.2 训练参数设置

采用分阶段训练策略：

1. 冻结骨干网络，仅训练分类头（10epochs，lr=0.01）
2. 解冻全部网络微调（20epochs，lr=0.001）
3. 使用余弦退火学习率调度

关键代码片段：

optimizer = torch.optim.AdamW([ {'params': model.parameters(), 'lr': config.lr} ]) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_max=config.epochs)

4. 性能优化技巧

4.1 注意力机制改进

在EfficientNet的MBConv模块后添加SE注意力模块，可使准确率提升1.5%：

class SEModule(nn.Module): def __init__(self, channels, reduction=16): super().__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y

4.2 模型量化部署

使用TensorRT进行FP16量化后，推理速度从28FPS提升到53FPS：

# 转换模型为ONNX格式 torch.onnx.export(model, dummy_input, "shoe_classifier.onnx") # 使用TensorRT转换 trtexec --onnx=shoe_classifier.onnx --saveEngine=shoe_classifier.trt --fp16

5. 常见问题解决

5.1 类别不平衡处理

当某些鞋类样本过少时（如雨靴仅占3%），可采用：

1. 过采样少数类
2. 使用Focal Loss代替交叉熵
3. 在DataLoader中设置weightedRandomSampler

Focal Loss实现示例：

class FocalLoss(nn.Module): def __init__(self, alpha=1, gamma=2): super().__init__() self.alpha = alpha self.gamma = gamma def forward(self, inputs, targets): BCE_loss = F.cross_entropy(inputs, targets, reduction='none') pt = torch.exp(-BCE_loss) loss = self.alpha * (1-pt)**self.gamma * BCE_loss return loss.mean()

5.2 跨域泛化问题

当测试数据与训练数据分布不一致时（如训练用白底图但测试用实拍图），建议：

1. 使用Domain Adaptation技术
2. 添加风格转换数据增强
3. 在损失函数中加入MMD距离约束

6. 项目扩展方向

完成基础分类后，我尝试了三个有价值的扩展：

1. 细粒度分类：区分Adidas Ultraboost 4.0与5.0等相似鞋款
2. 属性识别：同时预测鞋子的颜色、材质、开口类型等
3. 检索系统：输入一张鞋子图片，返回相似商品

其中属性识别采用多任务学习框架：

class MultiTaskModel(nn.Module): def __init__(self, num_classes, num_colors, num_materials): super().__init__() self.backbone = EfficientNet.from_pretrained('efficientnet-b4') self.classifier = nn.Linear(1792, num_classes) self.color_head = nn.Linear(1792, num_colors) self.material_head = nn.Linear(1792, num_materials) def forward(self, x): features = self.backbone.extract_features(x) features = F.adaptive_avg_pool2d(features, 1).squeeze() return { 'class': self.classifier(features), 'color': self.color_head(features), 'material': self.material_head(features) }

这个项目从开始到最终部署耗时约4个月，最大的收获不是模型准确率达到了92.3%，而是学会了如何将一个学术idea转化为可落地的解决方案。建议后来者在选择深度学习毕设题目时，一定要考虑数据获取的可行性，我当时就差点因为爬取电商图片被封IP而被迫更换题目