**Transfer learning：**其的工作原理是在大型数据集（如 ImageNet）上训练网络，然后将这些权重用作新的分类任务中的初始权重。通常，仅复制卷积层中的权重，而不复制包括完全连接的层的整个网络。这是非常有效的，因为许多图像数据集共享低级空间特征，而大数据可更好地学习这些特征。

**Self/Semi Supervised learning：**传统上，要么选择有监督的路线，然后只对带有标签的数据进行学习；要么将选择无监督的路径并丢弃标签，以进行 Self Supervised learning，而 Semi Supervised learning 这类方法就是训练模型的时候，仅需要使用少量标签和大量未标签的数据。

**Few/One-shot and Zero-shot learning：**Few/One-Shot Learning 目的在于从每个类别中的少量样本/一个样本中学习有关对象的特征，而 Zero-Shot Learning 的核心目标在于用训练好的模型对训练集中没有出现过的类别进行相应的预测。近些年 Few/One-Shot Learning 和 Zero-Shot Learning 技术发展迅速，模型的性能得到了大幅度的提升。

**Regularization technique：**如 dropout、batch normalization 等等正则化方法也能够缓解数据量过少带来的过拟合现象。

**Data Augmentation：**数据增强是根据已有的数据生成新的数据。与上述技术相反，数据增强从问题的根源（训练数据集）着手解决问题。使用数据增强方法扩展数据集不仅有助于利用有限的数据，还可以增加训练集的多样性，减少过度拟合并提高模型的泛化能力。

NLP数据扩增方法

图像中数据扩增

（1）、音频：

• 噪声增强
• 随机相同类型抽取拼接
• 时移增强
• 音高变换增强
• 速度调整
• 音量调整
• 混合背景音
• 增加白噪声
• 移动音频
• 拉伸音频信号

（2）、图像：

• 水平翻转垂直翻转