课程笔记：transforms

torchvision：
torchvision是pytorch中的计算机视觉工具包
三个主要的模块：
1）transforms模块：提供常用的图像预处理方法
2）datasets：提供常用的公开数据集的dataset
3）model：提供大量常用的预训练模型

transforms
对图片进行增强是为了提高模型的泛化能力

transforms是在dataset中的__getitem__中调用的


transforms.Normalize: 比较常用的预处理方法
逐通道的对图像进行标准化
transforms中的normalize实际是运用了functional中的normalize
原因：对数据进行标准化后可以加快模型的收敛

把数据进行标准化会加速模型的收敛，标准化为均值为0，标准差为1的数据。
当数据分布几乎为0均值的分布时，模型可以很快收敛，达到一个很低的loss值。
当数据均值不在0的附近，而模型初始化都是0均值的，慢慢找到分界平面，迭代更新过程较慢。

数据增强：
数据增强又称为数据增广，数据扩增，对训练集进行变换，使训练集更丰富，从而提高模型的泛化能力

transform_invert函数是对transform进行逆操作，使得我们可以观察到模型输入的数据是什么样的（因为数据进行transform后，转换成张量的形式，可能是一些浮点的数据，无法可视化，因此需要transform_invert对transform进行反操作，将张量的数据变换成PILimage，我们就可以可视化）

def transform_invert(img_, transform_train):
    """
    将data 进行反transfrom操作
    :param img_: tensor
    :param transform_train: torchvision.transforms
    :return: PIL image
    """
    if 'Normalize' in str(transform_train):
        norm_transform = list(filter(lambda x: 					isinstance(x, transforms.Normalize), transform_train.transforms))
        mean = torch.tensor(norm_transform[0].mean, dtype=img_.dtype, device=img_.device)
        std = torch.tensor(norm_transform[0].std, dtype=img_.dtype, device=img_.device)
        img_.mul_(std[:, None, None]).add_(mean[:, None, None])

    img_ = img_.transpose(0, 2).transpose(0, 1)  # C*H*W --> H*W*C
    if 'ToTensor' in str(transform_train) or img_.max() < 1:
        img_ = img_.detach().numpy() * 255

    if img_.shape[2] == 3:
        img_ = Image.fromarray(img_.astype('uint8')).convert('RGB')
    elif img_.shape[2] == 1:
        img_ = Image.fromarray(img_.astype('uint8').squeeze())
    else:
        raise Exception("Invalid img shape, expected 1 or 3 in axis 2, but got {}!".format(img_.shape[2]) )

    return img_

for epoch in range(MAX_EPOCH):
    for i, data in enumerate(train_loader):

        inputs, labels = data   # B C H W

        img_tensor = inputs[0, ...]     # C H W
        img = transform_invert(img_tensor, train_transform) # transform_invert用来对transform进行逆操作，使我们可以观察到模型的输入数据是长什么样的
        plt.imshow(img)
        plt.show()
        plt.pause(0.5)
        plt.close()

裁剪(crop)

train_transform = transforms.Compose([
	transforms.CenterCrop(196)
	# 转为tensor，并归一化为0-1之间
	transforms.ToTensor(),
    transforms.Normalize(norm_mean, norm_std)])

train_transform = transforms.Compose([
    transforms.RandomCrop(224, padding=16),
	transforms.ToTensor(),
    transforms.Normalize(norm_mean, norm_std)])

train_transform = transforms.Compose([
    transforms.RandomResizedCrop(size=224, scale=(0.5, 0.5)),
	transforms.ToTensor(),
    transforms.Normalize(norm_mean, norm_std)])

train_transform = transforms.Compose([
    transforms.FiveCrop(112),
    transforms.Lambda(lambda crops: torch.stack([transforms.ToTensor()(crop) 

train_transform = transforms.Compose([
    transforms.TenCrop(112, vertical_flip=False),
    transforms.Lambda(lambda crops: torch.stack([transforms.ToTensor()(crop) 

train_transform = transforms.Compose([
    transforms.RandomHorizontalFlip(p=1),
    transforms.ToTensor(),
        transforms.Normalize(norm_mean, norm_std)]),

transforms.Pad(padding=32, fill=(255, 0, 0), padding_mode='constant'),