这里主要涉及两个包：torchvision.datasets 和torch.utils.data.Dataset 和DataLoader
torchvision.datasets是一些包装好的数据集
里边所有可用的dataset都是 torch.utils.data.Dataset 的子类，这些子类都要有 __getitem__ 和 __len__ 方法是实现。
这样, 定义的数据集才能够被 torch.utils.data.DataLoader ，DataLoader能够使用torch.multiprocessing并行加载许多样本
例如：
imagenet_data = torchvision.datasets.ImageFolder('path/to/imagenet_root/') data_loader = torch.utils.data.DataLoader(imagenet_data, batch_size=4, shuffle=True, num_workers=args.nThreads) 当我们需要使用我们的数据集的时候，就需要进行包装成DataLoader能够识别的Dataset这样就能把我们从无穷的数据预处理中解脱出来。创建数据集 首先导入,创建一个子类： from torch.utils.data import Datasetimport torchclass MyDateset(Dataset): def __init__(self,num=10000,transform=None): #这里就可以写你的参数了，比如文件夹什么的。 self.len=num self.transform=transform def __len__(self): return self.len def __getitem__(self,idx): data=torch.rand(3,3,5) #这里就是你的数据图像的话就是C*M*N的tensor，这里创建了一个3*3*5的张量 label=torch.LongTensor([1]) #label也是需要一个张量 if self.transform: #这里就是数据预处理的部分 、 data=self.transform(data) #处理完必须要返回torch.Tensor类型 return data,label 下面我们测试一下： md=MyDateset()print(md[0])print(len(md)) 输出： (tensor([[[0.2753, 0.8114, 0.2916, 0.9600, 0.5057], [0.8595, 0.1195, 0.8065, 0.6393, 0.6213], [0.0997, 0.8590, 0.2469, 0.2158, 0.5296]], [[0.4764, 0.0561, 0.5866, 0.6129, 0.1882], [0.4666, 0.9362, 0.5397, 0.3065, 0.4307], [0.4700, 0.6202, 0.3649, 0.6357, 0.5181]], [[0.9794, 0.8127, 0.9842, 0.8821, 0.2447], [0.2320, 0.6406, 0.5683, 0.5637, 0.2734], [0.2131, 0.5853, 0.5633, 0.9069, 0.9250]]]), tensor([1]))10000 输出：这样我们就自定义了一个数据集Dataset，这样我们需要使用已有的数据集的时候就可以知道torchvision.dataset下许多数据集的构成了。 预处理数据返回来再看上边定义数据集里有个参数transform，从定义getitem函数里看到，transform其实是一个函数。torchvision.transforms里就包括了好多的操作。当然它主要处理的是图像，就是C*H*W类型的举证了。可以直接这样使用：from torchvision import transformsmd=MyDateset(transform=transforms.Normalize((0,0,0),(0.1,0.2,0.3)))print(md[0]) (tensor([[[2.5435, 9.1073, 4.1653, 9.4720, 0.7595], [0.4840, 7.2377, 3.1578, 4.5391, 2.7440], [4.6951, 4.7698, 1.1308, 0.5321, 3.5101]], [[2.6714, 4.5143, 0.0582, 0.2880, 0.2565], [2.2951, 0.0680, 0.3542, 4.7372, 2.0162], [1.4065, 2.5195, 0.8911, 4.8432, 3.1045]], [[2.7726, 2.5199, 0.8066, 0.7089, 2.0651], [1.8641, 1.6599, 0.5546, 2.8716, 2.0964], [2.5320, 1.5349, 1.8792, 0.0933, 3.2289]]]), tensor([1])) 更多的变换参见：https://pytorch.org/docs/master/torchvision/transforms.html当然我们也可以自定义一个函数传入：def add1(x): return x+1md=MyDateset(transform=add1)print(md[0])输出： (tensor([[[1.9552, 1.1294, 1.9435, 1.6476, 1.2726], [1.1544, 1.7726, 1.1975, 1.9914, 1.2694], 当然也可以组合起来个transform形成一个一个处理级联：tc=transforms.Compose([transforms.Normalize((0,0,0),(0.1,0.2,0.3)),add1])md=MyDateset(transform=tc)print(md[0])输出： (tensor([[[ 1.9232, 6.4972, 7.9916, 4.3426, 10.9737], [ 5.4062, 2.6264, 6.8474, 4.7810, 3.3232], [ 8.6633, 4.1399, 2.3371, 5.5058, 3.9724]], 等等。 用Dataloader加载数据集在训练网络，测试网络时我们就需要使用刚才定义好的数据集了。from torch.utils.data import Dataset, DataLoadermd=MyDateset()print(md[1])dl=DataLoader(md, batch_size=4, shuffle=False, num_workers=4)print(len(dl.dataset))这样dl就可以在程序里循环生成批样本，提供训练，测试了。转载于:https://www.cnblogs.com/yjphhw/p/9811038.html
相关资源：pytorch加载自己的图像数据集实例