【刘二老师】pytorch深度学习笔记【08加载数据集】一、概念用一个样本的随机梯度下降。优点可以克服鞍点问题性能好缺点是计算速度慢优化时间长。全部样本都用的Batch。优点最大化的利用向量并行计算的优势计算速度快缺点无法克服鞍点性能会较差。把上面两个综合起来得出mini-Batch综合了速度和性能。二、架构原理一内层每一次循环执行一个mini-Batch迭代外层表示训练的周期两层组成嵌套循环。Epoch完整跑完整个数据集所有样本一遍 1 个 EpochBatch-Size单次前向 反向传播一次性扔进模型的样本部分样本) 数量。Iteration内层循环跑一次 1 次 Iteration也就是有多少个Batch总样本数 / Batch-Size二DataLoaderDataset数据集类存原始数据负责「取单个样本」「告知总共有多少样本」DataLoader数据加载器批量打包、打乱、多线程加载负责把 Dataset 组装成训练用的一批一批数据数据集 Dataset 需要支持索引使 Dataloader 能访问到里面的每一个元素。如果数据集 Dataset 不能下标索引比如只能从头到尾流式读取、不能跳着取DataLoader 就没法随机采样、打乱数据。Dataloader 还需要知道 Dataset 的长度。DataLoader 计算一个 epoch 需要跑多少个批次总批次数 总样本数 ÷ batch_size限制随机下标范围不会生成超过数据集总数的索引防止取数据时报错。shuffle打乱数据集顺序。分组因为如图batch-size为 2意味着两个一组做成可迭代的Loader。第一次迭代给Batch1第二次迭代给Batch2……三、代码及详细讲解importtorchimportnumpyasnpfromtorch.utils.dataimportDatasetfromtorch.utils.dataimportDataLoader# prepare datasetclassDiabetesDataset(Dataset):def__init__(self,filepath):xynp.loadtxt(filepath,delimiter,,dtypenp.float32)self.lenxy.shape[0]# shape(多少行多少列)取0就是把有多少行拿出来让我们知道self.x_datatorch.from_numpy(xy[:,:-1])#要前八列self.y_datatorch.from_numpy(xy[:,[-1]])#要最后一列def__getitem__(self,index):returnself.x_data[index],self.y_data[index]#python中的return xy就是返回一个元组xydef__len__(self):returnself.lendatasetDiabetesDataset(diabetes.csv)#括号中是数据文件路径train_loaderDataLoader(datasetdataset,batch_size32,shuffleTrue,num_workers0)#num_workers 多线程#与上节课的一样classModel(torch.nn.Module):def__init__(self):super(Model,self).__init__()self.linear1torch.nn.Linear(8,6)self.linear2torch.nn.Linear(6,4)self.linear3torch.nn.Linear(4,1)self.sigmoidtorch.nn.Sigmoid()defforward(self,x):xself.sigmoid(self.linear1(x))xself.sigmoid(self.linear2(x))xself.sigmoid(self.linear3(x))returnx modelModel()# construct loss and optimizercriteriontorch.nn.BCELoss(reductionmean)optimizertorch.optim.SGD(model.parameters(),lr0.01)# training cycle forward, backward, updateif__name____main__:#不写这行会报错要把下面的迭代代码封装到一个if语句中或函数中不能直接写这个循环。forepochinrange(100):fori,datainenumerate(train_loader,0):# train_loader 是先shuffle后mini_batch#enumerate是为了获得当前是第几次迭代#train_loader中的xy元组就直接放到data中而且train_loader直接把xy转换成张量所以不用加tensor。inputs,labelsdata#inputs---xlabels----y都是张量。y_predmodel(inputs)losscriterion(y_pred,labels)print(epoch,i,loss.item())#backwardoptimizer.zero_grad()loss.backward()#updateoptimizer.step()一fromtorch.utils.dataimportDatasetfromtorch.utils.dataimportDataLoaderDataset 是抽象类无法实例化实例化 dsDataset会报错。因此要通过子类去继承 Dataset 来使用。Dataloader 可以实例化。Dataloader 的功能是加载数据分批、打乱数据因此通过实例化来实现这个功能。二def__getitem__(self,index):returnself.x_data[index],self.y_data[index]getitiem魔法方法索引取样本index是样本下标。三def__len__(self):returnself.lenlen魔法方法返回数据集总长度调用len(dataset)时执行返回总样本数量。四def__init__(self,filepath):在构造数据集时init下面有两种选择小数据csv、小文本__init__全量加载数据到内存取样本直接内存读取快、费内存超大图像 / 分割数据__init__只存文件路径不取真实数据取样本时临时读硬盘慢、省内存。_init_创建数据集对象时只运行 1 次._getitem_(index)在小数据时不用读硬盘直接从内存取出第 i 组 x、y 返回。在大数据时根据 index 拿到第 i 张图片路径临时从硬盘读取图片。五train_loaderDataLoader(datasetdataset,batch_size32,shuffleTrue,num_workers0)Dataloader初始化代码写四个方面传递数据集把定义的数据集对象dataset传进去。batch_size:32定义一个数据集的小批量有多少。是否要shuffle打乱num_workers读数据集构成mini-Batch时是否要用多线程。也就是要不要并行要几个并行。四、MNIST数据集举例datasets里面有MNIST类用这个类来构造MNIST实例。root路径要训练集还是测试集ToTensor转张量缩放到01或-11这样的区间download如果没有这个数据集要连线下载。训练数据集中通常要shuffle测试时不shuffle输出的每一次顺序一样方便观察结果。最后一行就是对loader进行迭代。五、kaggle作业