Machine learning 何时使用“分离”

Machine learning 何时使用“分离”,machine-learning,neural-network,pytorch,gradient,detach,Machine Learning,Neural Network,Pytorch,Gradient,Detach,如果我有两个不同的神经网络（由model1和model2参数化）和相应的两个优化器，下面使用model2.parameters而不使用detach（）的操作会导致其梯度发生变化吗？我的要求是，我只想计算两个模型参数之间的均方损失，但要更新对应于model1的优化器，保持model2不变 opt1 = torch.optim.SGD(self.model1.parameters(), lr=1e-3) opt2 = torch.optim.SGD(self.model2.parameters(),

opt1 = torch.optim.SGD(self.model1.parameters(), lr=1e-3)
opt2 = torch.optim.SGD(self.model2.parameters(), lr=1e-3)

loss = (self.lamb / 2.) * ((torch.nn.utils.parameters_to_vector(self.model1.parameters()) - torch.nn.utils.parameters_to_vector(self.model2.parameters()))**2).sum()

loss.backward()
opt1.step()

opt2.step（）

model2.parameters

loss.backward（）

.grad