딥러닝 모델을 작성하게 되면 backpropagation을 해야합니다. 간단한 모델이라면, backward hook을 이용해서 디버깅 할 수 있지만, backward hook은 각 Tensor,혹은 Module에 대한 back propagation(backward)노드 에 대한 input,output gradient 만 구하게 됩니다.
상당히 비효율 적이기에 , backpropagtion으로 구한 gradient가 잘 전달되는지 확인할 다른 방법이 필요합니다.
'딥러닝 > Pytorch' 카테고리의 다른 글
| HuggingFace:나만의 Transformer 모델 만들기 (0) | 2021.10.02 |
|---|---|
| Pytorch:hooking,nn.Module,autograd에 대한 고찰 (0) | 2021.09.03 |
| 파이토치의 데이터셋:Dataset,DataLoader,Transforms (0) | 2021.08.20 |
| Pytorch:torch.gather 를 이해해보자 (0) | 2021.08.18 |
