본문 바로가기

딥러닝/Pytorch

 (5)
HuggingFace:나만의 Transformer 모델 만들기 개요 Huggingface Autoclass Trainer 개요 BcAitech에서 KLue 데이터로 자연어 처리 대회를 시작하였다. Task에 대해서 Define 하고, Solution을 세운다음에 들어가는게 원칙이지만, 머신을 쉬게 할 순 없기에 , BaseLine Code를 돌리면서, Huggingface에 대해 알게 되었다. Huggingface Huggingface는 facebook 연구팀에서 만든 Transformer 기반 모델들과 Train모듈(Trainer)를 구현해놓은 모듈들이다. Transforemr 기반 모델을 만들기 위해서는 이만한 모듈이 없다. Autoclass BaseLine 코드가 Autoclass 기반으로 작성이 되어있다. 이 Autoclass는 여러 Transformer(B..
Pytorch:hooking,nn.Module,autograd에 대한 고찰 부스트캠프 ai테크 2기 첫 P스테이지인 이미지 분류 대회가 열렸습니다. 이번 대회의 주제는 'COVID 19 Mask 탐지' 였습니다. 과거, 이미지 분류 대회(2021 Programmers 머신러닝 Dev-Matching)를 참가했을때에는 , pretrained_model을 keras에서 불러와서 , 실험-피드백-실험 과정을 반복하면서 성적을 내는데에 집중을 하였습니다. 하지만, 이번 대회는 기간이 몇시간이 아닌 2주였고, pretraiend_model을 이용하는 것은 많이 해보았기 때문에 , 성적이 저조하더라도 직접 모델을 제작하여 , 대회에 참여하고 싶었습니다. 1주차에서는 주어진 미션을 수행하였고, 2주차에는 1주차에서 나온 결과물에서 발생한 문제점을 해결하고자 시도했습니다. 1주차 모델의 학습..
Pytorch: Torchviz 딥러닝 모델을 작성하게 되면 backpropagation을 해야합니다. 간단한 모델이라면, backward hook을 이용해서 디버깅 할 수 있지만, backward hook은 각 Tensor,혹은 Module에 대한 back propagation(backward)노드 에 대한 input,output gradient 만 구하게 됩니다. 상당히 비효율 적이기에 , backpropagtion으로 구한 gradient가 잘 전달되는지 확인할 다른 방법이 필요합니다.
파이토치의 데이터셋:Dataset,DataLoader,Transforms 2021-09-15 목차 만드는 법을 배워서 추가중~~ 2021-09-18 다형성->상속으로 변경 개요 Dataset define support type transformation 개요 부스트캠프 ai tech 2기도 어느새 3주차에 접어들면서 파이토치에 대해서 이것저것 공부하고 있습니다. 파이토치의 실습과제를 진행하는데 , 데이터셋을 만드는 부분에서 상당히 애를 먹었습니다. 과제의 순서에 따라서 필요한 기능을 찾으면서 문제푸는데에 초점을 맞추다 보니 논리적인 프로세스가 단단하게 확립이 안되었다고 느꼇습니다. 따라서, 오늘은 파이토치의 데이터셋을 어떻게 모델에 input으로 feed 하는 논리적인 과정을 알아보도록 하겠습니다. 일반적으로 머신러닝 프레임워크에서는 아래와 같은 과정으로 데이터를 Model에..
Pytorch:torch.gather 를 이해해보자 2021-09-15 목차 작성 2021-09-18 글씨크기 수정 개요 Torch.gather input , output how to calcuate gather 개요 부스트캠프 ai Tech2기를 한지 벌써 3주차가 되고 있습니다. 예전에는, 저와 팀원(캠퍼)분들 모두 따끈따끈 한 ai뉴비들이었습니다. 한주, 한주 지나가면서 팀원분들의 질문 수준도 점점 올라가면서 서로서로 답변해주기 점점 어려워지고 있습니다..;; 오늘 , 그 질문들 중 최고봉의 질문이 나왔다고 생각합니다. PyTorch.gather 함수는 무엇인가?????? gather함수를 쓰다보면 텐서의 차원개념이 햇갈립니다. 차원이 1 인 텐서(dim=0)는 쉽습니다 . 차원이 2인 텐서(dim=1)까지도 할만합니다. 차원이 3인 텐서(dim=2..

티스토리툴바