본문 바로가기

개발일기

2021-09-17 개발일기

1. 오늘 공부한것

2. 오늘의 블로그 결과물

3. 앞으로 할것

 

1.오늘 공부한것

  • output layer에서 activation function으로 사용되어지는 softmax가 multihead attention에서 사용되어진 이유
  • 앞으로 듣고 , 보게될 linear algebra, probability 강의, 책들 선정
  • statistcs vs statistics model vs ML model
  • pytorch에 unittest는 직접 case를 만들어야한다.

2. 오늘의 블로그 결과물

 

3. 앞으로 할것

  • Transformer 공부내용 논리적 구조에 맞게 초안작성 +softmax 관견내용을 더 추가해준다.
  • pass by reference vs pass by assignment  내용 보강하여, pass by reference 글 작성
  • Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면 좋을것
  • linear algebra, prabability 의 최소한의 기초체력(?) 을 기른다.
  • Fluent Python책에서 OOP object reference를 공부하고, Pytorch custom class 와 call frame글을 더 세심하게 작성
  • statistcs ,statistics model, ML model에대하여 글을 적을지 말지 진짜 고민된다.(겉핥기 수준으로 알아서 적을내용이없다.)
  • 유명한 pytorch transfomer 를 테스트하는 테스트케이스를 찾아본다.  어떤 github에 있는지 알고있으시면 필자의 글에 댓글을 남겨주시길 바란다.

 

추석만세!

'개발일기' 카테고리의 다른 글

2021-09-19 개발일기  (0) 2021.09.19
2021-09-18 개발일기  (0) 2021.09.18
2021-09-16 개발일기  (0) 2021.09.16
09/15 개발일지  (0) 2021.09.15
21-06-10  (0) 2021.06.11