1. 오늘 공부한것
2. 오늘의 블로그 결과물
3. 앞으로 할것
1.오늘 공부한것
- output layer에서 activation function으로 사용되어지는 softmax가 multihead attention에서 사용되어진 이유
- 앞으로 듣고 , 보게될 linear algebra, probability 강의, 책들 선정
- statistcs vs statistics model vs ML model
- pytorch에 unittest는 직접 case를 만들어야한다.
2. 오늘의 블로그 결과물
3. 앞으로 할것
- Transformer 공부내용 논리적 구조에 맞게 초안작성 +softmax 관견내용을 더 추가해준다.
- pass by reference vs pass by assignment 내용 보강하여, pass by reference 글 작성
- Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면 좋을것
- linear algebra, prabability 의 최소한의 기초체력(?) 을 기른다.
- Fluent Python책에서 OOP object reference를 공부하고, Pytorch custom class 와 call frame글을 더 세심하게 작성
- statistcs ,statistics model, ML model에대하여 글을 적을지 말지 진짜 고민된다.(겉핥기 수준으로 알아서 적을내용이없다.)
- 유명한 pytorch transfomer 를 테스트하는 테스트케이스를 찾아본다. 어떤 github에 있는지 알고있으시면 필자의 글에 댓글을 남겨주시길 바란다.
추석만세!
'개발일기' 카테고리의 다른 글
2021-09-19 개발일기 (0) | 2021.09.19 |
---|---|
2021-09-18 개발일기 (0) | 2021.09.18 |
2021-09-16 개발일기 (0) | 2021.09.16 |
09/15 개발일지 (0) | 2021.09.15 |
21-06-10 (0) | 2021.06.11 |