2021-09-17 개발일기

1. 오늘 공부한것

2. 오늘의 블로그 결과물

3. 앞으로 할것

 

1.오늘 공부한것

• output layer에서 activation function으로 사용되어지는 softmax가 multihead attention에서 사용되어진 이유
• 앞으로 듣고 , 보게될 linear algebra, probability 강의, 책들 선정
• statistcs vs statistics model vs ML model
• pytorch에 unittest는 직접 case를 만들어야한다.

2. 오늘의 블로그 결과물

 

3. 앞으로 할것

• Transformer 공부내용 논리적 구조에 맞게 초안작성 +softmax 관견내용을 더 추가해준다.
• pass by reference vs pass by assignment  내용 보강하여, pass by reference 글 작성
• Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면 좋을것
• linear algebra, prabability 의 최소한의 기초체력(?) 을 기른다.
• Fluent Python책에서 OOP object reference를 공부하고, Pytorch custom class 와 call frame글을 더 세심하게 작성
• statistcs ,statistics model, ML model에대하여 글을 적을지 말지 진짜 고민된다.(겉핥기 수준으로 알아서 적을내용이없다.)
• 유명한 pytorch transfomer 를 테스트하는 테스트케이스를 찾아본다.  어떤 github에 있는지 알고있으시면 필자의 글에 댓글을 남겨주시길 바란다.

 

추석만세!