목차
1. 오늘 공부 내용 :
- Transformer(Standford, DeepLearning Specialization,BoostCourse 강의)
- Transformer에서 Wq,Wk,Wv의 선형대수적인 의미
- Transformer에서 multihead attention 의 (Q,K,V) 라는 notation은 구현상에서 Q,K,V를 실제로 input으로 준다는 얘기가 아니다.
- multihead attention 클래스에는 self attention이 포함되어 있다.
- 블로그에 목차 달기
2. 글로 나온 결과물:
- 없음
'개발일기' 카테고리의 다른 글
2021-09-17 개발일기 (0) | 2021.09.17 |
---|---|
2021-09-16 개발일기 (0) | 2021.09.16 |
21-06-10 (0) | 2021.06.11 |
21-06-09 (0) | 2021.06.11 |
21-06-08 (0) | 2021.06.09 |