본문 바로가기

개발일기

09/15 개발일지

목차

1. 오늘 공부 내용

2. 글로 나온 결과물

 

 

 

 

1. 오늘 공부 내용 :

  • Transformer(Standford, DeepLearning Specialization,BoostCourse 강의)
  • Transformer에서 Wq,Wk,Wv의 선형대수적인 의미
  • Transformer에서 multihead attention 의 (Q,K,V) 라는 notation은 구현상에서 Q,K,V를 실제로 input으로 준다는 얘기가 아니다. 
  • multihead attention 클래스에는  self attention이 포함되어 있다. 
  • 블로그에 목차 달기

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2. 글로 나온 결과물:

 

  • 없음

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

'개발일기' 카테고리의 다른 글

2021-09-17 개발일기  (0) 2021.09.17
2021-09-16 개발일기  (0) 2021.09.16
21-06-10  (0) 2021.06.11
21-06-09  (0) 2021.06.11
21-06-08  (0) 2021.06.09