09/15 개발일지

목차

1. 오늘 공부 내용

2. 글로 나온 결과물

 

 

 

 

1. 오늘 공부 내용 :

• Transformer(Standford, DeepLearning Specialization,BoostCourse 강의)
• Transformer에서 Wq,Wk,Wv의 선형대수적인 의미
• Transformer에서 multihead attention 의 (Q,K,V) 라는 notation은 구현상에서 Q,K,V를 실제로 input으로 준다는 얘기가 아니다. 
• multihead attention 클래스에는  self attention이 포함되어 있다. 
• 블로그에 목차 달기

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2. 글로 나온 결과물:

 

• 없음