개발일기 (21) 썸네일형 리스트형 2021-09-22 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 Linear Algebra in IMpreial College 2weeks clear Data Science를 위한 book 탐색 2. 오늘의 블로그 결과물 3. 앞으로 할것 Transformer 공부내용 논리적 구조에 맞게 초안작성 Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면 좋을것 linear algebra, prabability 의 최소한의 기초체력(?) 을 기른다. Fluent Python책에서 OOP object reference를 공부하고, Pytorch custom class 와 call frame글을 더 세심하게 작성 MobileNet v1 ,v2 의 pointwis.. 2021-09-21 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 Linear Algebra in IMpreial College vector projection 까지 clear 앞으로 무슨 자료를 가지고 어떤내용을 공부할까 많이 검색하고, 정리함 2. 오늘의 블로그 결과물 3. 앞으로 할것 Transformer 공부내용 논리적 구조에 맞게 초안작성 Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면 좋을것 linear algebra, prabability 의 최소한의 기초체력(?) 을 기른다. Fluent Python책에서 OOP object reference를 공부하고, Pytorch custom class 와 call frame글을 더 세심하게 작성.. 2021-09-20 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 Flyent Python 책에서 OOP object reference 부분 copies are shallow by default 까지 공부 DeepLearning Specialization Normalization review Linear Algebra in IMpreial College 1week clear selfattention Qk is cosine simliarity, if i think that probability, then i use softmax to normalize to sum 1 Machine Learning A Probabilistic Perspective Bayes' rule 까지 공부 2. 오늘의.. 2021-09-19 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 Flyent Python 책에서 OOP object reference 부분 reference in immutable 까지 공부 DeepLearning Specialization Convolution Network Week2,3 공부 Linear Algebra in IMpreial College 에서 강의 들음 2. 오늘의 블로그 결과물 Recursion using pass by reference (tistory.com) 3. 앞으로 할것 Transformer 공부내용 논리적 구조에 맞게 초안작성 +softmax 관련내용을 더 추가해준다. Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면.. 2021-09-18 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 Flyent Python 책에서 OOP object reference 부분 조금(!) 공부 DeepLearning Specialization Convolution Network Week2 공부 Machine Learning perspective in Probability에서 probability chapter 공부 Transformer test case를 lilianweng, adrew Ng의 test case를 빌려서, pytorch 프레임워크로 변환후 사용하기로 결정 2. 오늘의 블로그 결과물 3. 앞으로 할것 Transformer 공부내용 논리적 구조에 맞게 초안작성 +softmax 관련내용을 더 추가해준다. alia.. 2021-09-17 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 output layer에서 activation function으로 사용되어지는 softmax가 multihead attention에서 사용되어진 이유 앞으로 듣고 , 보게될 linear algebra, probability 강의, 책들 선정 statistcs vs statistics model vs ML model pytorch에 unittest는 직접 case를 만들어야한다. 2. 오늘의 블로그 결과물 3. 앞으로 할것 Transformer 공부내용 논리적 구조에 맞게 초안작성 +softmax 관견내용을 더 추가해준다. pass by reference vs pass by assignment 내용 보강하여, pass by .. 2021-09-16 개발일기 1.오늘 공부 내용: NLP 에서 Word Representation 모델들의 역사 Rnn, Lemo ,Gpt,Bert 의 발전과정 Recursion 을 pass by reference 를 통해 할 때 , call frame에서의 local variable의 주소 변화 2.오늘의 결과물: pass by referrence 글 논리적 구조에 맞게 초안작성 3. 앞으로 할일: Transformer 공부내용 논리적 구조에 맞게 초안작성 pass by reference vs pass by assignment 내용 보강하여, pass by reference 글 작성 Aho-chorasik 알고리즘 구현 및 설명 초안작성 Pytorch custom class 와 call frame글 작성 09/15 개발일지 목차 1. 오늘 공부 내용 2. 글로 나온 결과물 1. 오늘 공부 내용 : Transformer(Standford, DeepLearning Specialization,BoostCourse 강의) Transformer에서 Wq,Wk,Wv의 선형대수적인 의미 Transformer에서 multihead attention 의 (Q,K,V) 라는 notation은 구현상에서 Q,K,V를 실제로 input으로 준다는 얘기가 아니다. multihead attention 클래스에는 self attention이 포함되어 있다. 블로그에 목차 달기 2. 글로 나온 결과물: 없음 이전 1 2 3 다음