딥러닝/모델 (3) 썸네일형 리스트형 Attention 모델(간략하게) 딥러닝 초창기에 machine translation 에 관한 Method는 sequence 방식이였습니다. 데이터를 토큰으로 나눠서 sequence하게 input을 준다음에 output을 sequence하게 뽑아내는 방식이였습니다. 위의 사진은 프랑스어를 영어로 번역하는 예시를 나타낸 것입니다. 초록색: 원문 보라색: 번역 이 번역방식은 데이터 사이언티스트들이 무에서 유를 창조하듯이 뚝딱 만들어 낸 것이 아닙니다. 인간의 번역방식에도 위와 같은 유사한 방식이 있습니다. 봉준호 감독님의 영상입니다. 봉준호 감독님이 말씀하신 내용을 번역가 분께서 '순차번역' 하셧습니다. '순차번역' : 원문을 끝까지 들은 다음에 번역을 하는 과정을 의미합니다. 위에 있는 인코더-디코더 아키텍처에서 볼 수 있는 것은 짧은 문.. InceptionNet .5기 3팀 Inception(GoogLeNet) 3팀-최웅준,송근영,김정민 회의날짜 : 01/31 금요일 회의장소 : 구글 행아웃(코로나 바이러스로 인한 온라인 토론을 진행) ※제가 소모임에서 했엇던 활동을 제 개인 블로그에 다시업로드 한 것입니다. 구글 행아웃으로 진행 기존의 문제점 -vanishing gradient -overfitting 딥러닝은 망이 깊을수록(deep) 레이어가 넓을수록(wide) 성능이 좋지만 기존의 문제점들 때문에 학습이 어렵다. 신경망은 Sparsity 해야지만 좋은 성능을 내지만 실제 컴퓨터 연산에 있어서는 연산 Matrix가 Dense 해야 쓸데없는 리소스 손실이 적으므로 전체적으로는 망내 연결을 줄이면서(sparsity) 세부적인 행렬 연산에서는 최대한 dense한 연.. CNN과 Fully Connected Network의 차이점 및 ResNet에대하여 스터디일시 : 20년 01/10 금요일 오후 6시 30분 스터디내용 : CNN 과 Fully Network Layer 의 차이점 s는 output featuremap을 의미하고 , x는 input featuremap을 의미한다. fully connected layer의 경우 input이 output featuremap의 픽셀값에 다 반영이 되지만, CNN의 경우 input의 일부만이 반영이 된다. CNN은 weight를 공유한다. 같은 색깔은 같은 weight를 의미한다. ResNet이 왜 나오게 되었는가? 층이 깊어질 수록 vanishing gradient 문제가 발생하여 성능이 오히려 저하된다. 이문제를 해결하기 위해서 기존의 layer를 파라미터 없이 연결하여 성능저하를 막는다. Residual B.. 이전 1 다음
