본문 바로가기

분류 전체보기

 (89)
Attention 모델(간략하게) 딥러닝 초창기에 machine translation 에 관한 Method는 sequence 방식이였습니다. 데이터를 토큰으로 나눠서 sequence하게 input을 준다음에 output을 sequence하게 뽑아내는 방식이였습니다. 위의 사진은 프랑스어를 영어로 번역하는 예시를 나타낸 것입니다. 초록색: 원문 보라색: 번역 이 번역방식은 데이터 사이언티스트들이 무에서 유를 창조하듯이 뚝딱 만들어 낸 것이 아닙니다. 인간의 번역방식에도 위와 같은 유사한 방식이 있습니다. 봉준호 감독님의 영상입니다. 봉준호 감독님이 말씀하신 내용을 번역가 분께서 '순차번역' 하셧습니다. '순차번역' : 원문을 끝까지 들은 다음에 번역을 하는 과정을 의미합니다. 위에 있는 인코더-디코더 아키텍처에서 볼 수 있는 것은 짧은 문..
1강- 확률과 셈 원리 (Probability and Counting) 수강 일자: 07월 20일 머신러닝 공부는 이론보다는 프로젝트를 통해서 코딩하는 법을 익히는 것이 중요하다고 합니다. 하지만, 가장 기본적인 classification 도 남들이 만들어 놓은 결과를 그대로 가져다 쓸 뿐입니다. 예를 들어 , softmax는 Label 수만큼의 결과를 가지고 있고 , 더한 값은 1이 되는 확률 값입니다. *그냥 그렇다고 넘어가고 , 자세히 설명해주진 않습니다. * 인공지능 , 특히 딥러닝 알고리즘에서 특징을 추출한 다음에 결과 도출은 확률론에서 나온 이론을 사용합니다. 이번 확률론을 공부하면서 인공지능에서 Black Box로 여기던 부분을 더 파헤쳐 보겠습니다 Statistics 110 1강입니다. 확률론의 활용영역: 유전학, 물리학, 계랑 경제학, 금융, 역사학, 정치 ..
Mnist를 이용한 face_verification 기존의목표 이미지 데이터를 배치 데이터로 semi triplet hard 방식으로 학습을 시키는 것이 목표엿습니다. 그러기 위해선, 사람의 얼굴을 개인별로 라벨링을 해줘야할 필요가 있습니다. 하지만, 최소 3~4천장의 얼굴을 라벨링하고 사람마다 20장 정도를 구성해야 필요가 있습니다. 시간적 , 비용적 한계에 부딪혓습니다. 따라서, 이미지 데이터 특성상 Fine_Tuning의 효과가 크므로 , Pre_trained 모델을 찾아보고자 했습니다. 결국 , 사용할 수 있는 모델을 찾지 못했습니다. 여기서, 한가지 떠올렸습니다. 우리가 하고자 하는것은 유사도 함수를 통하여 Clustering을 하는것. 어떤 이미지 데이터를 써도 상관 없을것. Mnist 데이터를 input으로 줘서 유사도 함수를 학습하면 어떨까..
Statistics110 (edwith강의) 참여자:김정민 박형준 최웅준 회의날짜: 20년7월17일 예상 스터디 진행기간:20년 7월 ~9월까지 수학스터디의 목적은 딥러닝에 이용되는 수학기초개념을 하나씩 정립하기 위함입니다. 크게 확률론과 선형대수가 중요하다고 생각할 수 있습니다. 확률론은 기본적으로 수학, 사회학, 경제학, 공학 모두에서 사용하는 수학의 한 분야입니다. 때문에 자연계는 물론 인문사회계의 학생에게도 가장 중요한 수학과목의 하나로 여겨집니다. 우리 사회의 여러 문제를 수학적으로 모델링해서 해결 할 수 있습니다. 특히 많은 기계학습 알고리즘, 딥러닝을 이해하고 사용하기 위해서 '확률'에 대한 이해는 필수적입니다. 기계가 결정하는 모든 것은 확률에 기반하고 최적화 알고리즘와 소프트맥스 등 비롯한 많은 부분에서 확률론이 사용됩니다. 하버드..
DCGAN 회의날짜:05/15 장소:온라인 ※제가 소모임에서 했엇던 활동을 제 개인 블로그에 다시업로드 한 것입니다 1.Introduction 2.Related Works 3.Approach and Model architecture 1.Introduction ->1.간의 결과는 불안정하다. ->2.어떠한 방법으로 이미지를 생성햇는지 알수없어서 filter visualize를 할 것이다. 2.Related works ->1.Representational Learning from unlabeld data ->2.Generating natural images ->3.visualizing 3.Approach and model architecture ->1.strided convolution ->2.fully connect..
DeeplabCut 사용하는법 진행기간:19년 11월 16~20일 안녕하세요 이전에 제가 DeepLabcut, Leap 프레임워크를 소개하는 글을 올렸습니다. 이번에는 Deeplabcut라이브러리를 어떻게 사용하는지 알아 보도록 하겠습니다. https://github.com/AlexEMG/DeepLabCut/blob/master/conda-environments/README.md 위의 github를 clone 해주도록 합니다.(우선 로컬에서 진행합니다.) 우선 readMd에 나와있는대로 , 가상환경 하나를 다운받아줍니다. Creating Project Ln[0] : activate dlc-windowsCPU Ln[1] : Import deeplabcut Ln[2] : Deeplabcut.create_new_project(이름 , 훈련..
DeepLabCut, Leap 조사일시:19년10월31일~19년11월6일 Animal Pose_estimation을 위한 여러라이브러리를 조사한 적이 있습니다. Leap 동물중 특히 , 강아지를 Pose_estimation하기 위한 방법을 찾았습니다. 우선 Leap이라는 프레임 네트워크가 있습니다. 위기사는 2018년 12월 Nature 기사입니다. Fast animal pose estimation 검색을 하는데 Leap를 소개 해주길래 알게 되었습니다. 개발환경 Python : 3.6.4 Anaconda : 5.1.0 MatLab : MATLAB R2018a Python : OpenCv3 개발환경 요구사항은 위와같이 됩니다. Input Data 확장자 : h5(HDF5) 이유: 모든 language 와 environment 에서 지..
Bert로 학습해보기 기간:20년5월21일 ~6월 16일 ※예전에 진행했던 프로젝트를 지금에서야 정리해서 올립니다. 안녕하세요 ~!. 굉장히 오랜만에 글을 작성하네요 코로나19덕에 학기가 굉장히 루즈하고 늦게 끝나서 집중하지 못했습니다. 이제부터는 블로그에 좀더 집중 할수 있도록 하겠습니다. Bert를 학습시키는 과정은 아래와 같은 과정을 거쳐서 진행합니다. Tpu를 사용할 것인가? Yes: GCs에 데이터를업로드해야만한다. No:구글드라이브에 업로드한다. Pretraining_data를 GoogleCloud에 업로드해준다 Vocab을 만들어준다 1. lovit의 wordpiece 코드참조 2. 구글 센텐스피스 라이브러리참조 데이터 전처리 Tf.record타입으로변환 Pre_training모델을 만들어준다. 우선 Bert를 ..

티스토리툴바