본문 바로가기

인공지능

 (9)
빅데이터,스트림데이터 in Python 파이썬은 인공지능(머신러닝,딥러닝)에서 굉장히 Hot 한 언어이다. 벡터,행렬 같은 머신러닝에 필요한 연산들을 제공해주는 라이브러리가 있기 때문에 , 그래프를 시각화해서 볼 수 있기 때문에, 이를 기반으로 여러 딥러닝 프레임워크들이 제공 되어진다. 딥러닝이 머신러닝에 비해 본격적으로 주목을 받게 된것은 빅데이터에서의 퍼포먼스가 머신러닝 보다 더 뛰어나다는 연구결과가 있고 나서이다. 그리고, 현재 딥러닝 프로세스는 한번에 데이터를 저장한 다음에 처리하는 것이 아니라 , 지속적으로 데이터가 들어오면서 동시에 처리하고 이를 학습에 사용하는 Cycle의 형태이기 때문에 , 스트림 데이터에 대한 취급도 중요합니다. (본 글은, 빅데이터 스트림 데이터에 대한 개념이 있다 가정하고 진행) 즉, 파이썬에서 빅데이터,스..
딥러닝에서의 파이썬 위 카테고리는 단순 파이썬이 아닌 딥러닝관점에서 왜 파이썬이 좋은지 알아보는 카테고리이다.
Mnist를 이용한 face_verification 기존의목표 이미지 데이터를 배치 데이터로 semi triplet hard 방식으로 학습을 시키는 것이 목표엿습니다. 그러기 위해선, 사람의 얼굴을 개인별로 라벨링을 해줘야할 필요가 있습니다. 하지만, 최소 3~4천장의 얼굴을 라벨링하고 사람마다 20장 정도를 구성해야 필요가 있습니다. 시간적 , 비용적 한계에 부딪혓습니다. 따라서, 이미지 데이터 특성상 Fine_Tuning의 효과가 크므로 , Pre_trained 모델을 찾아보고자 했습니다. 결국 , 사용할 수 있는 모델을 찾지 못했습니다. 여기서, 한가지 떠올렸습니다. 우리가 하고자 하는것은 유사도 함수를 통하여 Clustering을 하는것. 어떤 이미지 데이터를 써도 상관 없을것. Mnist 데이터를 input으로 줘서 유사도 함수를 학습하면 어떨까..
DCGAN 회의날짜:05/15 장소:온라인 ※제가 소모임에서 했엇던 활동을 제 개인 블로그에 다시업로드 한 것입니다 1.Introduction 2.Related Works 3.Approach and Model architecture 1.Introduction ->1.간의 결과는 불안정하다. ->2.어떠한 방법으로 이미지를 생성햇는지 알수없어서 filter visualize를 할 것이다. 2.Related works ->1.Representational Learning from unlabeld data ->2.Generating natural images ->3.visualizing 3.Approach and model architecture ->1.strided convolution ->2.fully connect..
DeepLabCut, Leap 조사일시:19년10월31일~19년11월6일 Animal Pose_estimation을 위한 여러라이브러리를 조사한 적이 있습니다. Leap 동물중 특히 , 강아지를 Pose_estimation하기 위한 방법을 찾았습니다. 우선 Leap이라는 프레임 네트워크가 있습니다. 위기사는 2018년 12월 Nature 기사입니다. Fast animal pose estimation 검색을 하는데 Leap를 소개 해주길래 알게 되었습니다. 개발환경 Python : 3.6.4 Anaconda : 5.1.0 MatLab : MATLAB R2018a Python : OpenCv3 개발환경 요구사항은 위와같이 됩니다. Input Data 확장자 : h5(HDF5) 이유: 모든 language 와 environment 에서 지..
Bert로 학습해보기 기간:20년5월21일 ~6월 16일 ※예전에 진행했던 프로젝트를 지금에서야 정리해서 올립니다. 안녕하세요 ~!. 굉장히 오랜만에 글을 작성하네요 코로나19덕에 학기가 굉장히 루즈하고 늦게 끝나서 집중하지 못했습니다. 이제부터는 블로그에 좀더 집중 할수 있도록 하겠습니다. Bert를 학습시키는 과정은 아래와 같은 과정을 거쳐서 진행합니다. Tpu를 사용할 것인가? Yes: GCs에 데이터를업로드해야만한다. No:구글드라이브에 업로드한다. Pretraining_data를 GoogleCloud에 업로드해준다 Vocab을 만들어준다 1. lovit의 wordpiece 코드참조 2. 구글 센텐스피스 라이브러리참조 데이터 전처리 Tf.record타입으로변환 Pre_training모델을 만들어준다. 우선 Bert를 ..
Mnist 학습해보기 ※제가 소모임에서 했엇던 활동을 제 개인 블로그에 다시업로드 한 것입니다. 2020/02/21 3.5기 3팀 최웅준,송근영,김정민 장소: 능곡역 지노스 까페 합성곱을 이용한 신경망을 구성하여 Mnist를 학습하였다. 28 x 28 사이즈의 이미지셋으로 총 60000장을 라이브러리 'torchvision'에서제공해준다. 모델구조 구글에 있는 MNIST 모델을 참조하였습니다. import torch import torch.nn as nn import torchvision.datasets as dsets import torchvision.transforms as transforms import matplotlib.pyplot as plt import random 위와 같은 라이브러리를 import 하였습니다...
Pytorch 와인분류기 실습해보기 사이킷런에 포함된 와인 데이터 집합을 학습 데이터로 사용할 것이다. 2020/02/21 3.5기 3팀 최웅준,송근영,김정민 ※제가 소모임에서 했엇던 활동을 제 개인 블로그에 다시업로드 한 것입니다. 장소: 능곡역 지노스 까페 직접신경망을 구성하기에는 아직 미숙하여 'pytorch를 활용한 머신러닝,딥러닝 철저 입문' 서적에 있는 신경망을 이용한 와인분류 부분의 코드를 직접 코랩을 이용하면서 실행해보고 분석해보았다. sklearn 라이브러리('사이킷런')에는 여러가지 데이터들을 제공해주는데 wine 데이터 집합을 활용하였다. from sklearn.datasets import load_wine from sklearn.model_selection import train_test_split 위의 코드들로 라이..

티스토리툴바