본문 바로가기

분류 전체보기

(89)
2021-10-27 error logging 1.BaseLine의 장점 method(algorithm)의 변경을 할 때 , 차이점이 있는 부분만 찾아가서 바꿔주면 된다. 2.BaseLine의 단점 내가 작성한 코드가 아니므로, 다시볼 때 주석을 봐도 이해하기 힘들 확률높음 코드분석할 때 flow를 정리한 파일을 잘 만들어두면 편함.
2021-10-24 my digging record 1.cloud.google.com When prepare the GCP certifiaction exam, go to cloud.google.com and just search It's most accurate method. There are Most of things you want to know OneNote is GOD
2021-10-23 삽질기록 Data Engineering & Analytics Courses | Google Cloud Training Data Engineering & Analytics Courses | Google Cloud Training Get started with big data engineering. Learn how to use data to gain real-time insights that improve your decision-making. Accelerate innovation by designing data processing systems with Google Cloud. cloud.google.com vs Google Cloud to train more than 40 million with cloud s..
2021-10-06 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 Entity Marker,Custom Model 기반 train 파일 작성 Huggingface 기반 Custom Model 작성 Huggingface Custom Modle loading 2. 오늘의 블로그 결과물 3. 앞으로 할것 Transformer 공부내용 논리적 구조에 맞게 초안작성 Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면 좋을것 linear algebra, prabability 의 최소한의 기초체력(?) 을 기른다. Fluent Python책에서 OOP object reference를 공부하고, Pytorch custom class 와 call frame글을 더 세심..
2021-10-05 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 huggingface init_weights() 분석 2. 오늘의 블로그 결과물 3. 앞으로 할것 Transformer 공부내용 논리적 구조에 맞게 초안작성 Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면 좋을것 linear algebra, prabability 의 최소한의 기초체력(?) 을 기른다. Fluent Python책에서 OOP object reference를 공부하고, Pytorch custom class 와 call frame글을 더 세심하게 작성 MobileNet v1 ,v2 의 pointwise layer part가 한쪽은, projection이고, 다른 한쪽은 pro..
2021-10-04 & 10-03 개발일기 1. 오늘 공부한것 2. 오늘의 블로그 결과물 3. 앞으로 할것 1.오늘 공부한것 Relation Extraction sota paper read Entity Marker.py 작성 DeepLearning Sequences 수강 2. 오늘의 블로그 결과물 woongjoonchoi/Huggingface (github.com) 3. 앞으로 할것 Transformer 공부내용 논리적 구조에 맞게 초안작성 Aho-chorasik 알고리즘 구현 및 설명 초안작성,구현시 unittest시험해보면 좋을것 linear algebra, prabability 의 최소한의 기초체력(?) 을 기른다. Fluent Python책에서 OOP object reference를 공부하고, Pytorch custom class 와 ca..
Wandb: ML process 관리 개인 공부를 하면서, ML 프로젝트를 진행하고 싶을 때가 많다. 원래의 , 나는 이 프로젝트 진행을 제대로 못하고 공부만 하거나, 공부는 등한시하고 프로젝트에만 몰두하는 프로젝트를 잘 못하는 유형이엿다. 하지만, 백그라운드로 학습을 시키고 , 나는 내 공부 할거하는 효율적인 프로세스를 알게 되었다. 그중에서도, Wandb를 이용하면 효율적으로 ML 프로세스를 관리 할 수 있다. Sweeps Quickstart - Documentation (wandb.ai) Sweeps Quickstart docs.wandb.ai 위 사이트에 사용법이 전부 나와있다. 진짜 간단하게 프로세스는 3단계로 나뉜다. 1. Wandb Login & Set Project Name 2. Run Wandb Agent 이를 Command..
HuggingFace:나만의 Transformer 모델 만들기 개요 Huggingface Autoclass Trainer 개요 BcAitech에서 KLue 데이터로 자연어 처리 대회를 시작하였다. Task에 대해서 Define 하고, Solution을 세운다음에 들어가는게 원칙이지만, 머신을 쉬게 할 순 없기에 , BaseLine Code를 돌리면서, Huggingface에 대해 알게 되었다. Huggingface Huggingface는 facebook 연구팀에서 만든 Transformer 기반 모델들과 Train모듈(Trainer)를 구현해놓은 모듈들이다. Transforemr 기반 모델을 만들기 위해서는 이만한 모듈이 없다. Autoclass BaseLine 코드가 Autoclass 기반으로 작성이 되어있다. 이 Autoclass는 여러 Transformer(B..