bert (1) 썸네일형 리스트형 Bert로 학습해보기 기간:20년5월21일 ~6월 16일 ※예전에 진행했던 프로젝트를 지금에서야 정리해서 올립니다. 안녕하세요 ~!. 굉장히 오랜만에 글을 작성하네요 코로나19덕에 학기가 굉장히 루즈하고 늦게 끝나서 집중하지 못했습니다. 이제부터는 블로그에 좀더 집중 할수 있도록 하겠습니다. Bert를 학습시키는 과정은 아래와 같은 과정을 거쳐서 진행합니다. Tpu를 사용할 것인가? Yes: GCs에 데이터를업로드해야만한다. No:구글드라이브에 업로드한다. Pretraining_data를 GoogleCloud에 업로드해준다 Vocab을 만들어준다 1. lovit의 wordpiece 코드참조 2. 구글 센텐스피스 라이브러리참조 데이터 전처리 Tf.record타입으로변환 Pre_training모델을 만들어준다. 우선 Bert를 .. 이전 1 다음
