딥러닝프로젝트/댓글감성분석 (4) 썸네일형 리스트형 댓글감성 최종 발표 최종 발표 동영상입니다. Bert로 학습해보기 기간:20년5월21일 ~6월 16일 ※예전에 진행했던 프로젝트를 지금에서야 정리해서 올립니다. 안녕하세요 ~!. 굉장히 오랜만에 글을 작성하네요 코로나19덕에 학기가 굉장히 루즈하고 늦게 끝나서 집중하지 못했습니다. 이제부터는 블로그에 좀더 집중 할수 있도록 하겠습니다. Bert를 학습시키는 과정은 아래와 같은 과정을 거쳐서 진행합니다. Tpu를 사용할 것인가? Yes: GCs에 데이터를업로드해야만한다. No:구글드라이브에 업로드한다. Pretraining_data를 GoogleCloud에 업로드해준다 Vocab을 만들어준다 1. lovit의 wordpiece 코드참조 2. 구글 센텐스피스 라이브러리참조 데이터 전처리 Tf.record타입으로변환 Pre_training모델을 만들어준다. 우선 Bert를 .. 악플을 컴퓨터로 거르는 것이 필요할까? 진행기간:20년4월1일~4월17일 저번에 악플을 막고자 하는 프로젝트를 진행하고 있다고 했습니다. 그렇다면 , 이러한 시도를 한 포털 사이트 및 기업은 없던 것일까요? 네이버의 클린봇 네이버는 클린봇 ai를 이용해서 비속어를 필터링 해줍니다. 구글 Perspective API 구글은 자체적으로 악플을 감지하는 ai를 만들었다고 발표했습니다. 인스타그램 인스타그램도 자체적으로 욕설을 필터링하는 머신러닝 알고리즘을 사용한다고 합니다. 심심이 심심이 회사에서도 악플탐지 서비스인Dbsc를 출시햇다고하지만 아직개발단계이고 서비스는 안했습니다 머신러닝으로 비속어를 학습해 금칙어로 지정하는 방식을 이용하고 있지만, 아직 많은 한계점이 있습니다. 글 자체의 악의를 파악해서 필터링을 해주는 업체는 아직 보지 못했습니다... 악플 처리 시스템 아이디어 제안:2020년 3월 23일 ※블로그를 요새 시작해서 이제서야 올리게 됩니다. 작년 10월 도가 지나친 악플에 시달리다 연예인 설리(최진리)씨가 자살했습니다.  요새 유튜브나 인스타 댓글을 보면 도를 넘는 댓글이 많이 보입니다. 댓글들을 검사해서 도를 넘는 댓글들은 제제를 할 필요가 있습니다. 하지만, 모든 댓글들을 사람이 일일이 검사하는 것은 불가능 합니다. 사람이 아니라 컴퓨터에게 이를 시키면 안될까요? 머신러닝의 자연어 처리(NLP)알고리즘을 통해서 욕설인지 아닌지를 구별해냅니다. 전체 댓글이 아닌 필터링 되서 발견된 욕설들을 사람이 확인하게 하면 비용면에서 상당히 절감 될것입니다. ※2020년 5월27일날 Tensorflow KR 페이스북 커뮤니티에 warnick chow님이 편견,모욕.. 이전 1 다음
