JUST CODE IT

0. 사용할 말뭉치(Corpus) 이번 구현에 사용할 말뭉치는 Naver Sentiment Movie Corpus v1.0(이하 NSMC)이다. 네이버 영화 리뷰에서 스크랩한 데이터이며, 모두 140자 미만의 길이고, 0(Negative)과 1(Positive)로 라벨링 되어있다. 자세한 정보는 아래 링크를 통해 확인할 수 있다. # Naver sentiment movie corpus v1.0 1. 데이터 전처리 데이터를 학습시키기 이전에 데이터 전처리를 할 것이다. 우선 NSMC 데이터를 불러온다. def load_data(filename): with open(filename, 'r', encoding='UTF8') as f: id, document, label = [list() for _ in ran..

모델 저장의 방법 Pytorch에서는 학습된 모델을 저장할 때 torch.save(object, file) 함수를 사용하게 된다. # object : 저장할 모델 객체, file : 저장할 위치 및 파일 이름 # Case 1 torch.save(model, 'model.pt') # Case 2 torch.save(model.state_dict(), 'model.pt') Pytorch 모델 파일은 확장자가 pt이다. 모델을 저장할 때는 두 가지 방법 중 한 방법을 선택할 수 있는데, 모델 전체를 저장하는 방법과 모델의 state_dict만 저장하는 것이다. 모델 전체 저장 모델 전체를 저장한다는 것의 의미는 모델 파라미터 뿐만 아니라, 옵티마이저(Optimizer), 에포크, 스코어 등 모든 상태를 저장한..