Writer: Yongshin Kim

NLP Project Workflow

Preprocessing Workflow

Service Pipeline

전각문자 제거

대소문자 통일

Tokenization

• 두 개 이상의 다른 token들의 결합으로 이루어진 단어를 쪼개어, vocabulary 숫자를 줄이고, 희소성을 낮춘다.

• 접사를 분리하여 희소성을 낮춘다.

• 띄어쓰기를 통일하기 위해 tokenization 수행

• POS(Part of speech) Tagger

  • 형태소 분석: 형태소를 비롯하여, 어근, 접두사/접미사, 품사 등 다양한 언어적 속성의 구조를 파악하는 것.
  • Mecab