텍스트 요약의 종류

• 추출 요약 (Extractive Summarization)
  • 원본 문서에 있는 문장들 중에서 문서의 주제를 담고 있는 주요한 문장 몇개를 선택한 다음 출력
  • 중요한 부분을 형광펜으로 하이라이팅 하는 것 (re-use)
  • 이미 존재하는 문장이나 단어구로만 구성하므로 모델의 언어 표현 능력이 제한됨.
• 생성 요약 (Abstractive Summarization)
  • 문서 전체의 의미를 이해하고 이에 맞는 문장을 생성하여 요약문으로 사용
  • 인간이 유의어, 반의어 등을 활용하여 요약하는 것과 같음 (re-phrase)

TextRank

• TextRank: Bringing order into texts (2004, EMNLP, Google)
• 추출 요약 분야의 고전이자 지금도 널리 도입되고 잇는 대표적인 요약 모델
• 각 문장에 대하여 문서 내 다른 문장과의 유사도를 recursive하게 계산하기 위해 sentence-level weighted graph를 구성 후 weight가 높은 문장을 요약문에 포함
• 통계 기반 unsupervised learning

BERT 기반 텍스트 추출

• Fine-tune BERT for Extractive Summarization (2019, University of Edinburgh)
• BERT를 기반으로 Summarization-specific layers를 추가하여 추출 요약에 대한 실험 진행
  • BERT로 부터 문장 vector에 대한 정보를 얻은 다음, 추출 요약을 위하여 문서 단위의 feature를 잡기 위해 그 결과값 위에 summarization-specific layers를 쌓는 것.
  • Binary Cross Entropy
    • 이 문장이 주요한 문장인가? 아닌가?

평가 Metric

• ROUGE

결과

<원문>
Strength
- "Ponds는 스킨케어 시장에서 가장 강력한 기업 중 하나이다. Ponds의 제품은 말 그대로 중저가의 합리적인 가격에서 우위를 차지하고 있으며, 대중의 선택을 받았다. 강력한 대중성을 가진 기업이다.",
- "창립 이래로 Ponds의 주요 타켓 시장은 여성층이었다. 광고 뿐만 아니라 모든 제품도 여성층을 겨냥하고 있다. Pond's는 모든 매스컴에서 여성을 아름답게 만들어 준다.",
- "Ponds는 강력한 제품 라인을 가지고 있으며, 브랜드 수명 주기를 지속시키고 성숙 단계에 있는 제품을 계속해서 출시하고 있다.",
- "Ponds는 HUL Umbrella House의 브랜드 중 하나이기에, 강력한 자금원과 재정적 지원이 보장되어 있다. 그러나, 이러한 지지를 얻어야 한다. 남성 스킨 케어 제품 뿐만 아니라 Ponds age miracle과 Ponds cold cream과 같은 제품들이 주역이고, 그들이 곧 브랜드에 큰 사업을 의미한다.",
- "다시 말해, HUL에 속해있기 때문에 FMCG 채널 전반에 걸쳐있는 HUL의 동일한 유통 경로를 사용할 수 있다는 점에서 이점을 가진다.",
- "대중을 사로잡을 제품을 출시하기 위해서는 대중성이 있는 마케팅 계획이 필요하다. Ponds는 수년 동안 다양한 ATL 및 BTL 캠페인을 진행해왔으며, 그 캠페인은 제품을 홍보하고 시장에서의 수용성을 높이는 강력한 브랜드 앰배서더를 포함한다. 심지어 물자 구매 시점도 매우 잘 사용되고 있으며, 현 시장에서는 Ponds에 대한 추진력보다 훨씬 더 많은 것을 이끌어 내고 있다."

<Topic Modeling>
'0.086*"제품" + 0.044*"대중" + 0.044*"브랜드" + 0.044*"시장" + 0.033*"여성" + 0.023*"기업" + 0.023*"캠페인" + 0.023*"사용" + 0.023*"출시" + 0.012*"전반"'

<Extractive Text Summarization>
Ponds는 스킨케어 시장에서 가장 강력한 기업 중 하나이다. Ponds의 제품은 말 그대로 중저가의 합리적인 가격에서 우위를 차지하고 있으며, 대중의 선택을 받았다. 강력한 대중성을 가진 기업이다. ', "창립 이래로 Ponds의 주요 타켓 시장은 여성층이었다. 광고 뿐만 아니라 모든 제품도 여성층을 겨냥하고 있다. Pond's는 모든 매스컴에서 여성을 아름답게 만들어 준다. ", 'Ponds는 강력한 제품 라인을 가지고 있으며, 브랜드 수명 주기를 지속시키고 성숙 단계에 있는 제품을 계속해서 출시하고 있다.