수업자료정리 : 텍스트 마이닝

텍스트 마이닝

문자로 된 데이터에서 가치있는 정보를 얻는 분석 기법 >> '텍스트 마이닝'

텍스트 마이닝을 할때 가장 먼저하는 작업은 '형태소 분석'이다.

 

한글 자연어 분석 패키지 KoNLP 를 이용하여 형태소 분석을 할 수있다.

 

Rstudio 에서 패키지를 설치한다

install.packages("rJava")

install.packages("memoise")

install.packages("KoNLP")

 

library(KoNLP)

library(dplyr)

 

*사전 설정하기

KoNLP에서 지원하는 사전은 98만여개의 단어로 구성되어있다.

따라서 useNIADic()를 입력해서 설정한다.

 

*특수문자 제거하기

문장에 이모티콘이나 특수문자가 포함되어 있으면 오류가 발생한다.

stringr의 str_replace_all()을 이용하여 특수분자를 빈칸으로 수정한다

 

install.packages("stringr")

library(stringr)

 

txt <- str_replace_all(txt," "||w", " ")

||w는 특수문자를 의미하는 '정규 표현식'이다.

 

*명사 추출하기

KoNLP의 extractNoun()을 이용하면 문장에서 명사를 추출할 수 있다.

 

 

 

워드 클라우드

 

워드 클라우드란 단어의 빈도를 구르 모양으로 표현한 그래프이다.

 

wordcloud패키지를 이용해서 워드 클라우드를 만들 수 있다.

install.packages("wordcloud")

library(wordcloud)

library(RColorBrewer)

 

ex)

wordcloud(words = df_word$word, #단어

freq = df_word$freq, #빈도

min.freq =2, #최소 단어 빈도

max.words = 200, #표현 단어 수

random.order = F, #고빈도 단어 중앙 배치

rot.per = .1, #회전 단어 비율

scale = c(4,0.3), #단어 크기 범위

colors = pal) # 색상목록

 

출력된 워드 클라우드는 많이 사용된 단어일 수록 크고 가운데 배치되며 덜 사용된

단어 일수록 바깥쪽에 작에 표현된다.