한국 대중 가요 가사 분석 프로젝트 (1) 빈도 분석

다음글 

(2) word colud : https://nthree.tistory.com/43

(3) 장소어휘 : https://nthree.tistory.com/44

(4) 토픽 모델링 : https://nthree.tistory.com/45

 

 

---

 

 

6개월도 안된 따끈따끈한 학부시절 NLP 프로젝트를 곱씹어보려고 한다.

 

워낙 대중 가요를 좋아하기도 해서 주제를 정했는데

 

NLP 관련 첫 실습이라 나름 많이 힘들었던 기억이...

 

 

---

import re
import requests
from bs4 import BeautifulSoup
from time import sleep
import os
 
# txt파일을 넣을 폴더를 생성
song_folder_path = "./song_folder"
if not os.path.exists(song_folder_path):
    os.makedirs(song_folder_path)
 
headers = {
    'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                   '(KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36')
}
 
age_url = "https://www.melon.com/chart/age/list.htm"
 
params = {
    'idx': '1',
    'chartType': 'YE',     # 년도별로
    'chartGenre': 'KPOP',  # 한국가요
    'chartDate': '1991',   # 검색연도
    'moved': 'Y',
}
 
 
response = requests.get(age_url, params=params, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
song_list = soup.select('.lst50')
 
for i, meta in enumerate(song_list,1):
 
    ### 순위, 제목
    rank = i
    try:
        title = meta.select('a[href*=playSong]')[0].text
    except:
        title = meta.select('.wrap_song_info .ellipsis')[0].text
    title = title.strip()
      
    print(str(rank )+ '위. ', title)
 
 
    # 노래 데이터 url의 html 추출
    song_id_html = str(meta.select('a[onclick*=SongDetail]'))
    matched = re.search(r"\'(\d+)\'", song_id_html)
    song_id = matched.group(1)
    front_url = 'https://www.melon.com/song/detail.htm?songId='
    song_url = front_url + song_id
 
 
    ### 가수, 앨범명, 발매날짜, 장르
    response = requests.get(song_url, params=params, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')
    singer_html = soup.select('.wrap_info .artist a')
 
    ### 가수
    singer_s = []
    if len(singer_html) != 0:
        for html in singer_html:
            singer_s.append(html['title'])
    else:
        # url 없는 Various Artists용
        singer_html = str(soup.select('.wrap_info .artist')[0])
        singer_html = singer_html.replace('\t','').replace('\r','').split('\n')
        singer_html = ''.join(singer_html)
        matched = re.search(r">(.*)<", singer_html)
        singer_s.append(matched.group(1))
 
    # 가수가 여러명일 때 하나의 string으로 표현
    singer_s = ', '.join(singer_s)
 
 
    # 앨범명
    album_name_html = str(soup.select('.list dd')[0])
    matched = re.search(r">(.*)<", album_name_html)
    matched2 = re.search(r">(.*)<", matched.group(1))
    album_name = matched2.group(1).strip()
 
 
    # 발매날짜
    song_date_html = str(soup.select('.list dd')[1])
    matched = re.search(r">(.*)<", song_date_html)
    song_date = matched.group(1)
 
 
    # 장르
    song_genre_html = str(soup.select('.list dd')[2])
    matched = re.search(r">(.*)<", song_genre_html)
    song_genre = matched.group(1)
 
    print("가수:", singer_s)
    print("장르:", song_genre)
 
 
    ### 가사가 있으면 추출
    try:
        lyric_html = str(soup.select('.section_lyric .wrap_lyric .lyric')[0])
        lyric_html = lyric_html.replace('\t','').replace('\r','').split('\n')
        lyric_html = ''.join(lyric_html)
 
        matched = re.search(r"-->(.*)<br/>", lyric_html)
        lyric = matched.group(1).strip()
        lyric = lyric.replace('<br/>', '\n')
 
        #가사 앞뒤 빈칸 제거
        lyric_list = []
        for line in lyric.split('\n'):
            lyric_list.append(line.strip())
        lyric = ('\n').join(lyric_list)
 
    except:
        lyric = "없음"
 
 
    ### 작사가, 작곡가
    song_members = []
    for i in range(0,3):
        try:
            song_member = str(soup.select('.section_prdcr .list_person .entry .artist')[i].text).strip()
            member_data = str(soup.select('.section_prdcr .list_person .entry .meta')[i].text).strip()
            song_members.append([song_member, member_data])
        except:
            pass
 
    composer = ""
    lyricist = ""
    arranger = ""
    for data in song_members:
        if data[1] == '작사':
            composer = data[0]
        if data[1] == '작곡':
            lyricist = data[0]
        
    print("작사가:",lyricist)
    print()
 
    print('(가사)',sep='\n')
    print(lyric)
    print()
 
 
    #파일이름 불가 문자제거
    title = re.sub(r"[\/\:\*\?\"\<\>\|]", " ", title)
 
    ### 노래 txt 추출
    file_name = str(params['chartDate']) + '_' + str(rank) + '. ' + singer_s + ' - ' + title + ".txt"
    txt_path = song_folder_path + "/" + file_name
    
    #인코딩 판단
    try:
        f = open(txt_path, 'w')
        f.write(lyric)
    except:
        f = open(txt_path, 'w', encoding='utf-8')
        f.write(lyric)
    f.close()
 
    # IP 차단 방지용
    sleep(1)

(블로그 마루의 공방님 코드 참고)

 

 

 

 

 

일단 크롤링을 진행했다. 

 

크롤링에 대한 지식이 전무하여.. 여러 블로그를 서치해서 도움을 받아서 진행했던 기억이 있다.

 

결국 멜론 사이트에서 년도 별 TOP 노래를 크롤링 하는데 성공하였고

 

그 중 데이터가 너무 많아 TOP 20까지만 텍스트 파일로 저장하였다.

 

 

 

 

 

년도별로 가사 크롤링한 텍스트 파일

 

 

 

그 다음은 CSV파일을 만드는 것인데

 

코딩 실력이 부족하여 

 

txt 파일을 손수 옮겨서 데이터를 생성하였다...ㅎㅎ (시간이 조금 걸렸다)

 

그렇게 구글 공유문서로 생성한 csv 파일을 불러와서 본격적으로 프로젝트를 시작하였다.

 

 

---

 

 

 

import os
import numpy as np
import pandas as pd
 
from google.colab import drive
drive.mount('/content/drive/')
 
df = pd.read_csv('/content/drive/MyDrive/textmining_rawdata.csv')

df['lyrics'].replace(r'\s+|\\n', ' ', regex=True, inplace=True) 
df.replace('(,<,>,1,2,3,4,5,6,7,8,9)','', regex=True, inplace=True)

df70 = df.iloc[0:96]
df80 = df.iloc[96:196]
df90 = df.iloc[196:296]
df00 = df.iloc[296:436]
df07 = df.iloc[436:556]
df10 = df.iloc[556:636]
df17 = df.iloc[636:716]
df20 = df.iloc[716:756]

pip install konlpy

import konlpy
from konlpy.tag import Okt
okt = Okt()

with open('/content/drive/MyDrive/stopwords.txt', 'r',encoding='cp949') as f:
    list_file = f.readlines()
stopwords = list_file[0].split(",")

okt = Okt()
tokenized = []
for sentence in df70['lyrics']: 
    tokens = okt.nouns(sentence)
    tokenize = " ".join(tokens) 
    tokenized.append(tokenize) 
df70["lyrics_t"] = pd.DataFrame(tokenized)

from sklearn.feature_extraction.text import TfidfVectorizer
 
tfidf = TfidfVectorizer(stop_words=stopwords)
tfidf_matrix = tfidf.fit_transform(df70['lyrics_t'])
 
word_count70 = pd.DataFrame({
    '단어': tfidf.get_feature_names(),
    'tf-idf': tfidf_matrix.sum(axis=0).flat
})
 
 
word_count70.sort_values('tf-idf', ascending=False).head(10)

okt = Okt()
tokenized = []
for sentence in df20['lyrics']: 
    tokens = okt.nouns(sentence)
    tokenize = " ".join(tokens) 
    tokenized.append(tokenize) 
df20["lyrics_t"] = pd.DataFrame(tokenized)
 
tfidf = TfidfVectorizer(stop_words=stopwords)
tfidf_matrix = tfidf.fit_transform(df20['lyrics_t'])
print(tfidf_matrix.shape)
 
word_count20 = pd.DataFrame({
    '단어': tfidf.get_feature_names(),
    'tf-idf': tfidf_matrix.sum(axis=0).flat
})
 
word_count20.sort_values('tf-idf', ascending=False).head(10)

df_t = df[df["genre"]=='성인가요/트로트']
df_r = df[df["genre"]=='록/메탈']
df_b = df[df["genre"]=='발라드']
df_d = df[df["genre"]=='댄스']
df_h = df[df["genre"]=='랩/힙합']

okt = Okt()
tokenized = []
for sentence in df_d['lyrics']: 
    tokens = okt.nouns(sentence)
    tokenize = " ".join(tokens) 
    tokenized.append(tokenize) 
df_d["lyrics_t"] = pd.DataFrame(tokenized)
 
tfidf = TfidfVectorizer(stop_words=stopwords)
tfidf_matrix = tfidf.fit_transform(df_d['lyrics_t'])
 
word_count_d = pd.DataFrame({
    '단어': tfidf.get_feature_names(),
    'tf-idf': tfidf_matrix.sum(axis=0).flat
})
word_count_d.sort_values('tf-idf', ascending=False).head(10)
 

 

 

장르도 시대별 분석과 같은 방법으로 토크나이징 후 tf-idf분석을 진행하였다. 

 

 

 

 

장르별 분석에서 유의미하게 볼 수 있었던 것은 힙합 장르였다.

 

힙합 장르의 분석 결과를 보면 다음과 같다.

 

 

힙합 장르는 영어 단어가 많아 전처리 과정을 일부 생략하고 진행하였는데

 

다른 장르와 다르게 압도적으로 영어의 빈도가 높았다.

 

다른 장르들은 공통적으로 사랑, 그대, 마음과 같은 사랑과 슬픔 관련 단어가 높은 TF-IDF 점수를 가졌고

 

그 중 트로트의 경우 여인, 바람 등 특유의 장르 단어들이 높은 점수를 얻은 것을 확인할 수 있다

 

 

 

---

 

 

다음 포스팅에서는 토픽 모델링과 장소 분석에 대해 다루어 보려고 한다.

 

내용을 많이 간추려서 포스팅 하느라 편했지만 그만큼 애먹었다. ㅎㅎ 

 

꿑!