[Python] 네이버 영화 리뷰 데이터 수집 (1)

python을 사용하여 네이버 영화 리뷰 데이터와 영화 데이터를 가져오는 프로그램을 만들어보았습니다. 전체 코드

piaochung/naver_movie_scrap

위 코드의 파일 목록은 다음과 같습니다.

• movie_scrap.py: 영화, 제목, 줄거리, 장르를 가져옵니다.
• review_scrap.py: 평점, 리뷰, 유저 아이디를 가져옵니다.
• util.py: 모듈 파일입니다.

movie_scrap과 review_scrap파일은 모두 movie_id를 인자로 가집니다. movie_id는 get 방식으로 전달됩니다. 예를 들어 설명하면 슈퍼배드 3의 url은 movie.naver.com/movie/bi/mi/basic.nhn?code=132626이고 여기서 code=132626이 movie_id의 값이 됩니다.

 

다음은 슈퍼배드 3의 movie_scrap 실행결과입니다.

{'genres': ['코미디', '애니메이션', '모험'],
 'story': '전 세계를 점령할 놈들이 온다!\n최고의 악당만을 보스로 섬기는 ‘미니언’\n가족을 위해 악당 은퇴를 선언한 ‘그루’\n그루의 배신에 실망한 미니언들은\n스스로 악당이 되기 위해 그루를 떠난다.\n한편, 같은 얼굴 다른 스펙의 쌍둥이 동생 ‘드루’의 등장으로 인해\n그루는 자신이 역사상 가장 위대한 악당 가문의 후예임을 알게 되고,\n거부할 수 없는 슈퍼배드의 운명을 따르게 되는데…\n돌아온 그루와 미니언들은\n다시 함께할 수 있을까?\n제작노트 보기',
 'title': '슈퍼배드 3'}

 

결과에서 확인할 수 있듯이 장르는 리스트로 스토리와 타이틀은 문자열로 결과가 출력되게 됩니다.

 

다음은 슈퍼배드 3의 review_scrap 실행결과입니다. (start_page와 end_page는 1로 설정하였습니다)

 {'score': 10, 'text': '다시 봐도 재밌는 영화.미니언은 너무 귀엽고', 'user': '1'},
 {'score': 5, 'text': '그냥 그럭저럭 함.  볼만했음', 'user': '2'},
 {'score': 10, 'text': '진짜진짜 재미있는 영화 입니다 꼭 보세요', 'user': '3'},
 {'score': 10,
  'text': '이 영화는 엄청나게 웃겼다. 그리고 미니언즈들 너무 귀여워','user': '4'},
 {'score': 10, 'text': '존잼!!!!말이 필요없음!!!!', 'user': '5'},
 {'score': 10, 'text': '', 'user': '6'},
 {'score': 10, 'text': '재미있음 스토리 좋음 음악좋음', 'user': '7'},
 {'score': 9,
  'text': '더이상 미니언즈에 의존하지 않아도 충분히 재밌을 수 있다는 것을 보여주다.',
  'user': '8'},
 {'score': 10, 'text': '1편 2편보다 3편이 더 재밌음', 'user': '9'}

 

평점과 리뷰 그리고 유저가 출력됩니다. 여기서 user를 숫자로 변환시켜 출력하였지만 전체 코드를 가져와서 사용하면 닉네임과 아이디가 출력됩니다.