[crawling#4] 동적 웹페이지 크롤링하기

 

1. 동적 ? 정적?

 

쉽게 쉽게 설명하자면

• 정적 페이지 = html
• 동적 페이지 = ajax

끝! 

하고 이해가 된다면 좋겠지만, 이해가 되지 않을 사람들을 위해 덧붙이자면,

 

html로만 구성된 화면을 새로고침하면 화면이 깜빡! 거린다.
근데 html 안의 ajax로 구성된 동적 페이지(예를 들어 댓글창)는 새로고침을 한다해서 그 해당 페이지가 깜빡! 거리진 않는다.
이 깜빡! 거릴때 먼가 요청이 왔다 갔다 하는데, 이 과정이 상~당히 오래 걸리고 품이 많다. 
그래서 대부분의 페이지들은 ajax로 구성된 부분을 포함하고 있고, 우리가 크롤링 할 부분이 여기에 해당될 수도 있다.

 

근데, 기존 포스팅한 내용대로 기초 selenium 활용법만을 사용해 크롤링을 진행하면, 이 동적 페이지는 긁어올 수 없다.

왜냐면 기초 활용법은 정적 페이지, 즉, html로만 구성된 화면만 크롤링하는 방법이기 때문!

 

 

2. 동적 페이지 긁어오는 방법 ( selenium 응용)

 

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from selenium import webdriver


####1. 모션 자동화
#정적 태그 가져오기
hidden_submenu = driver.find_element_by_css_selector("#cbox_module > div.u_cbox_wrap.u_cbox_ko.u_cbox_type_sort_new > div.u_cbox_paginate > a")
actions = webdriver.ActionChains(driver)
actions.click(hidden_submenu)
#비로소 클릭
actions.perform()


try:
    ####2. 태그가 나타날때까지 기다리는 코드 (3초)
    element = WebDriverWait(driver,3).until(
            EC.presence_of_element_located((By.CSS_SELECTOR,"a"))
    )
    more_button = driver.find_element_by_css_selector("a")
    more_button.click()

except TimeoutException:
    ####3. 3초가 지나서 안나오면 진행되는 코드
    loop = False

 

위의 코드처럼 크게 3가지 방법을 응용해서 코드를 짜면 되는데

 

 

3. 네이버 댓글 가져와보기 ( selenium 실전)

 

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
import time


driver = webdriver.Chrome(chromedriver)

#네이버 댓글 많은 뉴스 댓글 더보기한 url
driver.get("https://news.naver.com/main/ranking/read.naver?m_view=1&includeAllCount=true&mode=LSD&mid=shm&sid1=001&oid=020&aid=0003382494&rankingType=RANKING")

loop, count = True, 0

while loop and count < 2:
    try:
        element = WebDriverWait(driver,5).until(
            EC.presence_of_element_located((By.CSS_SELECTOR,'#cbox_module > div.u_cbox_wrap.u_cbox_ko.u_cbox_type_sort_new > div.u_cbox_paginate > a'))
        )
        more_button = driver.find_element_by_css_selector('#cbox_module > div.u_cbox_wrap.u_cbox_ko.u_cbox_type_sort_new > div.u_cbox_paginate > a')
        webdriver.ActionChains(driver).click(more_button).perform()
        count += 1
        time.sleep(2)
    except TimeoutException:
        loop = False


#css 한땀한땀 찾아가며 써야한다. ==> 매우중요
comment_box = driver.find_element_by_css_selector('#cbox_module_wai_u_cbox_content_wrap_tabpanel > ul.u_cbox_list')
comment_list = comment_box.find_elements_by_tag_name('li')
for comment_item in comment_list:
    print(comment_item.find_element_by_css_selector('div.u_cbox_comment_box > div.u_cbox_area > div.u_cbox_text_wrap').text)

driver.quit()

 

주피터 노트북 결과 화면

 

ㅎ.. 어쩌다보니 정치 뉴스지만 머턴간에~~~ 크롤링이 자알~되어따!