[crawling#2] Selenium 기초 사용법

우선 selenium이 뭘하는 건지 일단 알 필요가 있다.

selenium은 자동화하는 프레임 웍이라고 이해하면 쉽다.

말 그대로 자동화만을 담당하는 것이다.

수동적으로 html을 하나하나 봐가면서 태그의 속성값들을 찾아서 이걸 가져오는 머 그런 귀찮은 일들을

대신해주는 일들을 담당한다.

왜 굳이? 이렇게? 라고 한다면, 사실 크롤링이 딱히 합법적인 느낌은 아닐 것이다.

내가 어떤 페이지의 주인인데 누가 내 페이지의 데이터를 막 긁어가면 기분이 썩 좋지는 않을 것이다.

그래서 거의 대부분의 사이트들은 이런 걸 막아 놓았는데, 셀레니움으로 하여금 마치 사용자가 보는 것처럼 데이터를 긁어오게 하는 것이다.

물론 같은 아이피로 계속 접근하면 이것도 막히긴 한다 ㅎㅎㅎㅎ

"당신은 로봇입니까?" 요런거도 그중에 하나

 

 

1. 기본 사용

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
#time sleep 을 주기위한 라이브러리
import time

chromedriver = "C:/Users/enliple/Webdriver/chromedriver"
driver = webdriver.Chrome(chromedriver)

#열고 싶은 페이지 여는 함수
driver.get("http://www.python.org")

#웹페이지 제목
print(driver.title)
#웹페이지 url
print(driver.current_url)

#Assertion 에러로 해당 내용이 있는지 없는지 확인하는 거
assert "Python" in driver.title

#열린 크롬 창 닫기
driver.quit()

 

이렇게 넣고 실행하면 

주피터 노트북 결과값

이렇게 나와야 정상이다

 

 

 

2. 약간의 응용

• find_element_by_id
• find_element_by_name
• find_element_by_tag_name
• find_element_by_class_name
• find_element_by_css_selector
• find_element_by_xpath

-> html을 약간 안다면 감이 올 것이다. 주피터 노트북에서 driver.find_element_by_id("q")  머 이런식으로 변수에 각각 담아 확인하는 방식으로 학습해보자

xpath가 궁금할텐데, xpath는 아주 예전에 쓰던 방식으로 요즘은 scrapy에 쓰이는 문법인데 따로 다뤄보도록 하고, 현재는 그냥 요런게 있다~ 정도로만 스키밍하고 넘어가도록 해보쟝

사실, 이런건 official document 를 확인해가며 읽어보는 습관을 들이는 것이 중요하므로 깊게 다루진 않겠다!

 

 

---

우리의 테스트 웹페이지를 열고 F12를 눌러보자 그러면 코드가 나올텐데

이걸 누르고 검색창 영역을 눌러보자 그러면 해당 영역의 html 코드가 나올 것이다. 

html 코드 위에서 오른쪽 클릭을 하고 copy 탭에서 속성고르기~

거기에 해당하는 name이라든지 기타 갖고 오고 싶은? 테스트 하고 싶은? 태그 값을 갖고와보자

#id 값으로 가져오기
search = driver.find_element_by_id("id-search-field")
#해당영역 초기화
search.clear()
#string값 전달
search.send_keys("python")
#엔터 (여기서 Keys는 어디서 온거냐면 위에서 common.keys에서 임포트 한거다)
search.send_keys(Keys.RETURN)
#여기까지 하면 띄워진 화면에  python으로 검색되어진 것을 확인할 수 있을 것이다.

time.sleep(2)

#검색 결과값 화면 css 속성으로 긁어오기
data = driver.find_elements_by_css_selector('#content > div > section > form > ul > li > h3 > a')
for item in data:
    print(item.text)

주피터 노트북 결과 화면

1번과 중복된 import 부분은 쓰지 않았으니 참고!