[crawling#3] Headless Chrome 설정하기

What is the Headless Chrome??

- 머리 없는 크롬이 대체 무엇? ㅋㅋ 그냥 창이 없는 크롤링이다.

굳이 화면을 띄우지 않고 데이터를 긁어와서 저장만 하면 되기 때문에 예전에는 PhantomJS라는 것을 썼지만 요즘에는 간편하게 selenium webdriver에 옵션값을 줘서 간편히 구현할 수 있다.

 

chrome_options = webdriver.ChromeOptions()
#창 띄우지 않는 옵션
chrome_options.add_argument('headless')
chrome_options.add_argument('window-size=1920x1080')
#gpu 사용하지 않는 옵션
chrome_options.add_argument('disable-gpu')
# 서버에 요청시 헤더에 담을 내용
chrome_options.add_argument("User-Agent:  Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36")
chrome_options.add_argument("lang=ko_KR")
driver = webdriver.Chrome(chromedriver, options=chrome_options)

 

위와 같이 옵션 값을 주면 창이 없이 나오게 된다.