selenium

What is the XPath? X Path : 따악 봐도 X + Path 합쳐진 합성어 같다. X: XML 인데, XML은 문서 종류 중 하나라고 보면 된다. 따라서, XPath는 XML 문서의 속성에 경로식으로 접근하는 언어이다. * beautifulsoup에서는 지원하진 않고 있다. 그럼 이걸 대체 왜? 바로, scrapy 때문에 알아둬야한다. 그리고 갱장히 간단해버임 굳굳 =_=b 1. 기초 문법 / : 절대경로 // : 문서 내 검색 //@href : href 속성이 있는 모든 태그 선택 //a[@href='abcf'] : a 태그의 href 속성의 abcf 속성값을 가진 모든 태그 선택 (//a)[3] : 전체 문서의 3번째 링크 선택 (//table)[last()] :전체 테이블 문서의 마..

1. 동적 ? 정적? 쉽게 쉽게 설명하자면 정적 페이지 = html 동적 페이지 = ajax 끝! 하고 이해가 된다면 좋겠지만, 이해가 되지 않을 사람들을 위해 덧붙이자면, html로만 구성된 화면을 새로고침하면 화면이 깜빡! 거린다. 근데 html 안의 ajax로 구성된 동적 페이지(예를 들어 댓글창)는 새로고침을 한다해서 그 해당 페이지가 깜빡! 거리진 않는다. 이 깜빡! 거릴때 먼가 요청이 왔다 갔다 하는데, 이 과정이 상~당히 오래 걸리고 품이 많다. 그래서 대부분의 페이지들은 ajax로 구성된 부분을 포함하고 있고, 우리가 크롤링 할 부분이 여기에 해당될 수도 있다. 근데, 기존 포스팅한 내용대로 기초 selenium 활용법만을 사용해 크롤링을 진행하면, 이 동적 페이지는 긁어올 수 없다. 왜냐..

What is the Headless Chrome?? - 머리 없는 크롬이 대체 무엇? ㅋㅋ 그냥 창이 없는 크롤링이다. 굳이 화면을 띄우지 않고 데이터를 긁어와서 저장만 하면 되기 때문에 예전에는 PhantomJS라는 것을 썼지만 요즘에는 간편하게 selenium webdriver에 옵션값을 줘서 간편히 구현할 수 있다. chrome_options = webdriver.ChromeOptions() #창 띄우지 않는 옵션 chrome_options.add_argument('headless') chrome_options.add_argument('window-size=1920x1080') #gpu 사용하지 않는 옵션 chrome_options.add_argument('disable-gpu') # 서버에 요청..

우선 selenium이 뭘하는 건지 일단 알 필요가 있다. selenium은 자동화하는 프레임 웍이라고 이해하면 쉽다. 말 그대로 자동화만을 담당하는 것이다. 수동적으로 html을 하나하나 봐가면서 태그의 속성값들을 찾아서 이걸 가져오는 머 그런 귀찮은 일들을 대신해주는 일들을 담당한다. 왜 굳이? 이렇게? 라고 한다면, 사실 크롤링이 딱히 합법적인 느낌은 아닐 것이다. 내가 어떤 페이지의 주인인데 누가 내 페이지의 데이터를 막 긁어가면 기분이 썩 좋지는 않을 것이다. 그래서 거의 대부분의 사이트들은 이런 걸 막아 놓았는데, 셀레니움으로 하여금 마치 사용자가 보는 것처럼 데이터를 긁어오게 하는 것이다. 물론 같은 아이피로 계속 접근하면 이것도 막히긴 한다 ㅎㅎㅎㅎ "당신은 로봇입니까?" 요런거도 그중에 ..

데이터 분석의 아쥬 초석! 데이터 수집! 크롤링을 시작해봐야겠다 VScode로 코드 입력해가면서 띄우는 방법도 있겠지만, 사실 jupyter notebook이 간편하므로 사용했다. 주피터 노트북 프롬프트에 사용할 가상환경을 activate 해주고 1. Selenium 설치 2. OS 환경, chrome 버전에 맞는 webdriver 다운로드 https://sites.google.com/a/chromium.org/chromedriver/ ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google.com 크롬 버전 확인은 크롬 화면 오른쪽 상단 더보기(점 세개) > 도움말 > 크롬 정보 에서 확인가능 확인 후 os 에 맞게 다운 받는데, 내 ..