[crawling#5] XPATH 기초, XPATH 문법

 

What is the XPath?

 

• X Path : 따악 봐도 X + Path 합쳐진 합성어 같다.
• X: XML 인데, XML은 문서 종류 중 하나라고 보면 된다.
• 따라서, XPath는 XML 문서의 속성에 경로식으로 접근하는 언어이다. 

* beautifulsoup에서는 지원하진 않고 있다. 그럼 이걸 대체 왜? 바로, scrapy 때문에 알아둬야한다.

그리고 갱장히 간단해버임 굳굳 =_=b

 

 

1. 기초 문법

 

•  /                            : 절대경로
• //                            : 문서 내 검색
• //@href                    : href 속성이 있는 모든 태그 선택 
• //a[@href='abcf']        : a 태그의 href 속성의 abcf 속성값을 가진 모든 태그 선택
• (//a)[3]                     : 전체 문서의 3번째 링크 선택
• (//table)[last()]            :전체 테이블 문서의 마지막 테이블 선택
• (//a)[position() < 3]     : a 태그 문서의 처음 두 링크 선택
• //table/tr/*                : 모든 테이블에서 모든 자식 tr 태그 선택
• //div[@*]                  : 속성이 하나라도 있는 div 태그 선택

 

사실, 문법은 그때 그때 필요 할때마다 찾는 것이 가장 좋은 것 같다.

 

 

 

2. XPath 실전 (selenium과 결합하여 텍스트 긁어오기)

 

 

 

갈대같은 내맘이 언제 바꿀지 모르는 내 블로그 현재 테스트 시점 UI

 

제목과 카테고리만 간단히 불러와 볼 예정

 

from selenium import webdriver

chromedriver = "C:/Users/enliple/Webdriver/chromedriver"
driver = webdriver.Chrome(chromedriver)

#내 블로그 ㅋ..
driver.get('https://tobuymacbookpro.tistory.com/')


posting_data = []

# 제목과 카테고리를 담아줘봤다.
titles = driver.find_elements_by_xpath("//strong[@class='title']")
categories = driver.find_elements_by_xpath("//a[@class='link-category']")

for num in range (4):
    posting_data.append([titles[num].text,categories[num].text])

print(posting_data)

 

 

1번의 xpath 기초 문법을 응용해서 xpath 경로를 내 입맛대로 보기쉽게 입력하여 파라미터 값으로 넣어주는 게 아주 매력적이다.

나만 구래? 힝..

 

주피터 노트북 결과 화면

 

카테고리만 다뤄보자면

원래 copy xpath 하니까

//*[@id="container"]/main/div/div[1]/article[1]/div/div/a 

이렇게 나왔다

근데  코드를 보니

클래스 이름이 저렇게 구체적이길래 저걸로 해도 되겠다 싶어서
//a[@class='link-category']      => a태그의 클래스이름이 link-category 인것! 으로 바꾼 것이다.

 

이런식으로 활용하면 된다.

 

느~~~~~~므 쉽다!