분류 전체보기

예복 맞추러 가는 김에 들른 부천중동 디저트 카페 파티세리 라피네~! 지하주차장이 있어서 주차도 편하당 2층으로 에스컬레이터 타고 올라가면 오른쪽에 바아아로 나 인스타 갬성이에오! + 부농부농 대리석 인테리어 파티세리 라피네가 있다 주소 : 경기도 부천시 중2동 신흥로 150-1 위브더스테이트 상가 8동 2층 217,218호 르뱅 쿸희..맛있어보이지만 패수.. 또또.. 둘이서 디저트 4개^^....23500원 나왔다 ㅎ 점원분이 포장이시죠? 먹구 갈건데욥? 0ㅇ0?ㅎ.. 아 정말 무조건 무조건 에그타르트 드세요 나 진짜 여기 갔는데 에그타르트 안먹었다? 아 진 짜 안 돼 안돼!!!!! 이 쩝쩝박사로서 홍콩에서, 마카오에서 두루두루~ 에그타르트 먹어봤지만 여기가 킹갓제너럴 핵 존 맛 탱이다 한 200개는 ..

시할머님 시할아버님댁이 해남이라 해남으로 슝슝~ 우리 할머님 할아버님은 항시 우리보고 드라이브 다녀오라고 하시는데, 저번에는 땅끝 바위를 갔고, 이번에는 갬성 카페 좀 가보고 싶어서 추석연휴에 찾아간 카페 쏠트~! 서울만큼의 특별한 (인스타)갬성은 없지만, 넘나 깔끔하고 친절하고 괜춘한 카페라 방문 왕추천이당 주차도 전용 주차장이 있다 주소: 전라남도 해남군 중앙1로 171 우리 뒷테이블엔 아가가 있었는데 저 치즈케이크를 참 잘 먹더랬다. 애기들이랑 같이 가도 좋을 것 같당 커피를 다 콜드브루로 바꿀 수 있는게 좋은 것 같다. 요 주변에 하나로 마트 금풍제과에서 고구마빵(개당 2000원) 10개 사서 회사에도 돌렸당 사실 몽소베이커리 예전자리인데 몽소베이커리인줄 갔는데 금풍제과로 바꼈고, 몽소는 뒤편으로..

What is the XPath? X Path : 따악 봐도 X + Path 합쳐진 합성어 같다. X: XML 인데, XML은 문서 종류 중 하나라고 보면 된다. 따라서, XPath는 XML 문서의 속성에 경로식으로 접근하는 언어이다. * beautifulsoup에서는 지원하진 않고 있다. 그럼 이걸 대체 왜? 바로, scrapy 때문에 알아둬야한다. 그리고 갱장히 간단해버임 굳굳 =_=b 1. 기초 문법 / : 절대경로 // : 문서 내 검색 //@href : href 속성이 있는 모든 태그 선택 //a[@href='abcf'] : a 태그의 href 속성의 abcf 속성값을 가진 모든 태그 선택 (//a)[3] : 전체 문서의 3번째 링크 선택 (//table)[last()] :전체 테이블 문서의 마..

1. 동적 ? 정적? 쉽게 쉽게 설명하자면 정적 페이지 = html 동적 페이지 = ajax 끝! 하고 이해가 된다면 좋겠지만, 이해가 되지 않을 사람들을 위해 덧붙이자면, html로만 구성된 화면을 새로고침하면 화면이 깜빡! 거린다. 근데 html 안의 ajax로 구성된 동적 페이지(예를 들어 댓글창)는 새로고침을 한다해서 그 해당 페이지가 깜빡! 거리진 않는다. 이 깜빡! 거릴때 먼가 요청이 왔다 갔다 하는데, 이 과정이 상~당히 오래 걸리고 품이 많다. 그래서 대부분의 페이지들은 ajax로 구성된 부분을 포함하고 있고, 우리가 크롤링 할 부분이 여기에 해당될 수도 있다. 근데, 기존 포스팅한 내용대로 기초 selenium 활용법만을 사용해 크롤링을 진행하면, 이 동적 페이지는 긁어올 수 없다. 왜냐..

What is the Headless Chrome?? - 머리 없는 크롬이 대체 무엇? ㅋㅋ 그냥 창이 없는 크롤링이다. 굳이 화면을 띄우지 않고 데이터를 긁어와서 저장만 하면 되기 때문에 예전에는 PhantomJS라는 것을 썼지만 요즘에는 간편하게 selenium webdriver에 옵션값을 줘서 간편히 구현할 수 있다. chrome_options = webdriver.ChromeOptions() #창 띄우지 않는 옵션 chrome_options.add_argument('headless') chrome_options.add_argument('window-size=1920x1080') #gpu 사용하지 않는 옵션 chrome_options.add_argument('disable-gpu') # 서버에 요청..

우선 selenium이 뭘하는 건지 일단 알 필요가 있다. selenium은 자동화하는 프레임 웍이라고 이해하면 쉽다. 말 그대로 자동화만을 담당하는 것이다. 수동적으로 html을 하나하나 봐가면서 태그의 속성값들을 찾아서 이걸 가져오는 머 그런 귀찮은 일들을 대신해주는 일들을 담당한다. 왜 굳이? 이렇게? 라고 한다면, 사실 크롤링이 딱히 합법적인 느낌은 아닐 것이다. 내가 어떤 페이지의 주인인데 누가 내 페이지의 데이터를 막 긁어가면 기분이 썩 좋지는 않을 것이다. 그래서 거의 대부분의 사이트들은 이런 걸 막아 놓았는데, 셀레니움으로 하여금 마치 사용자가 보는 것처럼 데이터를 긁어오게 하는 것이다. 물론 같은 아이피로 계속 접근하면 이것도 막히긴 한다 ㅎㅎㅎㅎ "당신은 로봇입니까?" 요런거도 그중에 ..

데이터 분석의 아쥬 초석! 데이터 수집! 크롤링을 시작해봐야겠다 VScode로 코드 입력해가면서 띄우는 방법도 있겠지만, 사실 jupyter notebook이 간편하므로 사용했다. 주피터 노트북 프롬프트에 사용할 가상환경을 activate 해주고 1. Selenium 설치 2. OS 환경, chrome 버전에 맞는 webdriver 다운로드 https://sites.google.com/a/chromium.org/chromedriver/ ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google.com 크롬 버전 확인은 크롬 화면 오른쪽 상단 더보기(점 세개) > 도움말 > 크롬 정보 에서 확인가능 확인 후 os 에 맞게 다운 받는데, 내 ..

selenium.common.exceptions.webdriverexception: message: unknown error: cannot find chrome binary 장장 한 5시간을 헤멘 것 같다..ㅎ.. 에러 원인은 chrome 과 chrome driver가 같은 경로에 있어야하는데 wsl을 사용하고, 레거시 crawler를 구동해보려는 와중에 ( 레거시 환경은 트루 linux다 ) 생긴 문제.. 그르니깐 크롬은 윈도우 환경에서 깔고, 찾는건 linux 버전에서 찾으려니깐 이게 경로가 안 읽히는 것 같다 중간에 걍 아..윈도우 버릴까?ㅎ 싶었다 ㅎㅎ...; 암튼간에~~ 1. chrome driver path에다가 chrome 을 또 설치해준다 wget https://dl.google.com/l..

남구로 근처에 정석 닭강정이 생겨서 포장을 해봤다. 현재 이벤트 (~9월 22일) 중이라 후라이드랑 양념 중 사이즈를 1000원씩 할인 + 치즈볼 2개 증정 하고있다. 이벤트 기간에는 소 사이즈는 주문이 안된다고 하니 참고하도록 하자. 중 사이즈 매운맛, 치즈소스 추가 했는데, 양은 꽤 혜자고, 치즈소스가 특히 다른 집 국물 주는 용기에 들어있다. 많이 혜자인거 같다. 근데 난 이런 치즈볼은 별루. 너무 떡같다. 촉촉한 닭다리살로 되어있고, 크기가 작아보이지만 그래서 더 맛있는 비법이 아닐까싶다. 주문 받는 즉시 조리가 이루어져서 그런가 한참 지나도 너무 맛있다. 부디 이 맛을 잃지 않기를.. 맛있는 닭강정집이 생겨서 너무 좋다.

드디어 나도 백신 1차 접종을 완료했다. 1차는 사람들이 팔만 뻐근하다고 하던데 뻐근한 줄도 모를.. 근데 방구가 엄청 나온다 ㄷㄷ.. 백신 접종을 하고 나면 접종증명서를 주는데 우리 회사 같은 경우엔 이걸 제출해야한다. 정부24나 예방접종도우미 누리집에서도 발급 가능하다고 하니, 잃어버렸다 해도 당황하지 말자. 여튼, 백신을 완료하고 어플 '쿠브'를 다운 받으면 저렇게 이미지처럼 예방접종 증명서를 받을 수 있다. 내 동년배들은 다 저거 인스타 스토리에 인증하던데 나도 드뎌 해범 ㅎㅎㅎㅎ 나랑 예랑이는 같이 맞았는데 둘다 방구가 심하게 잦았다;; 찾아보니 화이자 부작용 중의 하나일 수 있다고..; ㅋㅋ..부작용치곤 괜찮아서 그나마 다행쓰 그거 말곤 팔도 안아프당