분류 전체보기

1. 동적 ? 정적? 쉽게 쉽게 설명하자면 정적 페이지 = html 동적 페이지 = ajax 끝! 하고 이해가 된다면 좋겠지만, 이해가 되지 않을 사람들을 위해 덧붙이자면, html로만 구성된 화면을 새로고침하면 화면이 깜빡! 거린다. 근데 html 안의 ajax로 구성된 동적 페이지(예를 들어 댓글창)는 새로고침을 한다해서 그 해당 페이지가 깜빡! 거리진 않는다. 이 깜빡! 거릴때 먼가 요청이 왔다 갔다 하는데, 이 과정이 상~당히 오래 걸리고 품이 많다. 그래서 대부분의 페이지들은 ajax로 구성된 부분을 포함하고 있고, 우리가 크롤링 할 부분이 여기에 해당될 수도 있다. 근데, 기존 포스팅한 내용대로 기초 selenium 활용법만을 사용해 크롤링을 진행하면, 이 동적 페이지는 긁어올 수 없다. 왜냐..

What is the Headless Chrome?? - 머리 없는 크롬이 대체 무엇? ㅋㅋ 그냥 창이 없는 크롤링이다. 굳이 화면을 띄우지 않고 데이터를 긁어와서 저장만 하면 되기 때문에 예전에는 PhantomJS라는 것을 썼지만 요즘에는 간편하게 selenium webdriver에 옵션값을 줘서 간편히 구현할 수 있다. chrome_options = webdriver.ChromeOptions() #창 띄우지 않는 옵션 chrome_options.add_argument('headless') chrome_options.add_argument('window-size=1920x1080') #gpu 사용하지 않는 옵션 chrome_options.add_argument('disable-gpu') # 서버에 요청..

우선 selenium이 뭘하는 건지 일단 알 필요가 있다. selenium은 자동화하는 프레임 웍이라고 이해하면 쉽다. 말 그대로 자동화만을 담당하는 것이다. 수동적으로 html을 하나하나 봐가면서 태그의 속성값들을 찾아서 이걸 가져오는 머 그런 귀찮은 일들을 대신해주는 일들을 담당한다. 왜 굳이? 이렇게? 라고 한다면, 사실 크롤링이 딱히 합법적인 느낌은 아닐 것이다. 내가 어떤 페이지의 주인인데 누가 내 페이지의 데이터를 막 긁어가면 기분이 썩 좋지는 않을 것이다. 그래서 거의 대부분의 사이트들은 이런 걸 막아 놓았는데, 셀레니움으로 하여금 마치 사용자가 보는 것처럼 데이터를 긁어오게 하는 것이다. 물론 같은 아이피로 계속 접근하면 이것도 막히긴 한다 ㅎㅎㅎㅎ "당신은 로봇입니까?" 요런거도 그중에 ..

데이터 분석의 아쥬 초석! 데이터 수집! 크롤링을 시작해봐야겠다 VScode로 코드 입력해가면서 띄우는 방법도 있겠지만, 사실 jupyter notebook이 간편하므로 사용했다. 주피터 노트북 프롬프트에 사용할 가상환경을 activate 해주고 1. Selenium 설치 2. OS 환경, chrome 버전에 맞는 webdriver 다운로드 https://sites.google.com/a/chromium.org/chromedriver/ ChromeDriver - WebDriver for Chrome WebDriver for Chrome sites.google.com 크롬 버전 확인은 크롬 화면 오른쪽 상단 더보기(점 세개) > 도움말 > 크롬 정보 에서 확인가능 확인 후 os 에 맞게 다운 받는데, 내 ..

selenium.common.exceptions.webdriverexception: message: unknown error: cannot find chrome binary 장장 한 5시간을 헤멘 것 같다..ㅎ.. 에러 원인은 chrome 과 chrome driver가 같은 경로에 있어야하는데 wsl을 사용하고, 레거시 crawler를 구동해보려는 와중에 ( 레거시 환경은 트루 linux다 ) 생긴 문제.. 그르니깐 크롬은 윈도우 환경에서 깔고, 찾는건 linux 버전에서 찾으려니깐 이게 경로가 안 읽히는 것 같다 중간에 걍 아..윈도우 버릴까?ㅎ 싶었다 ㅎㅎ...; 암튼간에~~ 1. chrome driver path에다가 chrome 을 또 설치해준다 wget https://dl.google.com/l..

남구로 근처에 정석 닭강정이 생겨서 포장을 해봤다. 현재 이벤트 (~9월 22일) 중이라 후라이드랑 양념 중 사이즈를 1000원씩 할인 + 치즈볼 2개 증정 하고있다. 이벤트 기간에는 소 사이즈는 주문이 안된다고 하니 참고하도록 하자. 중 사이즈 매운맛, 치즈소스 추가 했는데, 양은 꽤 혜자고, 치즈소스가 특히 다른 집 국물 주는 용기에 들어있다. 많이 혜자인거 같다. 근데 난 이런 치즈볼은 별루. 너무 떡같다. 촉촉한 닭다리살로 되어있고, 크기가 작아보이지만 그래서 더 맛있는 비법이 아닐까싶다. 주문 받는 즉시 조리가 이루어져서 그런가 한참 지나도 너무 맛있다. 부디 이 맛을 잃지 않기를.. 맛있는 닭강정집이 생겨서 너무 좋다.

드디어 나도 백신 1차 접종을 완료했다. 1차는 사람들이 팔만 뻐근하다고 하던데 뻐근한 줄도 모를.. 근데 방구가 엄청 나온다 ㄷㄷ.. 백신 접종을 하고 나면 접종증명서를 주는데 우리 회사 같은 경우엔 이걸 제출해야한다. 정부24나 예방접종도우미 누리집에서도 발급 가능하다고 하니, 잃어버렸다 해도 당황하지 말자. 여튼, 백신을 완료하고 어플 '쿠브'를 다운 받으면 저렇게 이미지처럼 예방접종 증명서를 받을 수 있다. 내 동년배들은 다 저거 인스타 스토리에 인증하던데 나도 드뎌 해범 ㅎㅎㅎㅎ 나랑 예랑이는 같이 맞았는데 둘다 방구가 심하게 잦았다;; 찾아보니 화이자 부작용 중의 하나일 수 있다고..; ㅋㅋ..부작용치곤 괜찮아서 그나마 다행쓰 그거 말곤 팔도 안아프당

내가 보려고 만드는 가상환경 설정 세팅 과정 pyenv는 nvm rvm처럼 인터프리터 자체의 버전까지 관리해주는 큰 개념이고, virtualenv는 그안의 세세한 가상환경 구성을 나눠주는 역할이다. 즉, pyenv + virtualenv 를 쓰면 각각의 테스트할 환경을 인터프리터 버전까지 편하게 바꿔가면서 관리할 수 있다는 것 아직까진 필요 없겠지만 쓰는 김에 써보는 너낌쓰 일단 os 환경은 16.04 우분투 리눅스 pyenv 사용하기 1. pyenv 설치 git clone https://github.com/pyenv/pyenv.git ~/.pyenv 2. bash 설정 # vi ~/.bashrc export PYENV_ROOT="$HOME/.pyenv export PATH="$PYENV_ROOT/bin..

점프 투 파이썬에서는 파이참을 권장하지만 vscode만 써왔던 나는 파이참은 묘하게 이클립스 같아서 싫다 ㅋㅋ 그래서 vscode에서 만들어 놓은 가상 환경의 인터프리터를 연결하는 방법을 포스팅하도록 하겠다. 1. F1을 누르고 select interpreter 에서 interpreter path 즉, 경로찾기를 한다 우리가 앞전에 만들어 놓은 venv/flask_sample_pjt 하위의 Scripts 디렉토리 안에 python.exe 파일이 있을 것이다 요것이 우리가 여기서 찾고자 하는 파이썬 인터프리터이다. 파이썬이 인터프리터인 걸 모르는 사람은 없겠징? 2. ctrl + ` 로 cmd 창을 열어본다 ( 부제. 에러 잡기) 1번의 작업으로 연결까지는 완료 된건데, 열었을 때 바로 가상환경으로 접속이..

https://wikidocs.net/book/4542 점프 투 플라스크 **점프 투 플라스크 오프라인 책 출간 !! (2020.11)** * [책 구입 안내](https://wikidocs.net/102760) wikidocs.net 우선 이 링크를 열심히 따라했다는 점 알리고 시작한다..! 주피터 노트북을 사용했을 때 아나콘다로 가상 환경을 설정했던 거처럼 로컬에서 작업할 때 프로젝트마다 환경 설정 구성이 다를 수 있으니, 가상 환경을 먼저 설정 해주기로 한다. 일단 나는 저 링크에 나와 있는 것처럼 윈도우 os 유저라서 걍 디렉토리만 내 맘대로 설정하면서 잘 따라해봤다 루트 디렉토리는 sample_pjt로 정하고 작업 디렉토리는 flask_sample_pjt로 정했다. venvs는 가상환경 모음 디..