[scrapy] 스크래피 명령어 정리

 

우선, 나는 windows 환경이기 때문에 jupyternotebook prompt에다가 직접 쳐서 작업 했다

 

1. scrapy  project 생성

 

 

 

 

2. spider 생성 ( 본격 크롤러 생성 )

 

* 1번에서 만든 플젝 안에 동일이름의 폴더 안에 들어가서 genspider 명령어를 쳐주는 것이 중요하다.

 

 

명령어를 친 경로에 들어가서 spider 폴더 안에 보면 내가 방금 만든 이름과 경로로 먼가 생성 된 것을 확인할 수 있다.

저 parse 메소드에서 뽀짝뽀짝해보는 것이 그 시작인데.

SMALL

3. 크롤러 실행 명령어 

scrapy crawl "스파이더 파일 이름 ex> test1"

 

 

4. 크롤러 쉘 명령어

scrapy genspider "크롤링할 사이트 url"

 

shell 명령어로 본격 코드 쓰기전 데이터 확인을 빠르게 할 수 있다.