๋ด๊ฐ ๋ณด๋ ค๊ณ ์ฐ๋ ๊ธ ๋ฆฌ๋
์ค ํ์ ๋๋ ํ ๋ฆฌ ๋ด์ jpg ํ์ฅ์ ๊ฐฏ์ ์ธ๊ธฐ ls -Rl | grep ^-.*\.jpg$ | wc -l ์ฌ์ค ์ด๊ฑฐ๋ ํ์ผ๊ฐฏ์ ์ธ๊ธฐ๋ ๊ฐ๋ค find . -type f | wc -l ์ง๊ธ ํ์ฌ ์์น์์ ํด๋๊ฐฏ์๋ ls -l | grep ^d | wc -l
๋ถ๋ฅ ์ ์ฒด๋ณด๊ธฐ
์ ๋ณด์ฒ๋ฆฌ๊ธฐ์ฌ๊ฐ ์์์๋ ๋ถ๊ตฌํ๊ณ ๊ฐ๋ ๋๋ฌด ์์์ง๋ ๋ด ์์ ์ ์ํด ๋ค์ ๊ธฐ๋ณธ์ผ๋ก ๋์๊ฐ๋ ๋.. ์ด ์ธ์ ๋ชจ๋ ๋น์ ๊ณต ์ถ์ ๊ฐ๋ฐ์๋ค์ ์ํด.. ์ด ๊ธ์ ๋ฐ์นฉ๋๋ค.. ์ด์์ฒด์ ์ ์ญํ 1 - ์ปดํจํฐ ํ๋์จ์ด ์ ์ด๋ฅผ ์ํ ์์คํ
์์ ๊ด๋ฆฌ์ ๊ทธ๋ผ ์ฌ๊ธฐ์์ ํ๋์จ์ด๋ ๋ฌด์์ด๋ 1. cpu ์ค์์ฒ๋ฆฌ์ฅ์น, ๊ฐ ํ๋ก๊ทธ๋จ์ด cpu๋ฅผ ์ผ๋ง๋ ์ฌ์ฉํ ์ง ์ค์ค๋ก ๊ฒฐ์ ํ ์ ์์๊น? 2. memory : ๊ฐ ํ๋ก๊ทธ๋จ์ด ์ด๋ ์ฃผ์์ ์ ์ฅ๋์ด์ผ ํ๋์ง, ์ด๋ ์ ๋์ ๋ฉ๋ชจ๋ฆฌ ๊ณต๊ฐ์ ํ๋ณดํด์ค์ผ ํ๋ ์ง๋ฅผ ๊ฒฐ์ ํ ์ ์์๊น? 3. ์ ์ฅ๋งค์ฒด(HDD or SDD) ์ด๋์ ์ด๋ป๊ฒ ์ ์ฅํ ์ง ๊ฒฐ์ ํ ์ ์์๊น? 4. ๋ชจ๋ํฐ, ํค๋ณด๋ ๋ฑ ์
์ถ๋ ฅ ์ฅ์น : ์ค์ค๋ก ํ์? - ๋ค ๋ถ๊ฐ๋ฅํ๋ค ๊ทธ๋์ ์ด ์ญํ ์ ์ํด ์ด์์ฒด์ ๊ฐ ํ์ํ๋ค. => ๊ทธ๋์ ..
์
์ฌํ๊ณ ์ฒ์ ์นํด์ง ์ฃผ์๋ ํด์ฌใ
ใ
ใ
..๋ก ์ฌ๋ฌด์ค ์ฌ์ง์ ๋ชจ์์ ๋ณด๋๋ฒ ๋ ์์ ํ๊ฒ ๋์ด๋
! ์ ์ฌ์ ์ฐพ์๊ฐ๋๋ฐ, 1์์ ๊ฐ์ ๊ทธ๋ฐ๊ฐ ์ฌ๋์ด ์์ฒญ ์์๋ค. ๋์ ์ถฉ~ ๋ถ์๊ธฐ! ์๋ ๊ตฌ๋์ ์ด๋ฐ ๊ณณ์ด ์์๋ค๋ ! ์ง๋ฐธ๋ฆฌ ๋ชฐ์ ๊ทธ๋ ๊ฒ ๋๋๋ค์๋๋ฐ, ์ฒ์๋ด๋
๋ฉ๋ดํ ๋์ ~์ถฉ ์ฐ์ด๋ดค๋๋ฐ, ๊ฐ๊ฒฉ์ด ์ผ๋จ ๋๋ฌด ์ฐฉํ๊ณ , ์์ธ ๋ฆฌ์คํธ๋ ๋ฐ๋ก ์๋ค๋ ์ ๋
์ ๋ค์ ์๋ณด๊ณ ๋ง ์ถ๋ค. ์ฝ์ค์๋ฆฌ๊ฐ ์ด๋ป๊ฒ 4๋ง์๋ ์๋์ง..? ๊ฐ์ฑ๋น ์ต๊ฐ! ์ฐ๋ฆฌ๋ ์ ์ฌ ์ธํธ 3์ธ์ ์์ผ๋
ํ์ด ์์์ง๋ ์ฐฝ๊ฐ์๋ฆฌ์ ์์์ ๊ธฐ๋ถ๋๊ฐ ๋ ์ข์๋คใ
ใ
๋ง๋ ๊ด์ฐฎ์๊ณ , ๋ฆฌ์กฐ๋๋ ํนํ ์์ด ์์ฒญ ๋ง์์ ๋ค ๋จน์ ์๊ฐ ์์๋ค. ์๋ฌ๋๋ ์ ์ ํ๊ณ , ์ํผ ์์ถ์ฒ์ด๋น! ๋๋ ์ ๋
์ ์ฝ์ค์๋ฆฌ ๋จน์ผ๋ฌ ๋ ์์ผ์ง ์์ธ์ด๋ใ
ใ
ใ
์ค๋น๋ฌผ : ํ์ถ, ๊ณ๋, ๋ฐ์ง๋ฝ, ๊ฐ ๋ผ์ง๊ณ ๊ธฐ 200g ์ ๋ , ์ฐธ๊ธฐ๋ฆ2 , ๊ณ ์ถง๊ฐ๋ฃจ2, ๋ค์๋ค1, ์๋๋ถ ๋จน๊ณ ์ถ์ ๋งํผ,(์ฒญ์๊ณ ์ถ,์ํ) ์ฌ์ค ๋๋ ํ๋๋ฃจ ๋ง๋๋ฃจ๋ผ ๊ณ๋์ ์ ํ์ง ์์ง๋ง ๋ด ์๋ฆฌ ์ค ํํฐ์ด๊ฐ ๋ฐ๋ก ์๋๋ถ ์ฐ๊ฐ! ๊ทธ๋์ ํญ์ ๋์ฅ๊ณ ์ ๊ฐ ๋ผ์ง๊ณ ๊ธฐ, ๋ฐ์ง๋ฝ, ๋ํ ๋ฑ๋ฑ์ด ์์ผ๋ฉด ์ข ๋ถ์ํ๋น. ใ
ใ
๋ฐ์ง๋ฝ ํด๊ฐ์ ๋์ค์ ๊ธ ์ฐ๋๋กํ๊ณ ~ 1. ์ฐธ๊ธฐ๋ฆ ๋๋ฅด๊ณ ๊ธฐ๋ฆ๊ธฐ ๋ง์ ๋ถ์๋ก ๋ผ์ง๊ณ ๊ธฐ ์ ์ผ ์ผ ๋ถ์๋ก ์ค๋ถ์ ๊ธฐ๋ฆ์ ์ถฉ๋ถ~ํ ๋ธ๋ค. ๊ทธ๋ฌ๊ณ ๋ํ, ์ํ๋ฅผ ๋ค์ ธ์ ๋ฃ๋๋ฐ ์ํ๊ฐ ์์ด์ ๋ชป ๋ฃ์์ง๋ง ๋ง์๋ค. 2. ๊ณ ์ถง๊ฐ๋ฃจ๋ฅผ ์ข ๋ง์ด ๋ฃ๋ ํธ์ธ๋ฐ, ์ข์ํ๋ ๋งํผ ๋ฃ๋๋ค. 3. ๊ทธ๋ฆฌ๊ณ ๋ฌผ์ ๋ถ๋๋ค ํ 300๋ฏธ๋ฆฌ? ์์~ํ ์ ๋๋ก ๋ฃ์ด์ค๋ค. 4. ๋๋ง์ ๊น์ ๋ง, ์๊ณ ๊ธฐ ๋ค์๋ค 1ํฌ๋ฅผ ๋ฃ์ด์ค๋ค. ๊ทธ๋ฆฌ๊ณ ..
ยทDBMS
์ฐ์ , ๋๋ windows ํ๊ฒฝ์ด๊ธฐ ๋๋ฌธ์ jupyternotebook prompt์๋ค๊ฐ ์ง์ ์ณ์ ์์
ํ๋ค 1. scrapy project ์์ฑ 2. spider ์์ฑ ( ๋ณธ๊ฒฉ ํฌ๋กค๋ฌ ์์ฑ ) * 1๋ฒ์์ ๋ง๋ ํ์ ์์ ๋์ผ์ด๋ฆ์ ํด๋ ์์ ๋ค์ด๊ฐ์ genspider ๋ช
๋ น์ด๋ฅผ ์ณ์ฃผ๋ ๊ฒ์ด ์ค์ํ๋ค. ๋ช
๋ น์ด๋ฅผ ์น ๊ฒฝ๋ก์ ๋ค์ด๊ฐ์ spider ํด๋ ์์ ๋ณด๋ฉด ๋ด๊ฐ ๋ฐฉ๊ธ ๋ง๋ ์ด๋ฆ๊ณผ ๊ฒฝ๋ก๋ก ๋จผ๊ฐ ์์ฑ ๋ ๊ฒ์ ํ์ธํ ์ ์๋ค. ์ parse ๋ฉ์๋์์ ๋ฝ์ง๋ฝ์งํด๋ณด๋ ๊ฒ์ด ๊ทธ ์์์ธ๋ฐ. 3. ํฌ๋กค๋ฌ ์คํ ๋ช
๋ น์ด scrapy crawl "์คํ์ด๋ ํ์ผ ์ด๋ฆ ex> test1" 4. ํฌ๋กค๋ฌ ์ ๋ช
๋ น์ด scrapy genspider "ํฌ๋กค๋งํ ์ฌ์ดํธ url" shell ๋ช
๋ น์ด๋ก ๋ณธ๊ฒฉ ์ฝ๋ ์ฐ๊ธฐ์ ๋ฐ์ดํฐ ํ์ธ์ ..
๋ด๊ฐ ๋ณด๋ ค๊ณ ๋ง๋๋ windows ํ๊ฒฝ์์ jupyter notebook promt ๋ช
๋ น์ด ์ ๋ฆฌ 1. ๊ฐ์ํ๊ฒฝ ๊น๋ฆฐ ๋ฆฌ์คํธ ( ์ด๋ฆ ์ฐพ๊ธฐ ) 2. 1๋ฒ์์ ์ฐพ์์ ๋์จ ํ activate "๊ฐ์ํ๊ฒฝ ์ด๋ฆ" 3. D ๋๋ผ์ด๋ธ ๊ฒฝ๋ก ์คํ
๋งฅ์ฃผ๋ก ์์ก์ ๋ง๋ค๋ฉด ์~๋งค๋ ์ฝ๊ฒ์? 1. ๋งํธ์์ ์ ์ผ ์ผ ๋งฅ์ฃผ ์ฌ๋ค๊ฐ ์ข ๋์ด์ค๋ฅด๋ฉด ์๋ค๋ฆฌ์ด ํฌ์ฒํฉ๋๋น ๋งฅ์ฃผ ๋์๊ฐ ์จ ์ง์ ์ง๋ํ๋ ๊ณต๊ธฐ์ฒญ์ ๊ธฐ ์ฃผ์ํ์ธ์ฉ ใ
ใ
ใ
์์ฐธ~ ๋ด๊ตฌ๊ธฐ ์ ์ ์๋ค๋ฆฌ์ด ์ฌ์ฉ ํน๊ถ์ฃผ๋๊ฑฐ ์์ง ๋ง์ธ์ฉ! 2. ๊ฑฐํ์ ๊ฑท์ด๋ด์ด ์ค๋๋น ์ด๋ฐ์ ๋์ค๋ ๋ด๋ดํด๋ณด์ด๋ ๊ฑฐํ์ ํ๋ฌผ์ด๋ ๊ฑท์ด๋ด์ด ์ค์๋น! ์ด๋ ๊ฒ ํ 30๋ถ ์ ๋ ์ค๋ถ์ ๋์ฌ์ฃผ์ด์ ์ค๊ฐ์ค๊ฐ ๋ด๊ฐ๋ฉด์ ๋ค์ง๊ธฐ๋ ํด์ค๋๋ค์ฉ 3. ์์ฑ๋์ด๊ฐ๋ ๋ชจ์ต ์จ์~~~ ์นด๋ผ๋ฉ๋ผ์ด์ง๋ ์ฐ๋ฆฌ์ ์ง๋ค์ด ๋ฉ์ธ์๋คผ ๋ ๊ฐ๋จํ์ฃต? 4. ์์ฐจ๋ฆผ ์ ๋ ๋ง๋์์ค๋ ๋ง๋ค์ด์ ์ถ๊ฐํด์ค์จ์ฉ ๋ค์ง๋ง๋ 6ํฐ์ , ๋ง์ 2ํฐ์ , ๊ฟ 2ํฐ์ , ๋ ๋ชฌ์ฆ 1ํฐ์ , ์๊ธํ์ถ ์ฝ๊ฐ ๋ค ๋ฃ๊ตฌ ์๋์๋ํ๋ฉด ๋์! ๋ง์๋ ์ง๋ค์ด ์๋ฆฌ ๋์ ํ์ธ์ฉ~!
์๋ณต ๋ง์ถ๋ฌ ๊ฐ๋ ๊น์ ๋ค๋ฅธ ๋ถ์ฒ์ค๋ ๋์ ํธ ์นดํ ํํฐ์ธ๋ฆฌ ๋ผํผ๋ค~! ์งํ์ฃผ์ฐจ์ฅ์ด ์์ด์ ์ฃผ์ฐจ๋ ํธํ๋น 2์ธต์ผ๋ก ์์ค์ปฌ๋ ์ดํฐ ํ๊ณ ์ฌ๋ผ๊ฐ๋ฉด ์ค๋ฅธ์ชฝ์ ๋ฐ์์๋ก ๋ ์ธ์คํ ๊ฐฌ์ฑ์ด์์ค! + ๋ถ๋๋ถ๋ ๋๋ฆฌ์ ์ธํ
๋ฆฌ์ด ํํฐ์ธ๋ฆฌ ๋ผํผ๋ค๊ฐ ์๋ค ์ฃผ์ : ๊ฒฝ๊ธฐ๋ ๋ถ์ฒ์ ์ค2๋ ์ ํฅ๋ก 150-1 ์๋ธ๋์คํ
์ดํธ ์๊ฐ 8๋ 2์ธต 217,218ํธ ๋ฅด๋ฑ
์ฟธํฌ..๋ง์์ด๋ณด์ด์ง๋ง ํจ์.. ๋๋.. ๋์ด์ ๋์ ํธ 4๊ฐ^^....23500์ ๋์๋ค ใ
์ ์๋ถ์ด ํฌ์ฅ์ด์์ฃ ? ๋จน๊ตฌ ๊ฐ๊ฑด๋ฐ์ฅ? 0ใ
0?ใ
.. ์ ์ ๋ง ๋ฌด์กฐ๊ฑด ๋ฌด์กฐ๊ฑด ์๊ทธํ๋ฅดํธ ๋์ธ์ ๋ ์ง์ง ์ฌ๊ธฐ ๊ฐ๋๋ฐ ์๊ทธํ๋ฅดํธ ์๋จน์๋ค? ์ ์ง ์ง ์ ๋ผ ์๋ผ!!!!! ์ด ์ฉ์ฉ๋ฐ์ฌ๋ก์ ํ์ฝฉ์์, ๋ง์นด์ค์์ ๋๋ฃจ๋๋ฃจ~ ์๊ทธํ๋ฅดํธ ๋จน์ด๋ดค์ง๋ง ์ฌ๊ธฐ๊ฐ ํน๊ฐ์ ๋๋ด ํต ์กด ๋ง ํฑ์ด๋ค ํ 200๊ฐ๋ ..
์ํ ๋จธ๋ ์ํ ์๋ฒ๋๋์ด ํด๋จ์ด๋ผ ํด๋จ์ผ๋ก ์์~ ์ฐ๋ฆฌ ํ ๋จธ๋ ํ ์๋ฒ๋์ ํญ์ ์ฐ๋ฆฌ๋ณด๊ณ ๋๋ผ์ด๋ธ ๋ค๋
์ค๋ผ๊ณ ํ์๋๋ฐ, ์ ๋ฒ์๋ ๋
๋ ๋ฐ์๋ฅผ ๊ฐ๊ณ , ์ด๋ฒ์๋ ๊ฐฌ์ฑ ์นดํ ์ข ๊ฐ๋ณด๊ณ ์ถ์ด์ ์ถ์์ฐํด์ ์ฐพ์๊ฐ ์นดํ ์ ํธ~! ์์ธ๋งํผ์ ํน๋ณํ (์ธ์คํ)๊ฐฌ์ฑ์ ์์ง๋ง, ๋๋ ๊น๋ํ๊ณ ์น์ ํ๊ณ ๊ด์ถํ ์นดํ๋ผ ๋ฐฉ๋ฌธ ์์ถ์ฒ์ด๋น ์ฃผ์ฐจ๋ ์ ์ฉ ์ฃผ์ฐจ์ฅ์ด ์๋ค ์ฃผ์: ์ ๋ผ๋จ๋ ํด๋จ๊ตฐ ์ค์1๋ก 171 ์ฐ๋ฆฌ ๋ทํ
์ด๋ธ์ ์๊ฐ๊ฐ ์์๋๋ฐ ์ ์น์ฆ์ผ์ดํฌ๋ฅผ ์ฐธ ์ ๋จน๋๋ฌ๋ค. ์ ๊ธฐ๋ค์ด๋ ๊ฐ์ด ๊ฐ๋ ์ข์ ๊ฒ ๊ฐ๋น ์ปคํผ๋ฅผ ๋ค ์ฝ๋๋ธ๋ฃจ๋ก ๋ฐ๊ฟ ์ ์๋๊ฒ ์ข์ ๊ฒ ๊ฐ๋ค. ์ ์ฃผ๋ณ์ ํ๋๋ก ๋งํธ ๊ธํ์ ๊ณผ์์ ๊ณ ๊ตฌ๋ง๋นต(๊ฐ๋น 2000์) 10๊ฐ ์ฌ์ ํ์ฌ์๋ ๋๋ ธ๋น ์ฌ์ค ๋ชฝ์๋ฒ ์ด์ปค๋ฆฌ ์์ ์๋ฆฌ์ธ๋ฐ ๋ชฝ์๋ฒ ์ด์ปค๋ฆฌ์ธ์ค ๊ฐ๋๋ฐ ๊ธํ์ ๊ณผ๋ก ๋ฐ๊ผ๊ณ , ๋ชฝ์๋ ๋คํธ์ผ๋ก..
ยทDBMS
What is the XPath? X Path : ๋ฐ์
๋ด๋ X + Path ํฉ์ณ์ง ํฉ์ฑ์ด ๊ฐ๋ค. X: XML ์ธ๋ฐ, XML์ ๋ฌธ์ ์ข
๋ฅ ์ค ํ๋๋ผ๊ณ ๋ณด๋ฉด ๋๋ค. ๋ฐ๋ผ์, XPath๋ XML ๋ฌธ์์ ์์ฑ์ ๊ฒฝ๋ก์์ผ๋ก ์ ๊ทผํ๋ ์ธ์ด์ด๋ค. * beautifulsoup์์๋ ์ง์ํ์ง ์๊ณ ์๋ค. ๊ทธ๋ผ ์ด๊ฑธ ๋์ฒด ์? ๋ฐ๋ก, scrapy ๋๋ฌธ์ ์์๋ฌ์ผํ๋ค. ๊ทธ๋ฆฌ๊ณ ๊ฐฑ์ฅํ ๊ฐ๋จํด๋ฒ์ ๊ตณ๊ตณ =_=b 1. ๊ธฐ์ด ๋ฌธ๋ฒ / : ์ ๋๊ฒฝ๋ก // : ๋ฌธ์ ๋ด ๊ฒ์ //@href : href ์์ฑ์ด ์๋ ๋ชจ๋ ํ๊ทธ ์ ํ //a[@href='abcf'] : a ํ๊ทธ์ href ์์ฑ์ abcf ์์ฑ๊ฐ์ ๊ฐ์ง ๋ชจ๋ ํ๊ทธ ์ ํ (//a)[3] : ์ ์ฒด ๋ฌธ์์ 3๋ฒ์งธ ๋งํฌ ์ ํ (//table)[last()] :์ ์ฒด ํ
์ด๋ธ ๋ฌธ์์ ๋ง..