목록Crawling (1)

Develop Note

Raspberry Pi 4로 크롤링하기 (Selenium, Chrome Driver 환경 구축)

특정 웹사이트에서 필요한 정보들을 수집하기 위해 최근 크롤링을 시작했다. 셀레니움(Selenium)과 Chrome driver를 활용하는 방법으로 사용중인데, Windows 기반 메인 PC에서 크롤링 스크립트를 돌려 놓으면 CPU와 메모리를 은근히 많이 사용해서 PC가 버벅거리는 경우가 발생한다. :( 이를 해결하기 위해서 Raspberry Pi 4(이하 RPI4)를 활용해보기로 했다. 참고로, 사용중인 RPI4 버전과 Python 버전은 다음과 같다. $ lsb_release -a No LSB modules are available. Distributor ID: Debian Description: Debian GNU/Linux 10 (buster) Release: 10 Codename: buster $..
개발 (Ko)/Raspberry Pi 2022. 3. 4. 10:45
Prev 1 Next