<aside> 💡 웹 크롤링 - 웹 크롤러(자동화 봇)가 일정 규칙으로 웹페이지를 브라우징 하는 것
</aside>
크롤링을 위한 도구에는 beautifulsup과 selenium, scrapy 등의 라이브러리가 존재합니다. 현재 사용해 본 beautifulsoup과 selenium에 대해 간단히 살펴겠습니다.
<aside> 💡 둘 중에 하나만 선택해야 한다면?
</aside>
작업량이 많지 않고 대부분의 사이트에서 가능한 방법을 찾는다면 selenium을 추천합니다. 하지만 자신이 찾으려는 정보가 html문서만으로 크롤링이 가능하고 많은 데이터를 반복적으로 수행해야 한다면 beautifulsoup의 사용을 추천합니다. 실제 beautifulsoup과 selenium을 통한 크롤링의 예제를 진행해보면서 판단해 보시길 바랍니다.