크롤링은 종류

어떤 데이터를 크롤링하는가? 에 따라 크게 정적크롤링과 동적크롤링으로 나뉩니다.

정적 크롤링

 정적 크롤링은 로그인과 같은 사전 작업 없이, 한 페이지 내부에서 원하는 데이터를 수집할 때 사용합니다. 동영상 스트리밍 사이트의 인기 동영상과 같은 경우라고 생각하면 됩니다. 정적 크롤링은 주소를 통해 데이터를 요청하고, 결과를 받는 것으로 크롤링이 종료됩니다. 한 페이지 내에서 모든 작업이 이루어지기 때문에 속도가 매우 빠릅니다. 하지만 주소를 통해 데이터를 받습니다. 로그인  -> 페이지 이동 -> 클릭 -> 데이터 수집와 같은 연속적인 작업을 수행할 수 없습니다. 따라서 페이지의 변화가 조금이라도 필요한 경우에는 적용이 힘들기 때문에 수집 대상에 한계가 있다는 단점이 있습니다. 

동적 크롤링

 동적 크롤링은 정적 크롤링과는 다르게 입력, 클릭, 로그인 등과 같이 페이지 내부에서 조작이 필요한 데이터를 수집할 때 사용합니다.물론 추가적인 조작이 필요하기 때문에 정적 크로링에 비해 수집 속도가 느리지만, 수집 대상에 한계가 거의 없다는 큰 장점을 가지고 있습니다.