크롤링(Crawling)이란?

크롤링(Crawling)

  보통 크롤링은 단순히 데이터 수집이라고 알고 있습니다. 넓은 의미로, 의미를 알아보겠습니다. 크롤링(Crawling)이란 인터넷에서 데이터를 검색하여 필요한 정보를 색인하는 것을 의미합니다. 사용자가 데이터를 하나씩 검색을 하여 정보를 수집하고, 저장, 가공하는 과정을 대신 해주는 기술입니다. 쉽게 정리하면, 크롤링은 인터넷상의 데이터를 수집, 저장, 가공하는 자동화된 기술이라고 할 수 있다.

크롤링의 중요성

  크롤링은 업무 자동화로 인한 업무 효율화가 가장 큰 몫을 차지합니다. 반복적인 필요한 업무를 컴퓨터가 저희 대신하는 것입니다. 10개 정도의 정보는 복사-붙여넣기를 사용해 단순히 해결할 수 있지만, 1000개, 10000개라면, 그 정보를 수집하는데 시간이 많이 걸릴 것입니다. 

크롤링이 사용되는 사례

  크롤링이 사용되는 분야는 다양합니다. 사실, 데이터가 존재하는 모든 분야에서 사용합니다. 기업의 고객 정보 및 마케팅 정보, 금융 데이터, 국내 지리 정보 등 어마어마한 양의 데이터가 지금 이 순간에도 쏟아져 나옵니다. 이렇게 얻을 수 있는 데이터의 종류와 양이 방대하기 때문에 크롤링의 활용 분야도 다양합니다. 제품 및 서비스에 대한 고객들의 평점, 리뷰 등을 크롤링하여 고객들이 얼마나 만족하고 있는지 파악하기도 하고, 개선점을 분석할 수 있습니다. 

  크롤링은 자동화 기술이기 때문에 데이터 수집과 관련된 작업에만 사용되는 것도 아닙니다. 많은 분들이 크롤링을 응용해서 본인에게 필요한 자동화 프로그램을 만들기도 합니다. 더 자세한 내용은 다음 장에서 알아보겠습니다.