회사에서 누구는 크롤링이라 부르고...😩 나는 스크래핑이라하고... 😵
흔히 스크래핑과 크롤링에 대해 혼동하는 이유는
아마도 업무적 유사성으로
모두 웹 데이터를 수집하는 과정으로, 비슷한 결과물을 얻는 부분과 기술적 유사성으로 크롤링을 수행하는 과정 중에 스크래핑이 발생하며, 스크래핑을 수행하려면 먼저 크롤링을 해야 할 때가 많기에 이런 기술적 유사성으로 인해 두 용어의 경계가 모호해진 것 같다
그러나 크롤링과 스크래핑은 다르다 🤔
어떻게 다른지 크롤링과 스크래핑에 대해 살펴보자🤗
크롤링 웹 크롤러 스크래핑에 대한 정의는 다음과 같다
크롤링(Crawling)
크롤링은 웹 상의 다양한 웹 페이지를 자동으로 탐색하고, 이러한 웹 페이지들의 링크를 따라가며 데이터를 수집하는 프로세스를 말합니다. 크롤러 또는 스파이더라고 불리는 프로그램은 주로 검색 엔진이나 웹 사이트가 새로운 내용을 발견하고 인덱싱하는 데 사용됩니다. 크롤링은 대량의 데이터를 수집하는 데 주로 활용되며, 크롤러는 일정한 규칙에 따라 웹 페이지를 탐색하고 필요한 데이터를 수집합니다.
웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다.
웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더링'(spidering)이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱한다. 또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트의 자동 유지 관리 작업을 위해 사용되기도 하며, 자동 이메일 수집과 같은 웹 페이지의 특정 형태의 정보를 수집하는 데도 사용된다.
웹 크롤러는 봇이나 소프트웨어 에이전트의 한 형태이다. 웹 크롤러는 대개 시드(seeds)라고 불리는 URL 리스트에서부터 시작하는데, 페이지의 모든 하이퍼링크를 인식하여 URL 리스트를 갱신한다. 갱신된 URL 리스트는 재귀적으로 다시 방문한다.
웹 크롤러 사전 정의 출처 위키피디아
스크래핑(Scraping)
스크래핑은 웹 페이지에서 필요한 정보를 추출하거나 수집하는 과정을 말합니다. 스크래핑은 크롤링으로 수집된 웹 페이지 내에서 원하는 데이터를 정확하게 추출하는 작업을 의미합니다. 스크래핑은 웹 페이지의 HTML 코드나 XML과 같은 구조화된 데이터를 파싱하고 분석하여 필요한 정보를 추출합니다. 이러한 추출 작업은 주로 웹 사이트의 구조나 레이아웃의 변화에 영향을 받을 수 있습니다.
대충 어떤건지 알았으니
조금 더 기억에 오래 남도록
표로 정리해보자면 ...😎
| 구분 | 크롤링 (Crawling) | 스크래핑 (Scraping) |
| 정의 | 웹을 자동으로 탐색하여 링크를 따라가며 데이터를 수집하는 과정 | 수집한 웹 페이지 내에서 필요한 정보를 추출하는 과정 |
| 목적 | 새로운 정보를 발견하고 인덱싱하기 위함 | 원하는 정보를 정제하고 활용하기 위함 |
| 주체 | 크롤러(Crawler) 또는 스파이더(Spider) | 스크래퍼(Scraper) |
| 데이터 범위 | 여러 웹 페이지 및 사이트 | 특정 웹 페이지 또는 데이터 집합 |
| 작업 흐름 | 다양한 웹 페이지를 자동 탐색하여 데이터 수집 | 크롤링으로 수집한 웹 페이지에서 정보 추출 |
| 활용 예시 | 검색 엔진 인덱싱, 데이터 수집 및 분석 등 | 온라인 상품 가격 비교, 기사 분석 등 |
| 기술적 요소 | 웹 페이지의 링크 추적, 자동화 작업 등 | HTML 파싱, CSS 선택자 활용, 정규 표현식 등 |
| 주의 사항 | 서버 부하, 로봇 배제 표준(Robots.txt) 준수 | 웹 사이트의 이용 약관을 준수하여 법적 문제 회피 |
참고 레퍼런스
https://blog.hectodata.co.kr/crawling_vs_scraping/
비개발자가 쉽게 설명하는 웹 크롤링(Crawling)과 웹 스크래핑(Scraping)의 차이점
여러 플랫폼들은 ‘웹 크롤링(Web Crawling)’과 ‘웹 스크래핑(Scrapint)’ 기술을 활용하여 인터넷의 수많은 데이터 속에서 고객이 원하는 정보만을 골라 보여줍니다. 비슷한듯 다른 크롤링과 스크
blog.hectodata.co.kr
https://ko.wikipedia.org/wiki/%EC%9B%B9_%ED%81%AC%EB%A1%A4%EB%9F%AC
웹 크롤러 - 위키백과, 우리 모두의 백과사전
위키백과, 우리 모두의 백과사전. 검색 엔진에 대해서는 웹크롤러 문서를 참고하십시오. 웹 크롤러의 구조. 웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터
ko.wikipedia.org
https://realpython.com/beautiful-soup-web-scraper-python/
Beautiful Soup: Build a Web Scraper With Python – Real Python
In this tutorial, you'll walk through the main steps of the web scraping process. You'll learn how to write a script that uses Python's requests library to scrape data from a website. You'll also use Beautiful Soup to extract the specific pieces of informa
realpython.com
http://wiki.hash.kr/index.php/%EC%8A%A4%ED%81%AC%EB%9E%98%ED%95%91
스크래핑 - 해시넷
스크래핑(Scraping)은 웹사이트(Web-Site)의 특정 페이지에서 정보를 자동으로 추출하는 기술이다. 이는 스크레이핑라고도 한다. 또 다른 스크래핑의 개념은 건축용어로 바닥이나 벽의 콘크리트면에
wiki.hash.kr
https://networkinterview.com/data-crawling-vs-data-scraping/
글을 읽어주셔서 감사합니다.
잘못된 내용이 있으면 댓글 부탁 드려요.😢
'변소' 카테고리의 다른 글
| outlook 자격 증명 팝업이 반복해서 나올 경우 😡 (2) | 2024.08.23 |
|---|---|
| 테이블 매핑 안 되는 데이터 조회 API 속도 개선하기 (72) | 2024.01.02 |
| vue.js 카카오맵 마커가 초기화 안되는 이유가 뭘까? 😑 (3) | 2023.09.24 |