목록웹 크롤러 (1)

우당탕탕 개발 블로그 도전기

[Java] Jsoup 라이브러리를 이용한 웹 크롤링

웹 스크래핑 웹 스크래핑(scraping)이란 특정한 웹 사이트에서 필요한 데이터를 수집하는 방법이다. 웹 크롤링보다는 좁은 범위의 데이터를 수집하는데 주로 사용된다. 온라인 쇼핑몰의 특정한 상품의 정보나, 뉴스 사이트의 최신 기사를 수집하는 등 스크래핑은 특정한 웹 사이트에서 필요한 데이터를 추출하는 데 초점을 둔다는 차이점이 있다. 웹 크롤링 웹 크롤링(crawling)이란 웹 즉 인터넷 상의 정보들을 탐색하고 수집하는 작업들을 의미한다. 인터넷 상의 모든 페이지를 방문하며, 각 페이지의 링크를 따라가면서 자동으로 데이터를 수집한다. 크롤링은 대부분의 검색엔진에서 사용되며, 구글이나 네이버와 같은 검색엔진 들도 검색에 대한 결과를 보여줄 때 크롤러를 사용하여 인덱싱 작업을 수행한다. 크롤링은 스크래퍼..
Java 2024. 4. 1. 21:25
이전 Prev 1 Next 다음