웹로봇사람과의 상호작용 없이 연속된 웹 트랜잭션을 자동으로 수행하는 소프트웨어 프로그램이다.각 방식에 따라 크롤러, 스파이더, 윌, 봇 등 다양한 이름으로 불린다. 크롤러 & 크롤링웹 페이지 한개를 가져오고, 그 페이지가 가르키는 모든 웹 페이지를 가져오는 일을 재귀적으로 반복하는 방식으로 웹을 순화하는 로봇이다. 크롤러가 방문을 시작하는 URL들의 초기 집합은 루트집합(root set)이라 불린다.루트 집합을 고를때는 모든 링크를 크롤링 가능하도록 골라야 한다. (결과적으로 웹페이지들의 대부분을 가지고 올 수 있도록)대부분을 커버하기 위해 루트집합에 너무 많은 페이지가 있을 필요가 없다. 크롤러는 검색한 각 페이지 안에 들어있는 URL링크들을 파싱해서 크롤링할 페이지들의 목록에 추가한다.크롤링을 할때 ..
