검색로봇이란 검색엔진 서비스에서 주기적으로 각 웹페이지들의 정보를 수집하는 agent를 말합니다..
쉽게 말해서 각 웹페이지의 모든 정보를 뒤져서 정보를 가져가는 일종의 프로그램이라고 보시면 됩니다..
당연히 사람은 아니겠죠..
수집하는 행위를 크롤링(crawling)이라고 하고요.. 크롤링 과정을 거쳐 수집된 정보를 각 검색엔진 사이트마다
자사의 알고리즘을 이용하여 색인(indexing) 처리하고 검색정보로 만들죠..
일단 인터넷 상에 누구라도 바로 볼 수 있도록 공개된 정보라면 검색엔진 로봇의 수집대상이 되어 검색엔진 로봇이
해당 웹페이지나 사이트에 방문하여 정보를 가져가 검색정보로 만들게 됩니다..