1

주제: 동적 페이지가 indexing 안되도록 하는건 어떤가요?

HTML 헤더에 정의되는 meta 태그 중에서 검색 엔진에 도움을 줄 수 있는 태그가 있습니다. 바로 robots 태그인데요.
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

위처럼 정의해두면 검색 엔진이 해당 페이지를 indexing 하지도 않고 거기에 있는 링크를 따라가지 않습니다.

잘 안 지켜지는 태그이긴 한데, 적어도 구글에서는 지키는 것 같더군요.


포스트 본문이 아닌, 검색 결과 페이지나 로그인을 요구하는 페이지에서 저런 메타 태그가 나오면 좋을 것 같습니다.
크롤러들이 긁어갈 때 저런게 있으면 피해갈 테니까 트래픽을 아끼는데 도움이 될 것입니다.

wikipedia를 예로 들겠습니다.
검색 엔진에서 indexing 되어야 할 페이지는 어떤 단어에 대해서 설명하고 있는 페이지이지, 그 페이지를 편집하는 페이지나 편집 내역(history) 페이지가 아닙니다. 따라서 wikipedia에서는  아래와 같은 페이지에서는 robots 태그를 정의해두고 있습니다.
http://en.wikipedia.org/w/index.php?tit … ction=edit  <- 편집하는 페이지
http://en.wikipedia.org/w/index.php?tit … on=history  <- history 페이지

이건 설치형 wiki인 moinmoin 같은 데에도 비슷한 방식으로 활용되고 있습니다.


심지어는 daum에서조차 로그인을 요구하는 페이지에서는 robots 태그를 정의해 뒀습니다.
http://www.daum.net/Mail-bin/login.html … gin_button


제 생각에는 tag로 검색한 결과 페이지나, 지역으로 검색한 결과 페이지라던지, 관리자 화면 같은데서 정의가 되었으면 좋을 것 같습니다.

laphir (2008-06-19 23:02:12)에 의해 마지막으로 수정

2

답글: 동적 페이지가 indexing 안되도록 하는건 어떤가요?

제 개인적인 입장에서는 태그 페이지, 각 태그별 페이지, 지역태그 페이지 등은 크롤링하는 것은 괘념치 않을듯(선호할듯?) 싶습니다. 관리자 화면이나, 댓글 팝업창 등에 적용되면 괜찮을것 같습니다 smile