위처럼 정의해두면 검색 엔진이 해당 페이지를 indexing 하지도 않고 거기에 있는 링크를 따라가지 않습니다.

잘 안 지켜지는 태그이긴 한데, 적어도 구글에서는 지키는 것 같더군요.

포스트 본문이 아닌, 검색 결과 페이지나 로그인을 요구하는 페이지에서 저런 메타 태그가 나오면 좋을 것 같습니다.
크롤러들이 긁어갈 때 저런게 있으면 피해갈 테니까 트래픽을 아끼는데 도움이 될 것입니다.

wikipedia를 예로 들겠습니다.
검색 엔진에서 indexing 되어야 할 페이지는 어떤 단어에 대해서 설명하고 있는 페이지이지, 그 페이지를 편집하는 페이지나 편집 내역(history) 페이지가 아닙니다. 따라서 wikipedia에서는  아래와 같은 페이지에서는 robots 태그를 정의해두고 있습니다.
http://en.wikipedia.org/w/index.php?tit … ction=edit  <- 편집하는 페이지
http://en.wikipedia.org/w/index.php?tit … on=history  <- history 페이지

이건 설치형 wiki인 moinmoin 같은 데에도 비슷한 방식으로 활용되고 있습니다.

심지어는 daum에서조차 로그인을 요구하는 페이지에서는 robots 태그를 정의해 뒀습니다.
http://www.daum.net/Mail-bin/login.html … gin_button

제 생각에는 tag로 검색한 결과 페이지나, 지역으로 검색한 결과 페이지라던지, 관리자 화면 같은데서 정의가 되었으면 좋을 것 같습니다.