1 Yoons이 작성한 주제

  • Yoons
  • 새 사용자
  • 오프라인
  • 가입일자 2008-07-09
  • 글: 1

주제: robots.txt를 사용해도 다음에서는 검색 가능??

제 textcube 는 domain 을 robots.txt 로 막아놨는데.
실제 해보니 daum 에서는 검색이 되고 있더라고요.;;;

meta blog 사이트만 검색 가능하게 하고,
로봇은 철저히 막으려고 계속 하고 있는데.. 
(좀 더 사람냄새 나는 이야기를 좀 서로 해보고자..  smile    )

어떻게 막을 방법 없나요?

그리고 이건..
daum 에서 blog 검색에 RSS를 이용해서 그런걸까요?
아니면 robot 에 대해서 열려 있거나 열림 당한(??) 걸까요? ;;;

따오기 글 1

2 lunamoth이 작성한 답글

  • 지역 Seoul, Korea
  • 가입일자 2006-04-14
  • 글: 2,099

답글: robots.txt를 사용해도 다음에서는 검색 가능??

robots.txt 가 차단하는것은 웹 검색엔진의 크롤링 로봇에만 해당 되기 때문에 여타 블로그 검색엔진의 RSS 등을 통한 블로그 포스트 수집을 차단할 수 없을 듯 싶습니다. Daum 블로그 검색 쪽에 차단 요청을 해보시는 방법이 있을 것 같습니다.

- lunamoth

lunamoth의 웹사이트

따오기 글 2