1

주제: 검색 봇에 대한 질문.

갑자기 궁금한 것이 생겨 이곳에 질문을 드려봅니다.

1.검색 봇의 접근을 막는 이유가 무엇인가요?..
1. 트래픽의 압박? 2. 실체없는 발자국 방지. 3. 포털의 검색 제한.

2.검색 봇이 왜 문제가 되는 것인가요?
1번 질문과 비슷한 것일수도 있는데, 검색 봇이 어떻게 피해를 주는 것인지.. 쉴새없이 마구 마구 블로그를 새로고침하는 것이랑 같은건가요?
아니면, 실제 방문자가 없이 계속 블로그를 이리저리 왔다갔따 하는 것이랑 같은가요?

3. 검색 봇이 읽어가지 못하면, 예를들면) 네이버 봇이 읽어가지 못하면 네이버 검색에서 해당 블로그가 검색되지 않나요?

등의 질문입니다. +_+a

2

답글: 검색 봇에 대한 질문.

1차적으론 발로짠 봇이 사이트 트래픽을 왕창 들고간다겠지만 그보다는 유명 검색엔진에 노출되면서 유입양이 증가된다는 것입니다. 더구나 그런 사이트에서 들어오는 키워드 보면 가관이거든요. (저의 경우 일주일간 검색 유입의 80%가 '야동'과 '무료성인'이더군요. 나머지는 '노래는 혼자 불러야 내 점수다' 시리즈고 -ㅅ-)

트래픽 제한이 있는 상황에서 그런 트래픽은 돈낭비가 되기 때문에 막기를 원하는 사람이 많은 것 같습니다. 이후 티스토리같은 무제한 서비스에서도 기분상 막기를 바라는 것 같구요. 한번 나쁜 놈은 영원한 나쁜놈 같은 상황.

3

답글: 검색 봇에 대한 질문.

1.
불특정다수 외부인의 접근 차단 쪽에서 하시는분들이 대부분일듯 싶습니다. 특정 포털에 거부감을 갖고 계신분들도 있는것 같고요.

2.
언젠가 링크를 걸었던 것 같습니다만, 야후봇 같은 경우 무절제한 크롤링?으로 http://www.google.co.kr/search?hl=ko&am … BF&lr= 문제가 됐던 경우가 있었지요.

3.
이건 "알수 없다" 가 정답일듯 싶습니다. 네이버 정책을 직접 문의하는게 확실할듯 싶습니다. 웹크롤링과 RSS 신디케이션을 모두 robots.txt 의 범주로 보느냐는 해당 검색엔진 사의 정책 문제일듯 싶습니다. (로봇으로 막아도 메타 블로그등의 제휴등으로 인해 검색될수도 있겠고요)

4

답글: 검색 봇에 대한 질문.

이런 질문을 왜 했냐면, 블로그를 개인적 기록에 한정시키지 않을려면 결국 공개를 하잖아요. 보통은 발행을 하죠.
게다가, 더 많은 방문객 유입을 위해 메타 사이트에 등록도 하고.. 이 말은 결국 더 많은 사람들에게 보이겠다는 말과 같다 라고 생각합니다.

그럴려면, 검색이 더 잘 되어야 한다 라고 생각이 드는데요... 제가 이올린이나 올블로그에서 검색을 해봐도 제대로 제가 원하는 검색이 되질 않더라고요.
차라리, 검색에 대한 부분은 포털 사이트가 훨씬.. 흠 그러니깐, 검색 엔진이 더 낫다는 말이겠죠..

또한, 블로그를 하거나 메타 사이트를 둘러보면서 블로그에 방문하는 사람들은 거의 알아서 스스로 어떤 걸 찾아낼 사람들이고,
각각의 블로그에 대한 정보가 필요한 사람들은 포털의 검색 엔진을 이용할꺼라고 생각해요. 저도 네이버 검색이나, 야후 검색, 그리고 구글 검색을 더 많이 이용하거든요.

그렇다면, 블로그에서 검색 봇을 차단했을 경우... 검색 엔진에서 검색했을 때, 귀중한 자료를 못 보게 될 수도 있잖아요.

이건.... 아이러니한... 일이 아닐까 싶다는 생각이 듭니다.

두분의 답변을 봤을 땐... 검색 봇의 비효율적인 크롤링이 문제일까요? -_-a

5

답글: 검색 봇에 대한 질문.

유마 작성:

더 많은 방문객 유입을 위해 메타 사이트에 등록도 하고.. 이 말은 결국 더 많은 사람들에게 보이겠다는 말과 같다 라고 생각합니다.

그럴려면, 검색이 더 잘 되어야 한다 라고 생각이 드는데요... 제가 이올린이나 올블로그에서 검색을 해봐도 제대로 제가 원하는 검색이 되질 않더라고요.
차라리, 검색에 대한 부분은 포털 사이트가 훨씬.. 흠 그러니깐, 검색 엔진이 더 낫다는 말이겠죠..

검색하여 들어온 사람들이 다른 블로거들처럼 반응한다면 크게 문제될 것이 없는데....
검색으로 들어온 방문자들은 댓글도 별로 없고, 가끔 악성 글들을 남기기도 하기 때문에 사람들이 싫어하는 것 같습니다.

개인적인 서버나 웹호스팅을 하시는 분들은
위에 분들께서 말씀하셨듯이 너무 과도하게 긁어가는 것도 문제가 될 경우도 있구요.

따뜻한 5월의 햇살 속에 한가로이 잠든 작디작은 선인장처럼...
내일을 향한 꽃봉오리 몇 개를 올려본다.

6

답글: 검색 봇에 대한 질문.

작은인장 작성:

검색하여 들어온 사람들이 다른 블로거들처럼 반응한다면 크게 문제될 것이 없는데....
검색으로 들어온 방문자들은 댓글도 별로 없고, 가끔 악성 글들을 남기기도 하기 때문에 사람들이 싫어하는 것 같습니다.

개인적인 서버나 웹호스팅을 하시는 분들은
위에 분들께서 말씀하셨듯이 너무 과도하게 긁어가는 것도 문제가 될 경우도 있구요.

예, 그 말씀도 맞습니다.
그러나, 제 경험상... 메타 사이트를 통해 오신 분들도 그리 댓글에 대한 사랑이 깊지는 않더군요.
1. 자신과 연관될 경우(글 내용이 자신의 글과 긍정 혹은, 부정일 때), 2. 자신과 친한 관계의 사람일 경우, 3. 자신의 깊은 관심사거나,
할 경우를 제외하고는 거의 댓글 사랑을 해주지 않는 것 같아요.

댓글 쓰지 않을라면 보지 마라고는 할 수 없잖아요.
악성 글은 메타 사이트에서만 공개 되어도 충분히 가능한 부분이고요. 악성 글이든, 반대를 위한 반대글이라든지..

제 말은, 검색 봇을 막음으로써 더 많은 곳에 도움이 될 수 있는 것을 스스로 막는 게 아닐까 싶은 생각이 들어섭니다.

7

답글: 검색 봇에 대한 질문.

유마 작성:

예, 그 말씀도 맞습니다.
그러나, 제 경험상... 메타 사이트를 통해 오신 분들도 그리 댓글에 대한 사랑이 깊지는 않더군요.
1. 자신과 연관될 경우(글 내용이 자신의 글과 긍정 혹은, 부정일 때), 2. 자신과 친한 관계의 사람일 경우, 3. 자신의 깊은 관심사거나,
할 경우를 제외하고는 거의 댓글 사랑을 해주지 않는 것 같아요.

댓글 쓰지 않을라면 보지 마라고는 할 수 없잖아요.
악성 글은 메타 사이트에서만 공개 되어도 충분히 가능한 부분이고요. 악성 글이든, 반대를 위한 반대글이라든지..

제 말은, 검색 봇을 막음으로써 더 많은 곳에 도움이 될 수 있는 것을 스스로 막는 게 아닐까 싶은 생각이 들어섭니다.

유마님 말씀이 맞습니다.
다만 어차피 반응하는 사람들의 비율이 양쪽 다 모드 적다 하더라도.... 검색엔진을 통해서 들어오는 분들의 반응비율이 상대적으로 더 적거든요.
최근 제 블로그 잠수탄다고 하고서는.... 메타보다 거의 검색엔진 쪽에서 리퍼러를 남기는데, 댓글이 거의 없어요. ㅎㅎㅎㅎ
카운터는 더 늘었는데 말이죠. ㅜㅜ

따뜻한 5월의 햇살 속에 한가로이 잠든 작디작은 선인장처럼...
내일을 향한 꽃봉오리 몇 개를 올려본다.