1

주제: q : 텍큐 1.7.5.1, 트래픽 초과가 잦습니다. 서버 회사의 장난이 아닐까 생각되는데 제가 제대로 생각하고 있나요?

저는 pig-min.com/tt/ 를 사용하고 있습니다.
(이 외에도 /en 등의 텍큐 3개를 설치했고, 며칠 전부터 phpbb3를 하나 더 설치했습니다.)

멀지 않은 과거 (3-4개월) 부터 트래픽 초과가 잦았습니다. 1일 트래픽은 2G고요. 그런데 방문자수나 페이지 뷰가 급격히 늘어난게 아닙니다. 대략 1,000명 이내에서 2,000 페이지 뷰 정도가 보통인것 같습니다. 즉 방문자수와 페이지뷰는 변화가 없는데 트래픽 초과가 잦습니다. 텍큐 내부 페이지뷰도 보고 설치해둔 google anal로도 가끔 봅니다. 1월 1일에는 새벽 4시에 초과되었고, 최근에는 7-9시 정도에 초과가 보통입니다.

그래서 .htaccess로 외부 이미지 핫링크를 막는 조치를 했습니다. 웃기는건 그래도 전혀 트래픽 초과에는 변화가 없다는 겁니다. 즉 이미지 핫링크는 문제가 아니었던것도 같습니다. 애초에 이미지를 거의 쓰지 않고 텍스트 위주로만 올리고 있기도 합니다.

로그를 봐야할것 같아서 2012/01/10에 호스팅 회사에 요청을 했습니다. Webalizer Version 2.01 을 설치해 주었습니다. (해당 링크는 공개적으로는 올리지 않겠습니다.)

아무래도 URY by KBYtes를 봐야 어떤 파일에 많은 부하가 일어나는지 알 수 있을거 같은데요. 이 로그 분석기에서 이렇게 나옵니다.

상위 3 / 3 URL By KBytes
#    Hits    KBytes    URL
1    681621    88.59%    20316222    99.55%    GET
2    4250    0.55%    10326    0.05%    POST
3    1021    0.13%    0    0.00%    HEAD

해당 링크가 아닌 GET POST HEAD로만 나옵니다.

상위 3 / 3 URL
상위 3 / 3 Total Entry Pages
상위 3 / 3 Total Exit Pages

모두 역시 GET POST HEAD로만 나옵니다.

그래서 GET POST HEAD로만 나오는걸 고쳐달라고 했습니다. Webalizer 공식 홈페이지 가보니까 거기 샘플에는 제대로 다 URL이 나오더군요.
http://www.mrunix.net/webalizer/sample/ … 99905.html

처음에는 분석기 기능상 저렇게만 나온다고 하다가, 제가 공식 홈페이지 샘플을 들이미니까 자기네가 그렇게는 제공 안한다고 말을 돌리네요. 그러면서 전체 log 파일 3일치는 ftp에 올려준다고 했는데 아직 올라오지 않았고요. 전체 log는 주겠는데 분석기로는 GET POST HEAD만 보여주겠다는 겁니다.

리퍼럴 보고 분석하라는데 상위 3위까지가 또 이래요;

1    216731    28.17%    - (Direct Request)
2    37296    4.85%    http://www.pig-min.com/tt
3    26932    3.50%    http://pig-min.com/tt

상당수가 direct고 그 다음이 메인 페이지인데 여기서 뭘 분석하라는 건지 알 수가 없네요.

여쭤볼 것은 다음과 같습니다.

1. 텍큐 1.7.5.1의 경우 과도한 트래픽을 발생시키는 경우가 있는지?
- 총 3개 별도로 깔려있습니다. /tt를 메인으로 쓰고 나머지는 그냥 거기 있기만 합니다. (phpbb3는 며칠 전에 깔았습니다. 3-4년전 깔았던 phpbb가 있긴 했지만 그건 폴더째로 지운지 오래입니다.)

2. 혹시 스팸 봇이나 검색 봇들이 자주 오면 트래픽 초과를 유발하는 경우가 있는지?
- 그런데 이런 봇들도 페이지뷰나 방문자 수에 포함되지 않나요?

3. 호스팅 회사가 이렇게 GET POST HEAD로만 볼 수 있는 로그 분석기를 주는게 일반적인 경우인지?
- 주변에 해외 호스팅을 쓰는 지인이 있는데 그쪽에서는 당연히 전 기능이 되는 로그 분석기를 주는게 기본 아닌가라는 반응이 나왔습니다.

4. 통으로 된 로그를 줄 경우 제가 자체적으로 분석할 수 있는 로그 리더 같은 프로그램이 있을지?
- 분석기로는 못 보여주겠고 파일 통째만 주겠다고 하니 그거라도 받아서 보려고 하는데, 이런걸 도와주는 프로그램이 있을지요?

아실 분들은 다 아실만한 호스팅 회사라 더더욱 황당한데요. (2006년부터 여기만 쓰고 있습니다.) 최근 트래픽 초과를 포함해 기존의 초과도 모두 제 문제가 아니지 않을거같은 생각이 들고 그렇습니다.

이해도 안 가고 열도 받고 해서 글이 길었습니다. 도움 주실 수 있는 분 답변 주시길 부탁드립니다. 감사합니다.

2

답글: q : 텍큐 1.7.5.1, 트래픽 초과가 잦습니다. 서버 회사의 장난이 아닐까 생각되는데 제가 제대로 생각하고 있나요?

스팸봇으로도 트래픽이 유발됩니다.
때롯 검색봇에 의해 메인로그를 남기고 이 때 방문자 수엔 1로 표시가 되지만,
방문하여 여러 페이지를 크롤링한다거나 첨부파일을 다운로드 하는 경우엔 그 역시 모두 트래픽에 포함되겠지요.
rss를 읽는데도 많은 트래픽이 들어갈 수 있습니다. 이 역시도 확인해보시구요.
rss만 읽히면 방문자힛은 오르지 않습니다.
아이비 호스팅인듯 싶은데요 일반적으로 트래픽을 유발하는 특정파일이나 ip,  혹은 리퍼러가 있다면 그 정보만 제공해도 답은 나올거라 보입니다.

텍스트큐브를 이용하시다 불편하신 점 있으시면 아래로 연락주세요.
Needlworks/TNF - LonnieNa
nateon : y12x2 (a.t) nate.com / mail : lonniena (a.t) needlworks.org
http://twitter.com/@textcube

3

답글: q : 텍큐 1.7.5.1, 트래픽 초과가 잦습니다. 서버 회사의 장난이 아닐까 생각되는데 제가 제대로 생각하고 있나요?

RSS의 경우 feedburner를 통해 한번 구운 후 재배포하고 있습니다. 제 블로그에도 피드버너 링크만 달려있고요.

제가 잘 몰라서 그러는데, 이렇게 해두더라도 feedburner를 제끼고 직접 rss에 접속해 트래픽 유발할 수가 있는지요? 굽고 재발송 하는 이유가 그 트래픽을 나누기 위해서였어서요. 1회 feedburner가 가져간 후 재발송할때의 트래픽은 그쪽이 부담한다고 생각하고 있었습니다. 현재 feedburner 구독자수는 1,053이라고 나옵니다.

상위 30 / 27069 사이트는 이렇게 나옵니다.

#    Hits                            Files                            KBytes                    Visits           호스트명
1    46663    6.06%    38857    6.54%    3842108    18.83%    18    0.03%    66.249.67.172
2    12953    1.68%    12257    2.06%    1219674    5.98%    3    0.01%    66.249.68.167
3    12859    1.67%    11035    1.86%    1180226    5.78%    18    0.03%    66.249.68.177
4    11727    1.52%    9034    1.52%    864636    4.24%    8    0.01%    66.249.68.140
5    11224    1.46%    8589    1.44%    909877    4.46%    13    0.02%    66.249.68.131
6    7618    0.99%    1776    0.30%    24713    0.12%    55    0.10%    118.37.126.213
7    6637    0.86%    6103    1.03%    605491    2.97%    2    0.00%    66.249.67.140
8    6566    0.85%    886    0.15%    25551    0.13%    6    0.01%    211.244.193.79
9    6321    0.82%    6242    1.05%    664408    3.26%    3    0.01%    66.249.67.209


이 외에 트래픽을 유발하는 특정파일이나 ip,  혹은 리퍼러 같은건 제가 현재 설치된 분석기에서는 볼 수가 없는거죠?

감사합니다.

mrkwang (2012-10-02 13:01:55)에 의해 마지막으로 수정

4

답글: q : 텍큐 1.7.5.1, 트래픽 초과가 잦습니다. 서버 회사의 장난이 아닐까 생각되는데 제가 제대로 생각하고 있나요?

ip 대역이 대부분 비슷한 것으로 보아 검색봇이나 스팸용(트랙백) 봇일 가능성이 큽니다.
.htaccess 에서 해당 ip를 임시로나마 차단하고 확인해보는 것도 좋은 방법일 듯 싶습니다.

텍스트큐브를 이용하시다 불편하신 점 있으시면 아래로 연락주세요.
Needlworks/TNF - LonnieNa
nateon : y12x2 (a.t) nate.com / mail : lonniena (a.t) needlworks.org
http://twitter.com/@textcube

5

답글: q : 텍큐 1.7.5.1, 트래픽 초과가 잦습니다. 서버 회사의 장난이 아닐까 생각되는데 제가 제대로 생각하고 있나요?

일단 구글 봇의 접속과 트래픽이 많은 것 같아서 gzip을 쓰기로 했습니다.

이후 유사한 일로 찾아오는 분들을 위해 관련 글 링크를 남기고 갑니다.

http://pig-min.com/tt/3900

감사합니다.

6

답글: q : 텍큐 1.7.5.1, 트래픽 초과가 잦습니다. 서버 회사의 장난이 아닐까 생각되는데 제가 제대로 생각하고 있나요?

피그민 운영자님이시라니....

그건 피그민이 유명해져서...

7

답글: q : 텍큐 1.7.5.1, 트래픽 초과가 잦습니다. 서버 회사의 장난이 아닐까 생각되는데 제가 제대로 생각하고 있나요?

간만에 제가 여쭤본 질문에 제가 답변을 달고 갑니다.

gzip 이후 트래픽이 완전히 넘어가버리는 일은 없었습니다... 누수되는 트래픽이 많이 줄어든 것으로 보입니다.

감사합니다.