* robots.txt 를 읽지 못한다고 하더라도 Google 에서 크롤링이 될듯 싶습니다.
* robots.txt 파일 접근이 안되는것은 텍스트큐브 .htaccess 파일 설정으로 인한 사항으로 사료 됩니다. 루트의 있는 임의의 파일에 접근이 가능하도록 하기 위해서는 다음 글을 참고하셔서 .htaccess 파일을 수정하시면 될듯싶습니다. .htaccess 파일을 잘못 수정할 경우 블로그가 접근이 되지 않을 수도 있으니 백업을 하시면 좋겠습니다.
* http://howto.textcube.org/entry/adding- … n-htaccess
* Google 웹마스터 툴에서 크롤링 관련 사항을 확인하실 수 있습니다.
* https://www.google.com/webmasters/tools/home?hl=ko