티스토리 블로그와 robots.txt

티스토리 블로그와 robots.txt

90년대 중후반부터 HTML을 알게 되었고, 그때부터 홈페이지를 직접 만들고 여러군대서 운영해왔다.
그러다 제로보드를 사용한 홈페이지를 요 몇년간 쭉 써오다 '게시판'의 한계를 느껴 블로그를 알아보게 되었다.
그전에 파란 블로그에선 이미지가 외부로 나갈수 있어서 특히 내가 찍은 사진들을 엄청나게 올리고
홈페이지에 링크를 걸어놨었다. 속도도 빠르고 무제한용량에 외부링크를 해놔도 원본 사이즈대로 뜨니까..
그렇지만 블로깅을 하기에는 좋은 환경은 아니었다.

그래서 알아본게 네이버 블로그.. 블로그 스킨도 이쁘고 일단 검색이 원활하며 국내에서 가장 많은 유저가 사용한다는거..
하지만 역시 무언가 갑갑한 테두리안에 갇혀있는건 어쩔수 없다.
특히나 네이버의 그 횡포(?)와 외부로 무언가 나가는걸 다 막아놓고, 주어진것 외엔 어떻게 다른걸 사용할 방도가 없다..
사진을 올리려해도 하루 5메가의 용량제한 ㅡㅡ 거기다 외부 링크 절대 불가...(네이버소년 ^-^)

그래서 이동한게 다음 블로그.. 네이버보다 이거저거 나은 면이 많고 더욱 더 자유롭지만..
역시나 포털에서의 제공하는건 새장속에 있다랄까..

결국 욺긴게 티스토리 블로그다.
여기에 와서 그동안 운영해오던것들 내용은 일단 접어두고 검색에 관련해서 많이 신경썻다.
메타블로그들에 등록도 하고, 국내 대형포털 서비스들에도 등록하고, 외국 구글과 MSN, 알타비스타, 야후에도 등록하고..
그러다 구글 웹마스터 대시보드에서 로봇이란걸 알게 되었다... 로봇.
홈페이지 운영하면서 접속로그 살펴보면 XXXXbot, XXXrobot 등등의 기록이 있었는데
난 솔직히 스팸로봇인줄 알았다.. 제로보드 쓰다보면 엄청난 스팸압박에 시달리는데 저녀석들이 들어와서 글 남기는줄 알았다.
하지만 티스토리와 구글을 접하면서 검색로봇이란걸 알게 되었을때 그 황당함이란...

그래서 robots.txt 라는 파일과 그 구문, 동작원리에 대해서 열심히 배우고, 티스토리에 적용하기 위해서 공부했다.
네이버의 검색봇경우는 구문규칙을 거의 무시한다고 하고, 룰을 안지키는 다른 로봇들도 많다고 하지만..
일단 제한 걸어둘건 걸어두고, 인덱싱 장려할곳은 장려하고, 더 많은 검색유입을 늘리려고 이것저것 알아봤다.
공부도 하고... 연구도 하고.. 참고도 하고...
결실을 맺어 robots.txt 파일을 만들어 업로드하고 테스트도 해봤다.
아래 이미지가 http://2proo.net/robots.txt 의 소스이다.
 

음.. 내가 연구해서 업로드한거랑 조금은 다르지만....(솔직히 많이 다르다.... ㅡㅡ 내용이 없어!!)
익스플로러 주소창에서 실험해본 결과 뭐... 위 페이지에 보이는대로 뜨긴 뜨니까 잘 돼고 있는거겠지.. 하고 있었다.
뭐 구글 대시보드에서도 잘 돼어가고 있다고 나오니까.. 상태 200!!! 오류없이 잘돌아가고 있다.
 

구글 웹마스터 대시보드의 robots.txt 분석

정작 문제는... 티스토리에서는 robots.txt 파일에 손을 댈수가 없다는것!!!
예를 들어 http://2proo.tistory.com 이 계정주소라고 하면 robots.txt 파일은 루트에 있어야한다.
즉 http://2proo.tistory.com/robots.txt 이어야한다는것...

티스토리 유저는... 저곳 루트에 접근할수가 없다.. 루트 접근권한이 티스토리 유저에겐 없다!!!!
업로드 해봐야 티스토리 유저가 올릴수 있는곳은 스킨폴더밖에 없다...
난 멍청하게도 스킨폴더에 업로드 시켜놓고 혼자 띵가띵가 즐거워하고 있었다니...

티스토리에서 로봇에 관련한 검색을 좀 했었는데 구문과 쓰는방법, 파일올리는거, 이런건 정말 많이 있지만
정작 티스토리에선 사용못한다는걸 알려주는곳이 없었다!!!! (내가 못찾았을수도..)
 
티스토리는 robots.txt 파일을 못건드린다고!!! 왜 안되면 안된다고 말을 안해주는거야!!!
설치형 블로그에나 적용가능하단걸.. 그 기본적인걸 왜.. 몰랐을까 ㅡㅡ;

다만 이 계기로.. html 태그 내부에 meta 태그를 이용해서

<meta name="Robots" content="ALL"> 문서 수집 ㅇ, 링크수집 ㅇ
<meta name="Robots" content="index,follow"> 이 문서 수집 ㅇ, 링크된 문서 수집 ㅇ
<meta name="Robots" content="noindex,follow"> 이 문서 수집 X, 링크된 문서 수집 ㅇ
<meta name="Robots" content="index,nofollow"> 이 문서 수집 ㅇ, 링크된 문서 수집 X
<meta name="Robots" content="noindex,nofollow"> 이 문서 수집 X, 링크된 문서 수집 X

이런식으로도 검색엔진 로봇 제어가 가능하다는걸 배웠다.. 어휴...;;; 완전 바보짓했네...