자신의 사이트를 검색엔진에 노출시키거나, 또는 검색엔진의 접근을 막아 비공개로 운영하거나 하는 등의 설정을 할 수 있는 방법이 있다. 티스토리에서는 엄밀히는 반 정도만 유저가 설정을 할 수 있지만 검색엔진 노출허용 여부는 설정이 가능하다.
티스토리 robots.txt 내용
모든 웹사이트에는 robots.txt 파일을 통해 각 검색엔진의 접근과 크롤링을 허용/차단하도록 설정할 수 있다. 티스토리 블로그에도 robots.txt 파일이 탑재되어 있는데 내용은 다음과 같다.
🔺 크롬 주소창에 빨간 밑줄과 같이 블로그 홈 url과 뒤에 robots.txt를 붙여서 https://tali.tistory.com/robots.txt 와 같이 써주면 이렇게 인터넷 창에 txt 파일의 내용이 나온다.
티스토리 블로그의 robots.txt 파일은 수정이 불가능하며 다음카카오에서 올려놓은 그대로 사용해야 한다. 어떤 내용으로 되어있는지 보자.
User-agent: *
유저 에이전트는 검색엔진의 종류를 지정해주는건데 *로 되어있으니 전체를 선택한다는 의미이다. 즉 모든 검색엔진 로봇에 대해 몇가지 경로의 크롤링을 불허한다는 뜻이다. /owner /manage /admin 등등 관리자 페이지들이 되겠다.
자주색으로 테두리 쳐놓은 부분은 미디어파트너-구글에 대해서 전체에 대한 크롤링을 허용한다는 뜻이다. 티스토리 블로그에 애드센스 사용이 많을테니 (티스토리 이용목적 중 가장 큰 하나일테니) 이렇게 구글 애드센스 검색로봇의 접근을 허용해놓았다.
마지막으로 빙봇은 크롤링 딜레이를 30초 주었다. 빙봇 검색엔진로봇이 너무 비글처럼 달려들어서 그런가? 잠깐 기다려! 해주고 나서 검색허용하는셈
검색엔진 로봇 인덱스 허용
티스토리의 robots.txt는 수정이 불가하고, 어차피 모든 검색엔진에 대해 Allow:/ 되어서 접근이 허용되어 있다. (=크롤링, 접근해서 내용 긁어가는 행위) 하지만 그렇게 크롤링해서 긁어간 내용을 실제로 검색엔진에 노출시키는 것은 다른 문제이다.
네이버 웹마스터 도구 해봤다면 알겠지만 통계에 수집이 있고 색인(Index) 수치가 별개로 있다. 네이버 검색 통누락되는 많은 경우에 수집은 해가지만 색인이 계속 0으로 표시되곤 하는데, 이는 크롤링만 해가고 인덱스가 안되어서 실제 검색엔진 결과에 노출을 안시킨다는 것이다.
티스토리 skin.html 스킨수정에서 meta 태그를 이용해서 검색엔진로봇의 인덱스와 팔로우를 설정할 수 있다. 인덱스는 색인해놓고 검색결과에 노출시킬지의 여부이고, 팔로우는 페이지 내의 링크를 추적해서 따라가는 것까지 할것이냐의 여부이다.
인덱스와 팔로우를 각각 허용/금지 할 수 있으니 총 4가지 조합의 경우의 수가 있다.
<meta name=”robots” content=”noindex, follow”> : 인덱스(색인) 금지, 팔로우 허용
크롤링을 하더라도 인덱스(색인)을 하지마 문서내 링크추적은 허용해줄게
<meta name=”robots” content=”noindex, nofollow”> : 인덱스(색인) 금지, 팔로우 금지
크롤링을 하더라도 인덱스(색인)을 하지마 문서내 링크추적도 안돼!!
<meta name=”robots” content=”index, follow”> : 인덱스(색인) 허용, 팔로우 허용
크롤링 해간거 인덱스(색인) 해서 검색노출 시켜줍쇼 굽신굽신, 문서내 링크까지 싸그리 다 긁어가요
<meta name=”robots” content=”index, nofollow”> : 인덱스(색인) 허용, 팔로우 불허
크로링 해간거 인덱스(색인)해서 검색노출은 시켜주세요 근데 문서내 링크까지 파헤치진 말고 냅두세요
검색결과 노출을 하지 말라는 명령어를 누가 쓸까 싶지만, 혼자 비공개로 조용히 기록하고 싶은 블로거도 있을테니… skim.html의 <head> ~ </head> 사이에 원하는 내용의 meta태그 명령어 한줄을 넣어주면 설정이 간단히 완료된다.
또는 티스토리 관리메뉴에서 플러그인 중에 meta 태그를 이용해서 이름 입력하세요 부분에 robots, 내용 입력하세요 부분에 index, follow 를 넣어주어도 동일하다.
