[Tistory] 티스토리 robots.txt 가 존재하지 않습니다. 진짜로 해결하기

안녕하세요우~

 

꾸준히 블로그하는 이야기

꾸블이입니다!

 

오늘은 전에 네이버 웹마스터도구에서 웹페이지 최적화에 나왔던

"robots.txt 가 존재하지 않습니다." 에 대해서 이야기를 해볼려고 합니다.

 

 

그전 포스팅을 못보신 분들은 아래 링크를 참고해주세요~ :)

https://steadyblogstory.tistory.com/entry/티스토리-개설-세팅-초기설정-올인원가이드

[Tistory] 티스토리 개설부터 초기세팅하기 (올인원 가이드)

 

 

 

robots.txt 가 존재하지 않습니다?

 

일단 문제해결에 앞서

robot.txt 란 것이 무엇인지 알아볼까요?

 

robots.txt 파일을 사용하면 크롤러가 사이트에
요청할 수 있는 페이지/파일과 요청할 수 없는 페이지/파일을 검색엔진 크롤러에 알려 줄 수 있습니다. ​

이 파일은 주로 요청으로 인해 사이트가 오버로드되는 것을 방지하기 위해 사용하며,
Google로부터 웹페이지를 숨기기 위한 메커니즘이 아닙니다. ​

웹페이지가 Google에 표시되지 않도록 하려면 noindex 명령어를 사용하거나 비밀번호로 페이지를 보호해야 합니다.
(출처 : Google 검색 센터)

 

 

정리하자면,

robots.txt 는 검색로봇에게 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 국제권고안

인 것입니다.

 

이제 문제해결을 해야하는데,

일단 문제해결에 앞서 많은 사람들이 이야기하는

잘못된 문제해결에 대해서 이야기를 해볼려고 합니다.

 

 

 

robots.txt 잘못 된 문제해결방법A

 

첫번째 잘못된 문제해결 방법입니다.

 

네이버 웹마스터도구 -> 검증 -> robots.txt 에서

robots.txt 간단 생성이 있습니다.

 

여기서 많은 분들이 "모든 검색로봇 / 수집을 허용합니다" 설정후 다운로드를 하라고 하는데요.

 

 

티스토리 스킨편집에서

 

 

html편집버튼을 클릭

 

 

파일업로드에서 간단 생성한 robots.txt 파일을 추가합니다.

 

이건 잘못된 정보입니다.

 

 

업로드한 robots.txt 파일에 마우스 오른쪽

새 탭에서 링크열기, 새창에서 링크 열기 or 링크 주소 복사 후

주소를 붙여넣고 확인을 해볼게요.

 

 

네이버웹마스터도구에서 robots.txt 간단 생성시 하단에 도움말을 보면,

 

파일은 반드시 사이트의 루트 디렉터리에 위치해야 하며 
텍스트 파일 (text/plain) 로 접근이 가능해야 합니다.
(출처 : 네이버 웹마스터 도구 도움말)

 

라고 나와있습니다.

 

거기다가 주소는 내 티스토리 주소가 아닌

전혀 다른 주소로 표시되고 있습니다.

 

그렇기 때문에 저는 잘못된 정보라고 생각한 것입니다.

 

그럼 여기서

네이버 웹마스터 간단 robots.txt 파일은 어디다가 쓰는건지 궁금증이 생길 겁니다.

 

이부분에 대해서는

제가 직접 티스토리 고객센터에 문의후 답변을 받으면

추가 포스팅으로 다루도록 하겠습니다~

 

 

 

robots.txt 잘못 된 문제해결방법B

 

두번째 잘못된 문제해결 방법입니다.

 

티스토리 관리자에서 플러그인 선택

 

 

검색에서 메타 태그 등록 검색후 선택

 

 

여기에 이렇게

<meta name="robots" content="index,follow">
<meta name = "Yeti" content="index,follow">

메타 태그를 추가하라고 하는데,

 

이것도 잘못된 정보입니다.

 

 

문제가 되는건 "robots.txt 가 존재하지 않습니다" 이지

로봇 메타 태그가 아닙니다.

 

근데 로봇 메타 태그를 왜 등록하라는 건지;

 

 

 

robots.txt 진짜 문제해결하기

 

티스토리 블로그를 만들면

일단 자동으로 robots.txt 가 생성됩니다.

 

확인방법은

자신의 티스토리 블로그 주소뒤에

/robots.txt 을 입력하면 됩니다~

 

 

이렇게 나오면 robots.txt 파일이 정상적으로 존재하고 있는지 확인할 수 있습니다.

 

 

정리를 하자면,

네이버 웹마스터도구에서 "robots.txt 가 존재하지 않습니다" 라고 나오는 경우

자신의 티스토리 블로그 주소뒤에 /robots.txt 를 입력해서 확인합니다.

 

 

A. robots.txt 파일이 존재하다면

 

시간이 좀 더 지난후 새로고침하면 자동으로 "정상" 으로 변경 될 것이고,

 

 

B. 만약 robots.txt 파일이 존재하지 않는다면

티스토리 고객센터에 문의를 해야 합니다!

 

 

C. 만약 robots.txt 파일이 존재하다고는 나오는데, 웹마스터도구에서 계속 오류라고 뜬다면

네이버웹마스터 -> 검증 -> robots.txt 메뉴에서

 

수정요청버튼을 클릭합니다.

 

 

그래도 계속

"robots.txt 가 존재하지 않습니다" 라고 나온다면,

네이버 고객센터에 문의해야 합니다!

 

 

 

정리

 

첫번째 티스토리 만들었을 때

robots.txt 가 "정상"으로 나왔기 때문에 

이 과정을 진행하지 않아 몰랐습니다.

 

하지만 두번째 티스토리 만들 때 

이렇게 나왔고,

이리저리 검색하는 도중에 어느 한분에 포스팅을 보게 되었습니다.

 

그 포스팅을 보고 

주변 지인들에게 이리저리 문의를 해보고 이렇게 정리를 해 포스팅을 올리게 되었습니다.

(주변 지인들이 다 IT업종이라ㅎㅎㅎ)

 

 

그러다보니, 

현재 잘못된 정보들이 많이 퍼지고 있다는 것을 알게 되었습니다.

 

오지랖일 수 있으나,

그분과 마찬가지로 잘못된 해결 방법으로 고생하시는 분을 한분이라도 줄이고자

저도 이렇게 포스팅으로 작성하게 되었습니다!

 

저는 그럼 다음 포스팅에서 찾아뵙겠습니다~