색인이 생성되었으나 robots.txt에 의해 차단됨

이전에 아래와 같은 서치콘솔팀에서 보내온 itemListElement 입력란 누락에 대한 문제를 해결했는데,

[리뷰/_구글 서치 콘솔] - 'itemListElement' 입력란이 누락되었습니다.

'itemListElement' 입력란이 누락되었습니다.

이번에 또 메일이 날아왔다.

이번엔 또 무슨 일일까 불안한 기운.

환경설정 변경도 안 하고 글만 썼는데 말이다.

 

현재 운영 중인 블로그에서 색인 생성 범위 문제가 발생되었다.

색인이 생성되었으나 robots.txt에 의해 차단되었다는 내용이었습니다.

메일의 내용으로는 이해가 가지 않아 일단 [색인 생성 범위 문제 해결하기] 버튼을 일단 눌러보았습니다.

 

버튼을 누르고 제일 처음 보인 화면.

2021년 4월 28일 기준 크롤링된 페이지로 구글 서치 콘솔에서 색인 관련 작업이 이루어진 모양이네요.

제일 밑 그리드 [예] 의 크롤링된 url을 클릭해보았습니다.

 

특별한 내용이 없으니 일단 [ROBOTS.TXT 차단 테스트] 를 클릭.

 

저 경로로의 탐색이 중지되었다는 이야기 같습니다.

왜 disallow가 되었을까 알아보기 위해 블로그 경로/m/search ( in-my-blog.tistory.com/m/search ) 로 들어가 보았습니다.

 

특별한 화면이 아니고 그냥 검색바만 뜨네요.

위의 화면처럼 검색도 할 수 있습니다.

문제는 없어 보여서 같은 방식으로 다른 티스토리 블로그 주소에 /m/search 붙여서 주소창 검색도 해봤지만 아까 다른 사람의 블로그도 똑같은 화면이 나타났습니다.

다른 블로그 포스팅도 찾아보았는데 결론은 문제없음.

그래서 그냥 놔두기로 했습니다~~~~!

 

이러한 메일은 받으신 분들은 그냥 놔두시면 됩니다 :)

 

---

 

2021년 5월 5일, 메일이 또 날아왔습니다.

사이트의 색인 생성 범위 문제가 일부 해결되지 않았습니다.

색인 생성 범위 문제가 일부 해결되지 않았습니다.

색인이 생성되었으나 robots.txt에 의해 차단됨.

일부 페이지가 여전히 이 문제의 영향을 받고 있는 것으로 확인되었습니다.

 

[문제 세부 정보 보기] 를 클릭해보았습니다.

 

이전 크롤링되었던 것에서 한 줄이 /manage가 더 추가가 되어있군요.

해당 내용을 확인해 보도록 하겠습니다.

 

/manage 부분은 이전부터 disallow가 되어있었는데, 왜 갑자기 최근에 오류로 인식해서 메일이 온 것인지는 모르겠네요.