워드프레스 댓글 feed 크롤링 관련 문제 해결 방법

 구글의 서치 콘솔에서 워드프레스 사이트를 보면 ‘크롤링 – 현재 색인이 생성되지 않음’ 부분에 상당히 많은 페이지를 확인할 수 있을 것이다.

 이는 사이트에 문제가 있는 것이 아니라면 아마 대부분 댓글 feed 페이지가 크롤링 되고 중복 등의 이유로 색인이 되지 않기 때문일 것이다.

 색인도 안 되는데 쓸데없이 크롤링 되는 것을 막기 위해서는 robots.txt 파일과 functions.php 파일에 코드를 추가하여 크롤링과 색인이 되지 않도록 설정할 수 있는데 방법은 아주 어렵지 않다.

워드프레스 댓글 feed 크롤링 관련 문제 해결하기

1. robots.txt를 수정하기.

 robotx.txt 파일은 웹사이트의 루트 디렉토리에 위치하며 검색 엔진 로봇에게 웹사이트의 특정 페이지의 접근을 허용하거나 차단하는 역할을 한다.

 파일에 간단한 텍스트 규칙을 추가하는 방식으로 적용할 수 있는데 검색 엔진 로봇이 댓글 feed URL에 접근하는 것을 차단하는 방식으로 서치 콘솔에서 크롤링 관련 문제를 해결할 수 있다.

1. robots.txt 파일을 열자.
   ftp에 접속해서 직접 파일을 열어도 되고, rank math 등의 플러그인에서 제공하는 편집 기능을 사용해도 된다.
2. robots.txt 파일을 열었다면 아래의 코드를 추가하자.

2. functions.php를 수정하기.

 워드프레스 테마의 functions.php 파일에 코드를 추가하여 http 헤더를 제어하고 댓글 feed가 색인 되는 것을 차단하는 방식이다.

 한 가지 알아둘 부분은 functions.php 파일은 테마에 포함되기 때문에 테마가 업데이트되면 추가한 코드가 없어질 수 있다는 것이다.
 (보통 이런 부분 때문에 자식 테마를 사용한다.)

1. 테마 편집기에서 functions.php 파일을 열자.
2. 아래의 코드를 추가하면 된다. (위치는 상관없다)

그 외 내용

• robots.txt를 사용하면 검색엔진이 필요 없는 부분에 접근하지 않기 때문에 사이트 부하를 줄이는 데에도 도움이 된다.
  하지만 강제적인 규칙은 아니기 때문에 검색 엔진이 이를 무시하는 경우가 있을 수 있어 가장 효과적인 방법은 robots.txt와 functions.php를 같이 적용하는 것이라고 한다.
• 카테고리나 작성자, 태그 등 이 부분 역시 크롤링이나 색인이 되지 않도록 설정하는 것이 가능하다.