사이트 검색 노출 차단 방법

워드프레스 사이트의 모든 페이지들을 검색 사이트에서 검색 제외시키기

워드프레스 사이트를 만들다보면 테스트 페이지를 만들거나 다른 사이트로 이전 작업을 하다 보면 해당 사이트의 모든 페이지들(또는 글들)을 구글이나 네이버등의 검색 포털 사이트에서 검색되지 않게 하기를 원할 때가 있습니다.

즉, 해당 사이트(도메인)에 속한 모든 페이지들이 검색 엔진에 색인되지 않고, 어디서도 노출되지 않는것이지요.

방법은 간단합니다.

검색 사이트에서 노출을 제외할 워드프레스 사이트 관리자 페이지에 접속합니다.

좌측 메뉴에서 '설정 - 읽기' 메뉴를 선택합니다.

읽기 설정 페이지가 뜨면 하단에 '검색 엔진 접근 여부'라는 항목이 있습니다.

여기에서 '검색 엔진이 이 사이트 검색 차단하기' 라는 체크박스가 있으며 이 항목을 체크합니다. 그리고 하단의 [변경 사항 저장] 버튼을 클릭합니다.

사실 검색엔진이 사이트에 접근하여 색인하는 것을 근본적으로 차단할 수는 없습니다.

(그래서 설정 항목 하단에는 '이 요청이 받아들여지는 것은 전적으로 검색 엔진에 좌우됩니다.' 라는 메시지가 있지요.)

하지만, 검색엔진과 사이트간에는 규약을 만들어 놓았습니다.

검색 엔진 차단 항목을 체크한 후, 워드프레스 사이트의 소스보기를 통해서 보시면 아래와 같은 meta 태그가 추가된 것을 보실 수 있습니다.

구글 검색엔진은 특정 HTML 페이지 내에 name='robots'인 meta태그의 content 값에 noindex가 포함되어 있는 경우, 이 페이지를 색인하지 않고, 검색 서비스에서 제외시킵니다.

즉, 워드프레스 사이트 위의 옵션은 페이지마다 위의 메타 태그나 추가되도록 자동으로 처리한 것이지요.

워드프레스 사이트가 아니더라도 위의 meta 태그를 자신이 만든 웹사이트에 추가하시면 구글 검색(또는 이 규약을 따르는 검색)은 더 이상 이 페이지를 색인하지 않습니다.

관련 구글 Search Console 내용

https://support.google.com/webmasters/answer/93710?hl=ko

'noindex'를 사용하여 검색 색인 생성 차단하기 - Search Console 고객센터

도움이 되었나요? 어떻게 하면 개선할 수 있을까요? 예아니요

support.google.com

물론 이 규약은 강제한 규약이 아니기 때문에 이 태그를 무시하고, 크롤링 + 색인 하는 검색 엔진이 있을 수 있겠지만... 주요 메이저 검색 엔진들은 이 규약을 대체적으로 따릅니다.

참고로 각 페이지 내에 포함된 이러한 robots meta 태그가 정상적으로 적용되려면 해당 사이트의 robots.txt 파일 내에 사이트를 접근하는 차단 코드가 있지 않아야 합니다.

외부인들에게 노출이 되어서는 안 되는 웹사이트를 하나 운영하고 있습니다.
따로 사이트를 구글 검색 엔진에 등록하지도 않았는데도 불구하고 유독 구글 검색에만 사이트의 내용이 노출되더군요.

인터넷 검색을 통해 구글 검색에서 특정 사이트의 내용을 완전히 제거하는 방법을 알게 되었습니다. 제가 참고했던 글보다 조금 더 쉽게 안내해 보고자 글을 씁니다.

다음 안내를 따라 몇 가지 조치를 하시면 이미 구글 검색 엔진에 저장되어 있는 사이트 관련 색인 정보를 삭제할 수 있는 것은 물론 앞으로 구글 검색 로봇이 사이트에 대한 정보를 수집하지 못하게 할 수 있습니다.

구글 검색에서 사이트 제거하기 & 검색 색인 데이터 삭제하기

아래의 방법은 제거하고자 하는 사이트의 관리자일 경우에만 유효합니다.

1. 구글(http://www.google.co.kr)에 로그인합니다. 구글 계정이 없으신 분은 하나 만드시면 되겠습니다.

2. 로그인 후 화면 맨 오른쪽 상단의 '내 계정' 메뉴를 누르면 아래와 같은 화면이 뜹니다. 그림의 빨간 네모 속에 있는 '웹마스트 도구'를 클릭합니다.

3. 사이트 추가 버튼을 클릭하면 사이트 주소를 입력할 수 있는 창이 뜹니다. 'http://'는 생략하고 그 뒤의 주소만 입력을 한 후 오른쪽의 '계속'을 클릭합니다.

4. 관리하고자 하는 사이트를 추가하고 나면, 실제 사이트의 소유자가 맞는지 확인하는 절차를 거쳐야 합니다. 아래 그림처럼 세 가지 방법이 있는데 저는 두 번째 'html 파일 업로드' 방법을 썼습니다. 'html 파일 업로드'를 선택하면 해당 html 파일을 다운받을 수 있는 메뉴가 하단에 생성됩니다. 파일을 다운 받으신 후 운영하시는 사이트의 루트 폴더에 ftp를 이용하여 업로드하시면 됩니다.

5. 다운받은 파일을 업로드 후 확인 메뉴를 누르면 브라우저에서 다음과 같은 형식의 메시지를 확인할 수 있습니다.

6. 위 과정까지 마치면 구글 웹마스트 도구 홈에 추가된 사이트가 보입니다. 해당 사이트를 클릭하면 다음과 같은 창이 뜹니다. 왼쪽 메뉴에서 '사이트 구성>크롤러 엑세스'를 클릭한 후 화면 오른쪽의 메뉴 중 'robots.txt' 생성을 클릭합니다. '모두 차단'을 선택하면 3번에 있는 네모 창안의 코드가 자동으로 수정이 됩니다. 이후 네모 창 아래에 있는 다운로드 버튼을 클릭하여 'robots.txt'파일을 다운 받은 후 제거하고자 하는 사이트 계정의 루트 폴더에 업로드합니다.

7. 맨 오른쪽의 URL제거를 클릭합니다. 사이트 자체를 제거하려면 'http://"를 제외한 나머지 주소를 입력한 후 '계속' 버튼을 클릭합니다.

8. 다음과 같은 창이 뜹니다. 아래에 있는 'robots.txt에서 콘텐츠를 차단했습니다.'에 체크하신 후 '요청 제출' 버튼을 클릭합니다.

9. 사이트 제거 신청 결과 화면이 다음과 같이 표시됩니다. 저의 경우 하루도 지나지 않아 구글 검색에서 사이트 검색 결과가 더 이상 노출되지 않았습니다.

10. 다음 번 구글 로봇이 사이트 정보를 수집할 때 신청한 삭제 작업이 수행된다고 합니다. 삭제 여부는 아래와 같은 화면에서 확인하실 수 있습니다.