- 백링크신청
- 충전하기
- 블로그
- MY
SEO 마케팅
검색 엔진이 이해하기 쉬운 사이트란? (robots.txt)
자세한 설명을 시작하기 전에, 구글 검색 작동 방식을 간단히 알려드릴게요. 구글은 크롤링(crawling) → 색인 생성(indexing) → 게재(및 순위 지정) 과정을 거쳐 검색 결과를 생성합니다.
- 크롤링은 검색 엔진이 웹에 어떤 페이지가 존재하는지 파악하는 작업입니다. 다른 페이지에 있는 링크를 타고 들어오거나, 각 사이트에서 제출하는 사이트맵을 통해 크롤링이 진행됩니다. 크롤링이 잘 진행되려면 검색 엔진이 해당 페이지에 접근할 수 있어야 하고, 페이지가 올바르게 표시되어야 합니다.
- 색인 생성은 크롤링한 페이지가 어떤 페이지인지 파악하는 작업입니다. 검색 엔진은 페이지의 콘텐츠를 분석하고, 삽입된 이미지와 동영상을 파악해 목록을 작성하는 등의 방법으로 페이지를 파악합니다. 이렇게 생성한 색인은 검색 엔진에 저장됩니다.
- 게재(및 순위 지정)는 검색 엔진 사용자가 입력한 검색어에 적절한 콘텐츠를 노출하는 작업입니다. 콘텐츠의 퀄리티는 물론 사용자의 위치나 PC·모바일 등의 접속 환경 또한 고려됩니다.
이 글에서 말하는 '검색 엔진이 이해하기 쉬운 사이트'란 이 과정들이 원활히 진행되는 사이트입니다. 체크리스트가 이런 맥락에서 나왔구나, 생각하면 이해가 쉬우실 거예요.*
✅ robots.txt 크롤링 리스트 확인 및 설정하기
검색 엔진의 웹 크롤러(검색 로봇)는 웹사이트를 돌며 검색 결과에 노출시킬 콘텐츠를 찾습니다. robots.txt 파일을 활용하면 우리 사이트의 접근 가능한 페이지, 접근을 원하지 않는 페이지를 크롤러에게 알려줄 수 있어요.*
* 위 ✅ 네이버의 '사이트 간단 체크' 참고하기에서 'robots.txt' 항목에 문제가 없었다면 별도의 설정을 하지 않아도 괜찮습니다.
모든 검색 엔진에서 사이트 전체가 크롤링되고 있는 robots.txt 파일의 예시
robots.txt 파일이 없다면 구글과 네이버는 사이트의 모든 페이지를 크롤러로 수집합니다. 이 경우 검색 노출에 문제가 되지 않지만, 파일이 있고 설정이 잘못되었다면 사이트 크롤링이 진행되지 않을 수 있어 확인이 필요해요.
robots.txt 파일 이외에도 페이지별 'robots 메타 태그'를 활용해 크롤링 및 색인을 제어할 수 있습니다. 아래 ✅ 검색 노출을 원하지 않는 페이지에 로봇 메타 태그 작성하기를 참고하세요.
robots.txt 파일로 크롤링을 막을 수 있지만, 메타 태그 등으로 색인을 금지하지 않는다면 검색 결과에 노출될 수 있습니다.*
1) 앞서 설명한 네이버 '사이트 간단 체크'에서 'robots.txt'에 접근 관련 문제가 나온다면, 사이트 주소 뒤에 robots.txt를 붙여 접속해 보세요. 만약 아래와 같이 'Disallow:' 로 설정된 페이지가 있다면 해당 페이지는 크롤링이 되지 않는 것입니다.
모든 검색 엔진에서 사이트의 /login 페이지가 크롤링되지 않는 robots.txt 파일의 예시. 이 경우 /login을 제외한 다른 페이지는 모두 크롤링됩니다.
2) 개발팀에 이렇게 말씀하세요.
우리 사이트 루트에 있는 robots.txt 파일을 확인해 보았는데, 검색 엔진 크롤러가 접근할 수 없는 상황인 것 같습니다. 크롤러 접근을 막아야 할 페이지 외에는 Disallow에서 제외해주실 수 있을까요? 감사합니다!
혹시 크롤러 접근을 막아야 할 페이지가 없다면, robots.txt의 파일 내용 중 "Disallow: /"를 "Allow: /"로 바꾸어 주시길 부탁드립니다. 감사합니다!
User-agent: 뒤에는 특정 검색 로봇의 이름(구글은 Googlebot, 네이버는 Yeti 등)을 넣어 검색 엔진별 크롤러를 설정할 수 있습니다. 위의 설명에서는 *을 입력해 모든 검색엔진의 크롤러를 지칭했습니다.
Allow: 와 Disallow: 는 사이트의 페이지별 접근 가능/불가 여부를 설정하는 데 쓰입니다. 자세한 설명 및 robots.txt 규칙은 Google 검색 센터의 'Robots.txt 파일 만들기'를 참고하세요.
원칙적으로, 익명의 사용자가 접근할 수 없는 페이지는 구글이 크롤링할 수 없습니다. 로그인 및 기타 승인 보호가 설정된 페이지는 크롤링되지 않으므로 일일이 별도의 작업을 하지 않아도 됩니다.
검색엔진최적화(SEO) 프로젝트를 진행하다보면 테크니컬 SEO, 비디오 SEO, 앱스토어 최적화 (ASO), 키워드, 키워드 리서치 툴, 구글 애널리틱스과 같은 웹로그분석 툴 등 다양한 분야에 대한 질문을 받습니다. 이번 포스팅에서는 그동안 트윈워드가 진행한 검색엔진최적화 마케팅 컨설팅과 세미나에서 자주 받은 질문에 대한 답변을 함께 나누고자 합니다. 오늘은 키워드 관련 질의응답입니다.
1. 검색엔진최적화를 위해서는 어떤 키워드를 사용해야 하나요?
검색엔진최적화를 위한 키워드는 브랜드나 제품 및 서비스를 잘 표현해주는 키워드 중, 타겟 고객들이 주로 사용하고 (높은 검색량) 검색엔진에서 비교적 쉽게 상위 노출을 노릴 수 있는 (낮은 경쟁지수) 단어나 문구여야 합니다.
이러한 SEO 용 키워드를 찾는 방법은 다양한 방법이 있는데요, 브레인스토밍을 통해 여러개의 SEO 키워드 후보군이 정해졌다면 구글 키워드 플래너와 같은 키워드 리서치 툴을 이용하여 각 키워드별 월별 평균 검색량 및 경쟁지수 데이터를 찾아볼 수도 있겠습니다.
2. 롱테일 키워드가 무엇인가요?
롱테일키워드(Long-tail Keywords)란 검색량은 비교적으로 적지만 사용자의 검색의도가 구체적으로 표현된 키워드를 말합니다. 그래서 주로 1, 2개 단어로 구성되기 보다는 3개 이상의 단어로 조합된 일종의 문구나 문장 형태가 많습니다. 그렇다고 3개 이상의 단어 조합이 항상 롱테일 키워드라고 말 할 수는 없습니다.
롱테일 키워드가 중요한 이유는 검색 사용자의 의도가 명확히 드러나기 때문에 타깃팅을 하기가 보다 쉽고, 보통 높은 전환율을 보이기 때문입니다. 따라서 타깃 고객을 잘 이해하고 있다면 타깃 고객이 사용하는 롱테일 키워드를 찾아서 잘 활용하는 방향이 바람직합니다.
3. LSI 키워드가 무엇인가요?
LSI키워드(Latent Semantic Indexing)란 메인키워드와 연관된 키워드를 말합니다. 예를 들어 ‘말’이라는 단어의 LSI키워드는 문맥에 따라 완전히 달라질 수 있습니다. ‘말’이라는 단어가 동물의 의미로 쓰였다면 ‘소’, ‘가축’, ‘먹이’ 등이 LSI키워드가 될 수 있습니다.
만약 ‘말’이 이야기의 의미로 쓰였다면 ‘대화’, ‘토크쇼’ 등이 LSI키워드가 됩니다. 구글과 같은 검색엔진은 웹사이트 내의 콘텐츠를 이해하기 위해 LSI키워드를 이용합니다.
LSI 키워드가 풍부하게 사용된 콘텐츠는 독자들에게도 충분한 주제 맥락을 전달할 뿐만 아니라 검색엔진에게도 해당 글의 주제를 잘 전달하는 효과가 있습니다.
LSI 키워드를 찾기 위한 툴에 대해 알고싶으시다면 트윈워드에서 직접 사용해본 무료 LSI 툴 리뷰 포스팅을 확인해보세요
4. 반복되는 키워드에 대해서 구글은 어떻게 처리하나요?
키워드 스터핑(키워드의 의도적인 재사용, Keyword Stuffing)은 SEO테크닉 중의 하나로 웹페이지의 콘텐츠에 같은 키워드를 반복적으로 사용하는 것을 말합니다. 이러한 키워드 스터핑을 사용하는 웹사이트에 대해 구글은 일시적, 혹은 영구적 제재를 취하여 강력하게 규제합니다.
키워드 스터핑은 웹사이트나 고객에게 아무런 가치를 주지 못하므로 반복된 키워드 사용보다는 관련성이 높은 다양한 키워드를 사용하는 편이 바람직합니다.
키워드 스터핑은 구글 검색엔진이 악의적인 콘텐츠로(블랙햇 SEO)인식해 페널티를 부과하게 될 가능성이 있습니다. 키워드 스터핑을 현명하게 피하는 방법 포스트를 읽어보시고 페널티를 방지하세요.
많은 사용자들은 타이핑 오류 등의 이유로 문법적으로 틀린 키워드를 자주 검색하게 됩니다. 그렇다고 이런 잘못된 키워드를 웹사이트 콘텐츠에 사용하는 것은 오히려 웹사이트 신뢰성 및 이미지를 하락시키기 때문에 SEO에 사용하는 것은 바람직하지 않다고 봅니다.
반드시 꼭 타겟팅을 해야한다면, 키워드 광고를 통해 트래픽을 얻을 수 있을 것입니다. 다만, 상황별로 조금 다르게 접근할 필요가 있기도 합니다. 외래어의 경우 한글표기법에 따라 지정된 표준 문법이 있으나, 실제로 사람들은 제각각 익숙한 방식으로 사용하기도 합니다 (예: 콘텐츠, 컨텐츠). 그리고 콘텐츠와 컨텐츠는 키워드 리서치를 해보면 둘 다 적잖은 양의 검색량(Search Volume)을 갖고 있기 때문에 마케터 입장에서는 두 키워드 모두 포기하기 어려운 상황에 놓이기도 합니다.
이럴 때에는 표준 문법으로 정해진 키워드를 주로 사용하되 문법적으로 틀린 키워드도 본문 중간 중간에 어색하지 않게 삽입해주면 큰 문제 없이 두 키워드 모두를 타겟팅할 수 있습니다.
6. 키워드 광고용 키워드와 최적화용 키워드는 어떻게 다른가요?
결론부터 말씀드리면 PPC (Pay Per Click) 과 같은 광고용 키워드와 와 SEO (Search Engine Optimization) 용 키워드는 다르지 않습니다. 물론 PPC키워드는 직접적으로 광고비를 지불하고 사용하기 때문에 검색광고를 사용하는 마케터 입장에서는 PPC키워드를 통해 높은 구매전환율이 발생하기를 기대합니다.
그러나 현실적으로 어떤 키워드가 더 높은 구매전환율을 일으키는지 사전에 알아보기는 쉽지 않습니다. 그렇기 때문에 추천하고 싶은 방법은 실제로 웹사이트, 블로그 내에 다양한 키워드를 사용해보고 추후에 구글 애널리틱스에서 콘텐츠 웹로그분석을 통해 어떤 키워드가 높은 구매전환율을 기록했는지 체크해본 후 이러한 키워드를 PPC 키워드로 전략적으로 사용할 수 있습니다.
검색 광고용(키워드 광고용) 키워드와 검색엔진 최적화용(SEO용) 키워드의 차이점이 무엇인지 더 자세한 설명이 필요하진 않으신가요? PPC 키워드와 SEO 키워드는 무엇이 다를까? 포스트를 확인하시고 궁금증을 해소해 보세요!
7. 특정 키워드 상위 노출이 가능한가요?
타깃 키워드를 검색하는 사용자에게 특정 콘텐츠를 상위 노출하는 것은 검색엔진 최적화의 목표 중의 하나입니다만, 관련 없는 콘텐츠 및 품질이 낮은 콘텐츠를 상위 노출시키는 방법은 없다고 봐야 합니다. (검색엔진이 똑똑하지 않았던 시절에는 가능한 방법도 있었습니다.)
따라서 특정 키워드 상위 노출을 목표로 하기 보다는 좋은 콘텐츠를 생산하고 그 콘텐츠를 잘 표현하는 키워드들에 대해서 상위 노출을 꾀하는 방향으로 검색엔진최적화를 진행하는 방향이 바람직합니다.
검색 상위 노출 보장과 같은 주제에 대해 더 궁금하시면 SEO를 하면 구글 첫 페이지 노출이 보장 되나요? 글을 참고해 보세요.
8. 키워드 광고와 SEO 는 어떻게 다른가요?
두 가지 모두 검색결과의 상위 노출을 통해서 트래픽을 얻고자 한다는 점에서는 동일한 마케팅 캠페인입니다. 가장 큰 차이는 키워드 광고의 경우 광고비를 지불하여 상위 영역을 구매하는 것이고, 검색엔진최적화는 좋은 콘텐츠를 생성하여 상위 영역을 차지하는 것입니다.
SEO 캠페인는 콘텐츠 생산을 통해 상위 영역을 차지해야하므로, 시간이 더 많이 걸리기도 하고, 콘텐츠 생산 비용을 효과적으로 줄이기 위해서 전략적 키워드 선정에 더 많은 시간을 사용하게 됩니다만, 키워드 광고와는 다르게 효과가 지속되는 장점이 있으며, 전환율 또한 더 높은 것으로 알려져 있습니다.
9. 키워드 리서치에서 Organic과 Paid 경쟁지수가 무엇인가요?
키워드 리서치를 할 때, Organic 경재지수와 Paid 경쟁 지수를 참고하여 경쟁이 낮은 키워드를 선택 하려고 합니다. 여기서 Organic 경쟁지수는 해당 키워드를 콘텐츠에 활용하여 상위 노출을 꾀하는 경쟁도를 의미하고, Paid 경재지수는 해당 키워드를 구매하여 상위 노출을 꾀하는 정도를 의미합니다.
10. 타깃 키워드를 이미 알고 있는데, 굳이 키워드 리서치가 필요한가요?
타깃 키위드를 알고 있으면 키워드 리서치가 필요하지 않습니다. 다만 마케터가 직관이나 과거의 경험에 의존하여 선정한 타깃 키워드라면 주기적으로 키워드 툴에서 제공하는 빅 데이터를 참고하여 알고 있는 타깃 키워드가 트렌드나 사용자의 관심 이동에 따라 변화하지는 않았는지, 미처 파악하지 못한 타깃 키워드는 없는지를 점검할 필요가 있습니다.
11. 키워드를 어떻게 활용해야 하나요?
키워드를 활용할 수 있는 모든 곳에 활용하면 됩니다. 소셜 미디어, 키워드 광고, 이메일 마케팅, 동영상 스크립트 등 문자로 마케팅 메시지를 전달할 수 있는 모든 캠페인과 매체에 활용합니다.
특히 콘텐츠를 이용하여 검색 상위 노출을 꾀하는 SEO 에서는 오픈 그래프, 트위터 카드, 메타 디스크립션 과 타이틀 등의 메타 데이터 정보에도 활용합니다.
여러분들은 키워드 관련해서 어떤 궁금증이 있으신가요? 질문을 댓글로 달아주시면 성심껏 답해드립니다. 아울러 아래 관련글에서 검색엔진최적화 관련 FAQ 를 보실 수 있습니다.
- 검색엔진최적화(SEO) 관련 자주 묻는 질문 – 키워드 편
- 검색엔진최적화(SEO) 관련 자주 묻는 질문 – 테크니컬 편
- 검색엔진최적화(SEO) 관련 자주 묻는 질문 – 키워드툴 편
- 검색엔진최적화(SEO) 관련 자주 묻는 질문 – 링크 빌딩 편
- 검색엔진최적화(SEO) 관련 자주 묻는 질문 – 콘텐츠 편
- 검색엔진최적화(SEO) 관련 자주 묻는 질문 – 일반 편