Estimated reading time: 4 minute
Google SEO 웹문서 및 Naver SEO 웹문서 이해하기 위한 검색엔진 이해
본 글에서는 SEO 웹문서 설계 과정에 있어 기초적인 용어 정리들을 살펴보고자 합니다.
업데이트마다 의미적 이해를 가짐으로써, 검색엔진 bot의 크롤러 원리를 이해하고, Black Hat보다는 White Hat SEO를 지향해야 할 동기를 전하는 데 이 글의 목적을 둡니다.
크롤러, 스파이더 혹 봇
크롤러란, 웹상에서 하루에도 수천, 수만 개 생산되는 SEO 웹문서들의 링크를 추적하고, 수집하는 로봇을 의미합니다. 종종 봇이나 스파이더 라는 이름으로 불리기도 합니다.
크롤러는 24시간 검색엔진을 돌아다니면서, HTML 버전에 색인된 내용들을 수집하고, 검색엔진 내의 데이터베이스에 정보를 저장하는 역할을 합니다.
새로 업로드된 콘텐츠부터, 기존 콘텐츠에서 변경된 업데이트 사항이 있으면 이 내용들을 반영합니다.
구글을 비롯해서 네이버 등 포털 사이트의 검색엔진이 파악하기에, 대상 웹사이트나 블로그에서 의미 있고, 검색 사용자들이 자주 찾아볼 만한 콘텐츠가 있다고 판단된다면 자주 찾아와 자주 스크랩 해갑니다.
검색엔진이 웹문서를 찾아내는 원리
검색엔진에서 웹사이트 존재를 알려면, 먼저 사이트 색인 요청을 해야 합니다.
구글은 구글 콘솔을 통해 요청을 할 수 있고, 네이버는 네이버 서치 어드바이저를 이용하면 됩니다.
daum과 같은 사이트에서는 검색 등록 페이지를 이용해서 색인 요청을 할 수 있습니다.
daum에서는 별도로 기능을 제공하지 않지만, 구글과 네이버는 사이트맵, rss를 함께 제출함으로써 검색엔진의 크롤러가 대략적으로 콘텐츠를 파악하고, 업데이트 된 내용들을 바탕으로 검색 결과창에 이를 반영합니다.
개인적인 경험이지만, 구글이 네이버보다 반영 시간이 약 7~14일 정도 빠른 듯 합니다.
이를 보았을 때, 네이버 SEO 및 블로그 관리도 중요하지만, 한국의 검색 엔진 사용 빈도 중 구글이 40~60%를 오고 가는 걸 감안했을 때, 구글에서 노출할 수 있는 전략적인 포지션도 매우 중요하다고 생각됩니다.
검색엔진 알고리즘을 다 알고 있다고?
글쎄요, 구글에서 검색엔진 알고리즘은 모두 밝히고 있지 않습니다. 그저 유추해서 “~할 것이다.” 라는 추측 정도만 있습니다.
때문에 키워드를 무작위로 때려 넣는 방법으로 검색엔진 내에서 잘 노출될 수 있도록, 악의적인 SEO를 퍼붓는 경우들도 있습니다.
혹, 백링크를 많이 넣으면 좋다고 하니 좋은 링크, 좋지 않은 링크를 가리지 않고 백링크 빌딩을 하여 SEO를 노리는 경우들이 있습니다.
초창기 검색엔진은 이를 방어할 만한 기술이 없었지만, 요즘이 어떤 시대입니까.
검색엔진을 비롯한 모든 분야에 빅데이터 및 인공지능 기술을 활용하는 시대입니다.
더 이상 꼼수는 먹히지 않습니다. 각 검색엔진에서 제안하는 정석 방법들을 따르는 게 우선되어야 합니다.
검색엔진 로직을 모두 안다고 말하는 사람들 중, 속내를 까보면 그렇게 잘 알지 못합니다.
혹, 이미 관련 업데이트를 마친 구글 및 네이버 검색엔진의 뒤쳐진 로직을 따르고 있어 오히려 블로그나 홈페이지에 악영향을 끼치는 방법을 제안하기도 하니, 주의하세요.
인용되는 링크의 수와 페이지 중요도 간의 상관관계
흔히 백링크 라고 불리는 SEO 빌딩 방법으로, 외부에서 좋은 링크들을 인용하는 것은 매우 좋은 사례입니다.
예를 들어, 관련 업종에 있는 담당자와 메일로 서로의 제품이나 서비스를 소개하는 포스트를 작성하면서, 정보성 콘텐츠를 작성하는 게 그 유형입니다.
또, 홈페이지나 블로그 내에서 운영하는 콘텐츠들 중 서로 연관 있는 콘텐츠들끼리 링크를 연결하여 풍부한 정보를 검색 사용자들에게 제공하는 것 역시 좋은 방법입니다.
이와 관련하여 소셜미디어 채널을 운영하는 것은 매우 좋은 방법이라 생각합니다. 소셜미디어에 우리 글 및 콘텐츠 링크를 공유하는 것만으로도 백링크 효과를 얻을 수 있으니까요.
그럴수록 해당 페이지나 포스트가 영향력이 있다고 판단되어 검색결과 순위에 긍정적인 영향을 미칠 수 있습니다.
SEO 웹문서 크롤러빌리티
웹사이트 관리 방법 중, 웹사이트 탐색이 쉽도록 인덱싱을 도와주는 메타데이터들을 심는 방법이 있습니다.
혹, 보여주고 싶지 않은 사이트 정보(체크아웃 혹 회원정보 바로가기) 등은 검색엔진에서 검색되지 않도록 차단해야겠죠.
이럴 때에는 robot.txt를 이용해서 차단하거나, 별도의 스키마(check out 등)를 페이지 <head>에 입력하는 방법을 이용할 수 있습니다.
SEO 웹문서 랭크브레인 검색엔진 알고리즘
랭크브레인 알고리즘은 최고의 검색엔진 알고리즘 기술 중 하나입니다. 검색 사용자들이 검색하는 단어, 문장들 뒤에 숨은 실제 의도들을 파악합니다.
그것을 해결해줄 수 있는 콘텐츠를 먼저 노출 시켜, 구글 검색엔진의 검색결과 품질을 높이는 데 일조합니다.
랭크브레인이 처음 발표되던 시기만 하더라도 이것이 과연 가능한 일인가, 의문들이 있었습니다.
랭크브레인 알고리즘을 바탕으로 한 크롤러가 검색 결과를 클릭 및 콘텐츠를 소비하는 이용자들의 패턴을 학습하고, 원하는 맥락 및 의미들을 정확하게 정의할 수 있는 수준에 이르렀습니다.
그러므로 전통적인 검색엔진 알고리즘 요인이자, SEO 웹문서 설계 핵심인 링크, 콘텐츠, 키워드 등의 의존도에서 벗어나 검색사용자가 정말로 알고 싶어 하는 정보가 뭘까 생각해보세요.
그 뒤에 숨어 있는 의중들, 혹 마이크로 타겟들을 대상으로 하는 콘텐츠를 생산할 수 있어야 함을 시사합니다.
