제오니스의 블로그

우리나라에서 검색하면 떠오르는 단어는 네이버입니다. 네이버의 초록색 직사각형은 검색을 떠올리는 대표적인 이미지로 자리 잡았을 정돕니다. 저도 얼마 전까지 네이버 이외의 검색은 거의 사용하지도 않았고 사용할 생각도 하지 못했거든요.

구글이 세계 최대의 검색업체라는 것을 알고는 있었지만 미국 업체다보니 한국어 겸색에는 네이버가 더 좋을 것이라는 검증받지 않은 논리가 머릿속 깊이 자리 잡고 있었기 때문입니다. 그런데 책을 번역하다보니 구글에 대한 관심이 커지더군요. 그리고 각종 영어로 된 전문 용어와 전문문야 관련 지식을 습득하는 과정에서 구글 검색의 위력을 실감하게 됐습니다. 그래서 오늘은 구글검색과 네이버 검색에 대한 간단한 비교와 함께 저도 얼마전 알게된 구글 검색의 비밀에 대해 설명해 볼까합니다.

(이글을 2009년 구글 신화와 야망이 출가된 직후에 네이버 블로그에 올렸던 글입니다. 약간의 시차가 존재할 수도 있습니다. )

최근 경제 관련 전문 서적을 읽다가 수익률 곡선(yield curve)에 대해 자세히 알고 싶어 구글에 ‘수익률곡선’이라는 검색어를 입력했습니다. 구글과 네이버의 차이는 무엇일까라는 구체적인 호기심이 발동해 네이버에도 같은 검색어를 입력해 봤습니다. 검색에도 여러 종류가 있지만 각 검색엔진의 검색 옵션을 아무것도 선택하지 않은 기본 설정에서 찾고자하는 단어를 입력하는 단순 검색결과를 비교해 봤습니다. 결과는 아래 캡처한 그림처럼 나왔습니다.

구글은 ‘수익률곡선’의 개념과 정의 그리고 백과사전 등 관련 자료가 검색 결과 페이지에 가장 먼저 나타났습니다. 그리고 실제 수익률 곡선 그래프가 우측 이미지 검색에 나열되더군요. 반면 네이버는 수익률 곡선이라는 단어가 들어가 있는 블로그와 지식인, 사전, 카페, 뉴스의 순서로 나열됐습니다. 구글의 검색결과를 단순하게 표현하면 검색어에 대한 우선 순위가 체계적이고 조금 더 학술적인 면에 가깝다고 말할 수 있겠더군요. 어떤 단어나 용어가 궁금하고 그것과 관련된 권위 있는 분석이나 잘 정리된 자료들을 찾고 싶은 사용자라면 구글이 더 적합한 검색엔진이 될 것이라는 생각이 들었습니다.

네이버는 검색어가 들어간 웹페이지를 중요도나 내용과 상관없이 커다란 카테고리 안에서 시간 순으로 나열하는 방식이라는 느낌이 들었습니다. 한 마디로 이것저것 잡다한 검색을 하고 싶은 사람에게 최적화된 검색이라고 볼 수 있겠더군요. 예를 들어 예전에 모 유명 탤런트 자살 사건에 관련된 리스트가 인터넷을 뜨겁게 달구며 검색어 1위를 차지한 적이있었지요. 이처럼 뉴스, 잡지, 사진, 카페에 올라온 각종 댓글 등 따끈따끈한 각종 정보를 포괄적으로 검색하는 경우에는 훨씬 더 효율적일 것 같다는 생각이 들었습니다.

검색 속도는 둘 다 비슷했습니다. 구글은 348,000개의 페이지를 0.36초 안에 검색했다는 결과 보고가 검색 페이지 상단에 표시돼 속도 측정이 가능했습니다. 하지만 네이버는 정확한 검색 속도를 측정하는 것을 불가능하더군요. 그래도 느리다는 느낌은 전혀 받지 않았으니 검색 속도는 문제가 되지 않을 것이라고 봅니다.

어느 검색엔진을 사용하는 것이 좋을까라는 문제에 대한 해담은 검색의 목적에 따라 잘라질 밖에 없습니다. 목적이 분명하면 검색엔진에 대한 선택은 간단해집니다. 수십 수백억개의 웹페이지 가운데 사용자들에 유용한 정보도 있지만 그렇지 않은 것들도 수없이 존재합니다. 이를 가려내는 것은 최종적으로 사용자의 몫이지요. 하지만 이 작업은 엄청난 노력과 시간을 필요로 합니다. 때문에 이런 수고를 덜 수 있다면 그만큼 효율적인 검색이 가능해집니다. 검색된 정보의 활용성과 유용성 그리고 검색자의 의도가 반영된 정확성 면에서는 구글이 한 수 위라는 게 개인적인 생각입니다. 그래서 저도 글을 쓰거나 번역을 할 때 체계적인 정보가 필요하면 얼마 전부터 구글로 검색하는 습관이 생겼습니다. 특히 개념의 출처가 외국인 전문용어들은, 사실 전문 검색의 대부분이라고 봐도 무방하지만, 구글로 검색하면 대략 5-10페이지 안에 해결이 되는 것을 많이 경험했습니다. 그렇다고 네이버 검색이 형편없다는 이야기는 아닙니다. 앞서 밝힌 것처럼 검색의 목적이 무엇인가에 따라 검색 업체의 특성에 맞게 활용하면 되는 것이니까요.

구글의 체계적이고 빠른 검색은 페이지 랭크(Page Rank)라는 구글의 독자적인 알고리즘때문에 가능한 것입니다. 우리가 검색어를 입력하는 순간 컴퓨터가 실시간으로 세계의 모든 웹사이트를 검색하는 것 같지만 사실은 구글의 서버에 보관된 복사본을 검색하는 것입니다. 스파이더(Spider)라는 구글의 검색 로봇은 24시간 1년 365일 전세계 웹사이트를 돌아다니면서 모든 정보들 수집해 구글의 거대한 데이터 센터에 복사본을 저장하고 있습니다. 구글은 이렇게 수집한 데이터를 보관하는 서버들을 모아둔 데이터 센터의 수를 정확하게 밝히고 있지 않습니다. 하지만 미국의 여러 주에 흩어져 있는 구글의 데이터 센터가 사용하는 전력량이 미국 전체의 TV가 사용하는 전력 보다 많다고 하니 그 규모를 집작할 수 있을 것입니다. 뉴욕 타임스의 IT 칼럼니스트인 랜달 스트로스는 최소 백 만대 이상의 고성능 서버가 광 케이블로 연결돼 있다고 추정하고 있습니다.

이렇게 거대한 구글 제국의 데이터 센터에 보관된 전 세계의 모든 웹페이지의 복사본들은 구글의 알고리즘에 의해 중요도 순으로 선별됩니다. 순서를 정하는 과정은 사람이 하는 것이 아니라 페이지 랭크 알고리즘이 정합니다. 페이지랭크는 전 세계 웹사이트의 링크를 추적해 가장 많이 접속한 곳이 어디이고 이 페이지와 연결된 페이지들은 어떤 페이지들이인지 그리고 추천을 얼만 많이 받았는지 등을 고려해 우선 수위를 자동적으로 결정합니다. 이렇게 만반의 준비를 갖춘 구글의 검색엔진은 사용자가 검색창에 검색어를 입력하기를 기다리고 있는 것입니다. 검색어가 입력되는 순간 준비된 답변이 중요도와 우선 순위에 따라 컴퓨터 모니터에 결과를 보여주기 때문에 검색의 속도와 정확도가 높아지는 것입니다.

이처럼 순수하게 컴퓨터의 알고리즘에 의존하는 방법도 역시 단점이 존재합니다. 구글은 이런 알고리즘을 뉴스 사이트에 적용했다 큰 코를 다쳤습니다. 누군가가 거짓으로 꾸며낸 쇼킹한 스토리가 구글 뉴스에 톱기사로 실렸고 우주 왕복선 폭발 사고 같은 중요한 뉴스가 뉴스에서 빠지는 어처구니없는 일들을 경험했습니다. 진실과 거짓을 구별하고 중요도를 판단하는 등 가치판단이 작용하는 기사의 편집과정에 있어서는 컴퓨터와 알고리즘이 아무리 발전했다하더라도 아직은 인간의 능력을 따라잡을 수 없었기 때문이죠. 컴퓨터의 무한 확장 능력과 인간의 논리적인 사고가 조화를 이루는 시점이 모든 사용자들이 기다리는 완벽한 검색엔진이 탄생하는 순간이 될 것 같습니다. 사고가 가능한 슈퍼컴을 통해 세계의 모든 정보를 집대성해 정리하겠다는 구글의 야심찬 꿈이 과연 언제나 실현될지 지켜 볼 일입니다.