기업의 경쟁력 빅데이터
세계경제포럼의 화두 빅데이터
해마다 1월이 되면 스위스의 작은 마을 다보스에 세계의 이목이 집중된다. 세계 각국의 정계 관계 재계의 유력 인사들이 모여 세계 경제의 현안과 발전 방안에 대해 토론하는 세계경제포럼이 열리기 때문이다. 올 해 포럼에서 주목 받은 화두 가운데 하나는 빅데이터(Big Data)였다. 세계경제포럼은 세계적으로 폭증하는 데이터를 효과적으로 관리하고 분석하는 빅데이터 관련 기술이 향후 IT 분야의 경쟁력을 좌우하는 핵심이 될 것이라고 전망했다. 미국도 백악관이 직접 나서 빅데이터 관련 연구 개발에 2억 달러를 투자하겠다고 선언했고 우리 나라의 기업들도 빅데이터의 분석과 활용에 앞다퉈 나서고 있다. 그렇다면 도대체 빅데이터가 뭐길래 이처럼 세계적인 주목을 받고 있는 것일까? 영어의 의미 그대로 규모가 크면(Big Data) 모든 데이터가 빅데이터일까? 반은 맞고 반은 틀리다.미국의 세계적인 IT 리서치 회사인 가트너(Gatner inc.)는 빅데이터의 특성을 3V라고 분석했다.
Source: Gatner inc.
첫째는 규모(Volume)이고 두 번째는 다양성(Variety) 그리고 마지막 특징이 데이터의 축적 속도(Velocity)이다. 빅데이터가 규모가 커야 한다는 것은 필요조건이다. 빅데이터는 일반적으로 수 테라바이트에서 수 페타바이트 정도의 크기라고 한다. 예를 들면 세계 최대의 유통업체인 월 마트의 고객과 상품 관련 데이터가 2500 테라바이트 정도로 추정되는데 규모 면에서는 빅데이터라고 할 수 있다.
10대 소녀의 임신을 알아 맞춘 빅데이터
두 번째 특징은 데이터의 다양성이다. 데이터가 아무리 많아도 기업의 원자재 구매비용, 연구개발비, 재고, 매출 등 정형화되고 구조화된 데이터는 빅데이터라고 할 수 없다. 이런 데이터들은 PC 한 대에 엑셀과 같은 프로그램만 있으면 정리와 분석이 가능하기 때문이다. 월 마트의 데이터가 빅데이터가 되는 것은 다양성이라는 특징을 만족시킬 수 있기 때문이다. 즉 단순히 재고나 매출 관련 데이터만 있는 것이 아니라 수많은 고객들의 쇼핑 선호도, 매장 방문 빈도, 개인별 구매 단가, 과거 구매 이력 등 가공과 분석이 가능한 수 많은 종류의 정보를 포함하고 있기 때문이다. 고객 정보의 중요성을 보여주는 유명한 일화가 있다. 미국의 유통업체 타겟(Target)은 한 고객으로부터 항의 받았다고 한다. 그 고객은 10대 딸을 두고 있었는데 타겟이 딸 앞으로 출산과 육아 용품 카탈로그를 보냈다는 것이다. 10대 학생에게 임신과 육아 관련 상품 안내를 보내도 되냐며 아버지가 항의하자 지배인이 착오가 있었다고 사죄하는 것으로 사태가 마무리됐다. 하지만 한 달 뒤에 놀라운 일이 벌어졌다. 그 고객의 딸이 임신한 사실이 밝혀졌던 것이다. 타겟은 과거 임신한 고객들에 대한 데이터 분석을 한 결과 임신한 여성들의 구매 패턴 변화를 알아 낼 수 있었고 이를 적용해 그 소녀에게 카탈로그를 보냈던 것이다. 딸은 아버지에게 임신 사실이 발각되면 혼날 것 같아 몰래 인터넷으로 비타민 등 특정 상품을 쇼핑했던 것이다. 이것은 데이터가 가치를 갖기 위해서는 규모가 아니라 정보의 다양성이 중요하다는 사실을 단적으로 보여주는 사례이다.
무한 속도로 생성되는 빅데이터
세 번째 특징은 데이터의 생성 속도이다. 구글의 CEO인 에릭 슈미트는 2003년까지 인류 문명이 만들어낸 누적 데이터는 5 엑사바이트(1엑사바이트는 1000 테라바이트이다) 정도라고 추정했다. 그런데 올 해 하루 평균 인류가 쏟아낸 데이터 양이 7.5 엑사바이트 정도라고 한다. 지난 수천 년 동안 인류 전체가 만든 데이터 양보다 오늘날 우리가 하루에 만들어내는 데이터가 50%나 더 많다는 얘기다. 요즘 PC에 장착되는 하드디스크의 용량이 1 테라바이트(1000 기가바이트) 정도인 점을 감안 하면 하루에 생성되는 데이터를 보관하려면 무려 750만 대의 PC필요하다는 계산이 나온다. 이처럼 현재 데이터 생성 속도는 인류가 수 천 동안 생성된 된 데이터가 채 하루가 가기도 전에 누적되는 그야말로 빛의 속도로 증가하는 시대가 되었다.
예를 들어 어떤 기업이 신제품을 발표했을 경우 과거에는 소비자들의 반응을 수집하고 이를 반영하는데 몇 주 정도의 시간이 걸렸다. 하지만 현재는 누리꾼들이 블로그나 카페에 글을 올리고 트윗을 통해 전파하는 등 정보의 유통이 거의 실시간으로 이뤄진다. 이 때문에 신제품에 어떤 문제가 발생했다면 관련 정보를 빠르게 수집하고 분석해 발 빠르게 대응하는 것이 기업에게는 매우 중요한 시대가 되었다. 애플은 아이폰 4S를 발표한 뒤 안테나의 수신 불량 문제로 홍역을 치렀다. 출시 초기에 인터넷 상에서 휴대전화의 아래 부분 양 쪽을 잡을 경우 수신율이 떨어진다는 이른바 데쓰 그립(death grip) 문제로 온라인 커뮤니티가 시끄러워졌다. 하지민 애플은 이런 문제가 아이폰만의 문제가 아니라 모든 휴대전화에서 동일하게 발생한다며 사용자들이 휴대전화를 잘못된 방법으로 집기 때문이라고 일축해버렸다. 결국 소비자 단체들의 문제 제기와 소송이 이어졌고 전파 간섭 방지를 위한 고무 범퍼를 무상으로 제공하는 치욕을 당했다.
빅데이터도 꿰어야 보배
데이터는 보관만 하고 있으면 하드 디스크의 공간만 차지하고 저장 장치 비용만 먹는 애물단지에 불과하다. 하지만 타겟의 사례처럼 어떻게 관리하고 분석하는가에 따라 데이터의 가치는 달라진다. 문제는 이런 데이터들의 종류가 너무도 다양하고 생성되는 속도가 빠르며 규모도 방대해 쉽게 분석할 수가 없다는 것이다. 지난 해 인류 전체가 생성한 데이터의 양은 1조 9000억 기가바이트 정도이다. 올해는 이보다 50%정도가 더 늘어 2조 7000억 기가바이트가 될 것으로 예상된다. 따라서 앞으로는 이렇게 엄청 나게 쏟아지는 정보들을 관리하고 분석하는 빅데이터 기술이 미래 기업의 경쟁력을 좌우하는 핵심 요소가 될 것이다. 페이스 북과 구글이 가진 경쟁력의 원천도 결국은 빅데이터에서 나온 것이다.
