빅데이터, 시장성이 큰 걸까? 크기만 큰 걸까?

  가트너에서 최근에 나온 리포트 중에서 살펴보면 빅데이터에 대한 기대치를 낮추는 것이 좋겠다는 방향의 이야기가 흘러나왔습니다. (관련 내용 보기) 

  가트너의 이야기는 분명히 기업에 있어 빅데이터라는 것이 분명히 의미있는 부분도 있지만, 높았던 기대치만큼의 성과를 보여주지 못하고, 바닥까지 떨어진 상태에 도달했다는 의미입니다.

  한마디로 최신 기술의 라이프사이클을 보여주는 위 그래프에서 가장 높았던 기대(Peak of inflated Expectations)의 시점을 지나 과대포장된 껍질을 벗고 저평가지점(Trough of Disillusionment)에 다다랐다고 평가하고 있다는 것이죠. 이 이야기는 빅데이터에 대해 어떤 시장과 기술의 이야기에 대한 것이라도 상당히 의미가 있는 내용입니다.

   2012년에 들어서면서 빅데이터가 공공이나 제조분야에서 널리 확대되어 사용되고 있으며, 생산성이나 공공재 측면에서의 데이터 활용을 크게 증대시키고 있다는 점이 각종 컨퍼런스나 데이터 분석 관련 기업을 중심으로 강조되어 왔습니다. 그런데, 실제 빅데이터를 제대로 활용하여 매출이 크게 늘었다거나, 시장에서의 경쟁력이 크게 확대되었다는 명확한 근거나 시장의 변화는 감지되지 않았다는 점이 가장 큰 실망을 안겼고, 기술 시장에서의 기대치는 그림처럼 하향곡선을 그릴 수 밖에 없는 상황에 이르렀습니다.

  코카콜라나 미국 연방정부의 데이터 활용사례들을 성공적으로 언급하기도 하지만, 빅데이터는 자연어 분석 기술이나 하둡과 같은 구조를 가지고 있지 않더라도 그 데이터의 규모와 연속성 사이에서 전문가들은 유의미한 것들은 이미 건져낼만큼 건져냈기 때문에 한마디로 "건더기는 이미 누군가 다 집어간 국물에 낚시를 하고 있는 셈"인 빅데이터가 되었다고 볼 수 있습니다. 실제로 국내 빅데이터 관련 컨퍼런스에 한 번이라도 가보신 분이라면 정말 빅데이터라는 것이 실체가 있는 것인지, 과감히 투자를 하고 싶거나 이에 대한 프로젝트를 계획이라도 세워보고 싶으셨을지 묻고 싶을 정도입니다.

  빅데이터가 가지고 있는 문제점들을 열거해보자면 이렇습니다. 첫째, 데이터는 수집된 데이터의 신뢰도가 기본입니다. 우리가 주장하는 빅데이터의 1번 사례로 꼽히는 SNS(소셜네트워크)는 데이터 자체가 단어가 언급되었다고 하여 호감이나 비호감, 긍정이나 부정을 인식하기 어렵습니다. 특히, 이모티콘과 감정적인 언어가 많은 경우엔 더더욱 어렵습니다. (그래서, 소셜네트워크 상의 정치관련 이슈는 언급된 횟수만을 집계합니다.) 그렇기 때문에 빅데이터의 데이터 자체부터가 수집대상으로서 적절한지가 의심이 됩니다. 둘째, 빅데이터를 모아봐야 꿰어야 보배라는 점입니다. 데이터를 모아두고 어떤 아키텍쳐에 구겨넣느냐하는 것은 그리 중요한 문제는 아닙니다. 아무리 초고속의 자동차를 개발해도 제대로 운전할 줄 모르면 소용이 없는 것과 마찬가지입니다. 빅데이터를 모아도 그것의 연관성들을 분석하고 찾아낼 수 있는 제대로 된 데이터 분석가가 없고, 이것을 알고리즘이나 방정식으로 만들어 낼 만한 인력이 절대적으로 부족한 것이죠. 

 

  이 두가지 문제만 가지더라도 기업에 있어 빅데이터라는 것이 "우주를 바라보는 원시인이, 우주를 볼 수만 있으면 이해할 수 있다"라고 생각하는 관점과 크게 다르지 않다는 것을 주목해서 생각해야 할 듯 합니다. 이제 기업의 CIO들도 최신기술이라고 하여 투자하지는 않죠. 기업을 납득시키려면 제대로 된 성과를 보여주어야 하고, 그것이 엔지니어의 기술이 이야기 해야 할 대목입니다.