시사 다큐 창 - ‘빅 데이터(Big Data), 세상을 바꾸다’

 

 

시사 다큐 창 - ‘빅 데이터(Big Data), 세상을 바꾸다’

 

===========================================================
KBS1에서 신년 특집으로 방영된 " 빅 데이터, 세상을 바꾸다"는 놀라운 데이터의 세계를 보여준 걸작이다. 셀 수 없을 정도로 방대한 데이터를 "빅 데이터"라고 부른다. 그렇다면 빅 데이터는 지금 이 시대에만 존재한걸까? 과거에는 빅 데이터가 없었을까?
아니다. 과거에도 빅 데이터는 존재했다. 하지만 우리들은 기술상의 문제와 한계로 그것을 저장할 수 없었고, 설령 저장했다 하여도, 그것을 처리하고 분석하여 새로운 패턴이나 통찰력을 얻을 수 없었다.
하지만 지금은 컴퓨터와 IT 기술, 그리고 데이터를 분석하는 이론과 소프트웨어의 발전에 힘 입어 천문학적인 데이터를 순식간에 분석하고 처리하여 의미 있는 결과로 보여 준다. 그래서 사람들의 눈으로 보지 못했거나 지나쳤던 새로운 의미와 세상을 보여 준다.
필자는 1년 전 한스 로슬링의 자료(200년간 세계 국가들의 국민소득과 기대수명의 변화)를 보았을 때를 지금도 생생이 기억한다. 그것은 너무도 큰 충격이었고, 놀라움의 극치였다. 이런 분석기술을 통해 우리는 미래의 패턴과 트렌드를 알 수 있다.

기업의 입장에서 가장 큰 문제와 어려움은 사람들이나 고객들의 마음을 알아 내는 것이었다. 고객의 마음을 알아야 자사의 상품이나 서비스를 그것에 맞게 개선하거나 개발할 수 있는데, 이것은 거의 불가능에 가까웠다. 그래서 기업들이 차선책으로 택한 것이 고객 설문조사나 리서치였는데, 이것도 시간과 비용의 제약으로 표본(Sample)의 수가 적어 실제로 고객의 마음이라는 대표성을 갖기에는 부족했다. 게다가 설문조사를 해도 고객들은 솔직하게 답변하지 않는 경향이 높았다.
그런데 지금은 SNS와 소셜 네트워크의 대중화로 사람들은 자신의 생각이나 경험, 느낌을 다른 사람들과 공유하기 위해서 트위터나 페이스북에 그대로 표현하기 시작했다. 따라서 이렇게 공유된 내용을 분석할 수 있다면 그 속에서 고객의 불만이나 니즈를 발굴할 수 있고, 타겟 고객들이 어디서 무엇을 하고 있는지도 확인할 수 있을 것이라 생각했다. 관건은 이런 천문학적인 데이터(소셜 포스팅)을 분석할 수 있는 기술과 인프라가 있느냐에 달려 있었다. 그런데 이것이 현실로 가능해 지기 시작했다. 선진국에서는 이미 오래 전부터 이런 분석기술을 개발하여 기업에게 제공하는 회사들이 늘기 시작했고, 국내에서도 빅 데이터 분석을 통한 비즈니스 모델의 가능성을 발견한 사람들이 이 대열에 합류하기 시작했다.

트위터나 소셜 네트워크에 올린 글들을 분석해 보면, 이 프로그램을 시청한 사람들의 반응응 매우 다양했다. "빅 데이터를 너무 부각시키는 것 아니냐", "IBM과 다음소프트를 선전해 주는 것 같다" 등 다소 부정적인 시각이 지배적이다.
하지만 필자의 생각은 다르다. 빅 데이터는 매우 중요했음에도 불구하고 최근까지는 그것을 수집하고 분석하는 기술의 한계로 흘려 보냈기에 사람들 곁에 부각되지 못했던 것 뿐이지, 중요성이 낮아서 그랬던 것은 아니다. 그리고 IBM과 다음소프트를 선전하는 것 같은 인상을 받을 수도 있겠지만, 사실 이들 기업들은 이것의 중요성을 먼저 인식하고 준비를 해왔다는 것이다. 빅 데이터 분석은 외국기업들의 독무대였다. 그런데 이 프로그램을 통해서 국내에도 이런 기술을 가진 기업이 있음을 확인한 것이 다행스럽고 매우 고무적이라는 생각이 들었다.  
예상컨데, 곧 빅 데이터의 위력과 사업성이 점점 더 가시화 될 것이다.
작년부터 불기 시작한 스마트워크, 그리고 금년의 화두인 클라우드 컴퓨팅보다 더 위력적인 쓰나미로 사회에 영향력을 미칠 것이다. 따라서 이것을 미리 준비하는 개인과 기업만이 승리자가 될 것이다. 외국에서는 이미 이런 움직임과 위력들이 기업과 산업계에 인식되고 부상하고 있기 때문이다.

아래 글은 KBS1에서 이 프로그램에 대해 소개한 글이다. 참고하면 도움이 될 것 같아 가져다 실었다.
================================================================================  
     


1. 기획의도

지금은 빅 데이터 시대다(The Age of Big Data). 과거에는 불가능했던 엄청난 양의 정보가 양산되고 있고 컴퓨터 기술의 발전으로 이들 데이터에 대한 분석이 가능해지고 있다. 스마트폰이 우리가 어디쯤 있는지를 실시간 기록하고 있고 지하철과 버스 안 요금정산기도 얼마를 지불하는지, 언제 어느 장소에 있는지에 관한 정보를 기록하고 있다. 네이버나 다음, 구글에 검색어를 입력할 때도, 페이스북이나 트위터에 점심은 무엇을 먹었는지 오늘 기분은 어떤지에 관한 짧은 글을 남기는 순간에도, 우리의 위치정보는 물론 취향이나 습관, 검색 패턴, 구매 기록은 물론 그 날의 기까지 알아낼 수 있는 막대한 양의 데이터들이 쌓이고 있다.

2011년 전 세계에서 생성되는 디지털 정보량은 1.8 제타바이트. 1.8 제타바이트(1.8ZB = 1,800,000,000,000,000,000,000 bytes)는 대한민국 모든 사람(약 4875만 명, 2010년 기준)이 18만 년 동안 쉬지 않고 1분마다 트위터에 3개의 글을 게시하는 양과 같다. 또 2시간짜리 HD 영화 2천억 개와 맞먹는 정보의 양이다. 전 세계 디지털 정보량은 2년 마다 2배씩 증가하고 있다(디지털 유니버스 보고서)

이처럼 기존의 데이터 관리 및 분석 방법으로는 감당할 수 없는 막대한 양의 데이터가 빅 데이터(Big Data)이다. 미국과 유럽 등 선진국들은 이미 기하급수적으로 증가하고 있는 빅 데이터 속에서 기업은 물론 사회와 인류에게 유용한 정보와 가치들을 얻기 위한 관심과 투자에 열을 올리고 있다. 기업들은 이제 고객들이 남기는 결재정보와 구매기록, 관심사 등을 글로벌하게 분석해 개인의 취향에 맞춘 타겟 마케팅을 펼치고 있고 정부기관들도 사회구성원들이 쏟아내는 막대한 정보를 분석해 교통, 세금, 범죄, 재난대처 등 사회 각 영역에서 과거와는 차원이 다른 정확한 정보를 토대로 예산집행의 효율성과 공공서비스의 질을 높이고 있다.

엄청나게 쌓여가는 데이터 홍수 속에서 어떻게 우리 삶과 사회, 인류에게 의미 있는 정보와 가치들을 얻어내 미래 사회로 나아갈 것인가가 새로운 화두가 되고 있다. 2020년 전 세계 디지털 정보 양은 현재보다 44배나 증가할 것으로 예측되고 있다. 방대한 양의 데이터에서 개인과 사회에 의미 있는 정보들을 추출하고 문제를 찾아내 세상을 바꿀 수 있는 여건들 또한 마련되고 있다. 스마트폰과 SNS 혁명은 빅 데이터 혁명(Big Data Revolution)으로 진화하고 있다. 빅 데이터는 한국 사회가 직면하고 있는 수많은 문제와 의문들에 대한 답을 줄 수 있을 것인가? 빅 데이터 분석과 기술 개발에 사활을 걸고 뛰어들고 있는 전 세계 기업들의 빅 데이터 활용 사례와 공공부분에서의 적용 사례, 앞으로의 전망 등을 살펴보고 2012년 한국 사회가 진화하고 성장하는 데 필요한 해답을 빅 데이터(Big Data)에서 찾아본다.

2. 주요 내용

1) 프롤로그

‣ 패턴의 신비

아무리 복잡해 보이는 현상들도 일정한 패턴, 트렌드를 가지고 있다. 수많은 데이터들이 만들어 내는 무질서한 흐름 속에서 숨겨진 패턴을 발견하는 일은 현재 어떤 일이 일어나고 있고 어떤 방향으로 나아갈 지 예측하는 중요한 수단이 된다.

2) 데이터 속에 숨겨진 가치

‣ 생명을 살리는 데이터

미숙아 치료실에서 버려지던 복잡하고 방대한 양의 데이터에서 숨겨져 있던 패턴과 가치를 발견, 미숙아 치료의 새 장을 연 캐나다 여교수의 빅 데이터 활용 사례

‣ Big Data와 Big City

오늘날 거대도시들은 수많은 데이터를 생산하고 있다. 사람과 자동차, 대형 이벤트들이 어울려 복잡하고 거대한 움직임(City Dynamics)을 만들어 내고 있다. data는 특정공간 혹은 거대 도시에 걸쳐 광범위하게 일어나고 있는 도시의 복잡한 움직임을 한 눈에 파악할 수 있는 수단이 될 수 있다. 어떤 일이 일어나는지를 이해할 수 있으면 어떻게 대처해야 하는지도 알 수 있다. 암스테르담의 big sail event에서 백 만 명의 움직임을 실시간 파악한 mobile data 분석 사례.

3) 데이터란 무엇인가?

‣ 데이터는 어디서 오는가?

데이터란 무엇인지, 어디서 오는지, 우리 주변에 얼마나 많은 데이터들이 떠다니고 있는지를 소개하고 인터넷과 모바일로 연결된 수많은 디바이스들이 생산되고 활용되면서 점점 더 data 생산을 위한 센서가 되어가고 있는 인간의 모습을 담음.

‣ 제타 바이트 시대의 도래

현재 미국의 모든 도서관에 소장된 정보의 8배에 달하는 데이터가 매일 생산되고 있다. 지난 2년간 생산된 정보가 인류 탄생 이후 생산된 정보의 양보다 많을 정도로 데이터 생산량은 폭발적으로 증가하고 있다. 데이터의 폭발적 증가 실태와 제타바이트 시대의 의미 구성

4) 왜 Big Data인가?

‣ 데이터는 Oil이다.

데이터는 수많은 사람과 센서들이 생산하고 있는 결과물이다. 그리고 매 순간 엄청난 양의 데이터들이 생산되고 있다. 이들 데이터를 활용해 사람들의 생각, 행동의 변화를 읽을 수 있다면? 무수히 떠다니는 데이터들은 무엇을 이야기하고 있는가? 다음소프트에서 분석한 빅 데이터 분석 사례 등 소개(빅 데이터 분석이 무엇인지 보여주는 간단한 소개 사례들로 구성)

‣ 슈퍼컴퓨터 Watson, 인간을 넘다

상상할 수 없을 정도로 발전한 컴퓨터 분석 기술의 발전은 데이터 분석 사회의 도래를 앞당기고 있다. IBM 슈퍼컴퓨터 Watson(왓슨)과 인간의 퀴즈쇼 대결(Jeopardy)에서 승리를 거둔 Watson의 빅 데이터(대용량 정보) 분석 기술을 소개하고 방대한 양의 데이터 분석 기술이 어디까지 왔는지 구성

5) 데이터로 보는 세상

‣ 세상을 보는 창, 데이터/한스 로슬링

세상을 보는 방식이 근본적으로 바뀌고 있다. 데이터를 통해 세상을 들여다볼 때 편견과 잘못된 선입견 없이 있는 그대로 세상을 이해할 수 있다. 세계적으로 유명한 스웨덴의 통계학자 한스 로슬링(Hans Rosling), 그가 data를 통해 들여다본 한국 사회는 어떤 모습인가? 그가 data로 바꾸려는 것은 무엇인가? 데이터가 세상을 어떻게 바꿀 수 있는지 한스 로슬링으로 부터 듣는다.

‣ 데이터, 통찰력을 얻다

데이터는 눈으로는 보이지 않는 새로운 통찰력(Insight)을 안겨 준다. 미국은 지금 어떻게 연결돼 있는가?(모바일 데이터로 본 미국), 페이스북과 트윗터, 블로그 데이터 분석을 통한 현재 한국 사회의 트렌드 변화(커피, 술을 이기다 등)에 관한 분석 결과를 소개

‣ 빅 데이터, 사회 문제(Social Problem)를 풀다

쓰나미와 지진 등 인류의 재앙을 비롯해 실업, 출산, 물가, 교통사고, 예산낭비 등 사회문제를 풀기 위한 Big Data의 활용 가능성 취재. 빅 데이터를 활용한 공공정책과 사회혁신 사례 등 구성

- 샌프란시스코 범죄 정보 활용 사례

- 영국과 미국의 교통사고 데이터 분석 사례

- 런던의 혼잡통행료 징수 효과 분석 사례

- 질병 진단 프로세스 고도화 사례

- 영국과 미국 정부의 예산 낭비 분석 사례 등

6) 빅 데이터, 날개를 달다(Beautiful Insight)

데이터들이 만들어 내는 수많은 패턴들을 시각화하면 어떤 일들이 일어나고 있는지를 직관적이고도 명확하게 이해할 수 있다. 수천 만, 수억 개에 달하는 데이터 분석 결과를 누구나 직관적으로 이해할 수 있도록 일목요연하게 또 아름답게 표현해내는 데이터 시각화(data visualization)의 세계를 들여다 본다.

7) 빅 데이터와 2012 한국 사회

‣ 한스 로슬링, 한국사회를 분석하다.

세계적 통계학자 한스 로슬링이 데이터 분석을 통해 들여다 본 한국사회는 어떤 모습인가? 한스 로슬링이 UN 데이터를 분석해 한국 사회의 현재 모습을 진단하고 한국사회가 안고 있는 문제와 한국인들에게 필요한 것은 무엇인지 직접 프레젠테이션 한다.

‣ 2012, 한국의 미래는?

빅 데이터 분석 업체인 다음소프트와 공동으로 한국인들의 가슴 속에 자리 잡고 있는 현 한국 사회의 문제와 2012년에 바라는 한국 사회에 대한 기대와 열망을 분석, 새 해를 맞아 한국인과 한국 사회 발전에 필요한 것은 무엇인지 분석한다