어제(2012년2월24일 금요일) 어느 일간지를 보니 Digital Biz 섹션에 빅데이타관련 기사가 눈에 띄었다. Big Data 이젠 미래의 키워드로 라는 제목에 "IBM과 구글의 번역 프로그램 대결은 빅 데이터 시대를 보여주는 대표적 사례다. 지난 40년 동안 IT 전문가들은 컴퓨터가 명사·동사·형용사 등 단어를 맥락 속에서 인식하고 번역해내는 프로그램을 개발하기 위해 노력해왔다. IBM과 구글이 대표 기업이었다. 두 회사는 전문가들이 번역한 문서를 데이터베이스에서 통계적으로 분석해 번역 패턴을 만들 수 있다고 생각했다." 라는 기사가 눈에 띄었다.
또 같은 섹션의 다른 컬럼에서는 유비쿼터스 e비즈니스 웹 2.0처럼... 일각에선 일시적인 유행어에 불과하다는 지적도 라는 제목이 있고 "다만 빅 데이터 시대의 주도권을 누가 잡을지에 대한 의견은 분분하다. IBM 같은 시스템 분석 회사가 될지, 구글·애플·아마존·페이스북 등 소비자들의 정보를 직접 모으는 기업이 될지 모른다". 라고 기사화되어있다.
한국IBM 빅데이타 관련 행사
지난 22일에는 한국IBM 이 주체하는 빅데이타관련 행사가 있었다. 그랜드인터컨호텔에서 오후 2시부터 시작된 기조연설에는 IBM 실리콘밸리 연구소의 수석 엔지니어이자 기술 임원인 Stephen Brodsky 박사가 "Turning insight into Action"이라는 주제로 발표가 있었다. 여기에서는 빅데이타의 관리가 필요하게 된 배경과 빅데이타로 특징 지워지는 3V 에 대한 설명 그리고 미국의 퀴즈쇼 "Jeopardy" 에서 퀴즈왕과 대결을 벌인바 있는 '왓슨' 에 대한 소개와 Big Data 로의 활용 그외에 실제사례들로 캐나타 토론토의과대학에서 미숙아의 조기 위험감지에 사용된 사례, 소셜미디어에서 사용된 사례등의 내용이 소개되었다. 왓슨에 대한 비디오 와 토론토대학의 미숙아 관련 비디오 도 기조연설중에 소개되었다. 이외에도 오전에는 기자회견이 있었고 많은 기자분들이 참가했다. Vestas 풍력발전용 터빈 위치선정에 Big Data 가 활용된 사례
그리고 유렵의 Vestas 사가 풍력발전을 위한 터빈 위치 선정에 Big Data 가 활용된 사례를 소개하였다. 관련 비디오는 여기에 있다. 유럽은 2020년까지 20%를 재생에너지로 해야하는데 이를 위해 Vestas사는 풍력발전을 위한 최적의 장소를 찾기위하여 약 3,5000개의 전세계 기상 측량 정보 송신으로 부터 정보를 분석한다고 한다. 이 양은 2.8 Peta Byte (Peta Byte 는 백만 Giga Byte 에 해당) 에 해당하고 이는 향후 200 Peta Byte 까지 늘어날 것으로 예측한다고 한다.
이렇게 여러 경로부터 취득되는 기상관련 정보로 부터 약 18 ~ 24 Peta Byte 정보를 한번에 분석하는데 이는 70년간의 HD Video 정보를 합쳐 놓은 것과 같다고 한다. IBM 의 하둡기반의 Big Data 엔진인 Infosphere Big Insight 를 사용하는데 과거 3주 걸리던 분석이 이제 15분 만에 처리가 가능하다고 한다.
당신이 뭘 좋아하는지 기업은 알고 있다
한편 위의 행사와는 별도로 23일자 중앙일보에는 "집으로 날아온 화장품 샘플 … 내가 건성피부인지 어떻게 알았지?" 라는 제목으로 아모레퍼시픽이 고객들의 소위 화장대지수라는 것을 만들게 된 배경을 소개하고 있다. 아모레퍼시픽은 백화점·마트·전문매장·인터넷 같은 유통 채널별로 운영되던 멤버십 카드를 2008년 통합했고 고객들의 구매 이력을 3년간 차곡차곡 쌓았다고 한다. 기존 시스템으론 저장조차 힘들 만큼 데이터 양이 늘자 지난해 한국IBM과 손을 잡고 본격적인 분석 작업에 돌입했다. 고객세분화를 통해 이러한 고객의 소비성향을 파악할 수 있게 되었다고 한다.
빅데이타시대의 주도권
빅 데이타 시대의 주도권을 누가 잡을지에 대한 의견이 분분하다라는 기사를 보면서 생각해 보았다. 웹을 통한 정보가 범람하는 현대에서 구글 이나 아마존과 같이 소비자의 정보를 모으는 기업이 이러한 통찰력을 기반으로 한 경쟁력에서 우월할 것이라는 것은 짐작할 수 있다. 하지만 몇가지 예에서 보듯이 적용되는 산업은 소비자 정보기반의 통찰력의 범위를 넘어 거의 모든 산업에서 적용될 수 있다. 다만 우리들의 상상력의 한계가 어떤 분야에 어떻게 사용될 수 있을지를 제약하고 있는 것은 아닐까 하는 생각을 해 보았다. 조숙아의 몸에서 나오는 센서로 부터의 정보 라든지 그리고 풍력터빈설치를 위해 전세계 3만5천개의 기상정보 원천으로 부터의 정보를 분석하여 최적의 의사결정을 하는 것등은 웹을 통한 정보의 분석 차원을 넘는 것이다. 물론 이러한 웹이나 소셜미디어로 부터의 정보를 분석하려면 '개인 정보 보호' 라는 벽을 넘어야 한다.
혁신의 여정(Paths of Innovation)
미국 20세기의 기술의 변화 역사를 연구한 David Mowery 와 Nathan Rosenberg 저자들은 혁신의 여정이라는 제목의 책에서 Abramobitz 와 Solow 학자가 연구한 결과를 언급하고 있다. 19세기 후반부터 20세기 전반까지의 측정된 미국 성장의 결과중 15% 정도만이 측정된 자본과 노동의 성장에 기인한다는 것이다. 놀랍게도 이는 20세기 미국 경제 성장의 85%는 경제 구성단위인 자본과 노동의 입력만이 아닌 다른 그 무엇이 작용함을 뜻했고 학자들은 그 원동력이 기술의 혁신에서 기인하다고 생각했다. Kuznet 과 Burns 이 둘의 학자들 역시 1930년대에 새로운 제품의 생산으로 인해 기술의 혁신이 종종 새로운 산업을 창출한다고 지적했다.
우리는 종종 기술의 혁신이 새로운 산업과 새로운 직업을 창출하는 것을 목격해왔다. 기술의 혁신은 종종 우리의 생각의 범위를 넘어 발전하는 경우가 많다. 과거 3주가 걸리던 계산이 15분만에 끝나고 2억페이지분량의 정보를 검색해서 10초안에 질의에 응답하는 기술이나 실시간으로 오는 백만giga byte 분량의 정보를 micro second 내에 처리하는 능력등은 과거에 생각지 못했던 기술들이다. 어쩌면 빅데이타가 일시적 유행에 불과할 수도 있을지 모르지만 글쎄, 기술혁신의 여정이라는 측면에서 보면 우리가 생각하는 어느 시점보다 빠르게 우리 주위에 도래해 있을수도 있을 것이다. 마치 여러 글로벌 IT 업체들이 그렇게 애썼던 비디오 온 디맨드 서비스가 어느날 갑자기 우리집 안방에 떡하니 통신사들의 TV vod 로 나타날 때 처럼 말이다.
***여기에 포스팅한 내용은 개인 차원의 것이며, IBM의 공식적인 입장, 전략, 의견을 반드시 대표하는 것은 아닙니다
