AI는 데이터가 늘어나면 성능이 증가하기만 할까?

 

쉽지 않은 AI 성능 최적화

  만약에 스마트폰에서 찍은 사진을 웹사이트에 전송하면 고양이 인지 아닌지를 머신러닝으로 판별해주는 프로젝트를 시작한다고 하자. 훈련 및 테스트 데이터는 웹사이트의 고양이 사진을 사용한다고 할 때, 실제 프로젝트의 성능은 기대에 못 미칠 확률이 높다. 사용자의 스마트폰에서 업로드 되는 사진은 웹사이트의 고양이 사진에 비해 조명이나 선명도, 해상도 등이 다르다, 이 경우에 성능을 높인다고 웹사이트의 고양이 사진을 다운로드 받아 만든 훈련 세트를 늘리면 성능은 높아질까? 

데이터, 모델의 크기와 성능과의 상관관계

일반적으로 심층신경망의 규모를 늘리거나, 데이터를 늘리는 방법이 알고리즘의 성능을 높이는 보다 신뢰할 수 있는 방법으로 거론되고 있다. 그러나 위와 같은 실제 프로젝트에서는 고려해야 할 사항이 좀 더 복잡하다.

이 경우, 훈련 데이터와 다르게 개발/테스트 세트 데이터로 분리하고 가능하면 동일한 분포 데이터에서 개발 및 테스트 세트를 취득하고, 이와 더불어 단일 측정 지표를 가지는 등의 일이 필요하다. 예를 들어 정확도 혹은 F1 score 같은 하나의 지표 말이다. 이 것을 가지고 분류기 A 와 분류기 B 의 개발 세트에서의 지표를 비교하며 경우의 수를 판별해야 0.1%의 성능 향상이 어디에서 언제 일어났는지 혹은 개발 테스트 세트에서 과대적합(overfitting) 이 일어났는지 등의 평가를 할 수 있다. 이와 더불어 주기적으로 테스트 세트 평가를 같이 병행하는 것이 필요하다.

편향 과 편차

만약 알고리즘의 성능이 훈련 세트 오류 1%(99% 정확도), 개발 세트 오류 11%(89% 정확도)라고 하자. 이 경우 편향(bias)은 1% 그리고 편차(variance)는 10%( = 11% - 1%) 이다. 즉 편향은 훈련 세트 알고리즘의 오류률이다. 이는 분류기가 훈련 세트에서는 매우 작은 오류를 갖지만, 개발 세트에 적용하기에는 오류가 높은 것이다. 즉 범용적으로 일반화 하기에는 부적합한 상태, 우리는 이것을 과대적합(ovefitting)이라고 부른다.

또 다른 예를 살펴보자.

만약 알고리즘의 성능이 훈련 세트 오류 15%(85% 정확도), 개발 세트 오류 16%(84% 정확도)라고 하자. 이 경우 앞에서 배운 바와 같이 편향(bias)는 15% 그리고 편차(variance)는 1%(= 16% - 15%)이다. 이 경우 분류기가 훈련 세트에는 15% 오류로 썩 좋지 않은 성능이고 개발 세트에서의 오류율은 훈련 세트 오류율보다 약간 높다. 이 분류기는 높은 편향과 낮은 편차 이다. 우리는 이 알고리즘이 과소적합(underfitting) 되었다고 한다.

이론적으로는, 편차(variance)는 대용량의 훈련 세트를 훈련함으로써 줄일 수 있다. 그리고 편향(bias)은 심층신경망의 층(layer)과 뉴론(unit)을 증가시키는 것과 같은 모델의 크기 증가를 통해 줄일 수 있다. 그러나 이는 또한 편차를 증가시켜 과대적합의 위험을 불러온다. 이런 경우, 잘 설계된 정규화(regularization) 방식을 사용하여 과대적합 문제를 피해가는 방법을 모색한다.

홈 그라운드와 호주 원정 경기

지금까지 살펴본 내용을 국가 대항 양궁 시합에 비유해 본다면 이럴 것 같다. 양궁 선수들이 실내체육관의 환경에서 과녁에 명중시키는 훈련을 10,000번의 활시위를 당겨 거의 과녁의 중심에 맞추게 되었다면 이는 국내 훈련 환경에 과대적합 되었다고 말할 수 있다. 원정 경기에서는 일정한 방향으로 바람이 불어 한국에서는 정가운데 명중하던 활시위가 호주 원정 경기장에서는 과녁의 우상향에 일정하게 몰려있다면 이는 피할 수 없는 편향이라고 볼 수 있다. 원정 경기장의 소음에 놀라 표적 위아래로 산발적으로 펼쳐서 활시위가 퍼져있다면 이는 국내 연습 대비 편차이다.  원정 경기의 상태가 바람이 심하게 불고 소음도 무척 심한 상태인 것에 대비해서 국내에서 훈련하면서 바람이 불어 대며 소음이 있는 환경을 만들어 훈련에 대비했다면 이는 테스트 세트 평가를 같이 병행하여 데이터 변화에 대비했다고도 볼 수 있다.

  비유가 적절했는지 모르지만, 불특정 다수의 사용자로부터 이미지 입력을 받는 것과 같은 상태의 프로젝트에서는 머신러닝 알고리즘이 훈련한 데이터와, 개발 및 테스트로 나뉜 데이터의 이질성을 염두에 두는 것과 같이 성능 최적화는 여러 변수를 염두에 두고 전략을 생각해 볼 필요가 있다는 점이다.

텐서보드(TensorBoard)
  

통상 모델을 개발하고 훈련 중간에 정확도와 손실률들을 출력하여 학습의 진행과정을 모니터하거나, matplot 시각화도구등을 통해서 정확도와 손실률을 훈련이 끝나고 난 후에 시각화하여 보곤 한다. 모델을 이해하고 디버깅 및 최적화를 돕기위해 시각화도구인 텐서보드(Tensorboard)가 제공됨을 알고 있을 것이다. Pytorch 를 사용하시는 분들은 Torch.utils.tensorboard 라이브러리를 사용하여 텐서보드를 사용할 수 있다.

주위에 보면 텐서보드를 잘 쓰는 분들도 있지만 노트북 프로그램안에 몇가지 추가하는 내용이 불편해서인지 사용하지 않는 분들도 많은 것 같다. 만약 훈련 손실률과 정확도 그리고 개발용 손실률과 정확도를 비교한다면 텐서보드가 무척 깔끔하게 처리된 시각화 화면을 제공한다. 즉 여러 시도들을 비교하여 epoch 증가에 따른 변화를 관측하기에 편리하다.

예를들어, 텐서플로우 2.0 버전이 지원되는 이미지/커널환경에서는 엔쓰리엔클라우드의 Cheetah Notebook Extension 을 이용하여 별도의 어려운 처리 과정없이 쥬피터 노트북내에서 바로 임포트하여 사용할 수 있다.

간편한 텐서보드 실행

  

텐서보드를 시작하기 위하여 쥬피터 노트북이나 랩에서 Cheetah Notebook Extension을 로드하고

만약 Keras 를 사용하는 프로그램의 경우 model compile 다음에 로그 지정 디렉토리와 tensorboard_callback 을 지정하고

model.fit 에서 callbacks=[tesorboard_callback]) 을 정의한다

그리고 아래와 같이 tensorboard 를 실행하면

화면에 텐서보드가 뜬다.

 http://itbiznews.com/news/newsview.php?ncode=1065573055544649

아래 내용은 필자가 ITBIZ 뉴스에 2020년 8월20일 개재된 내용을 옮긴 것임.

확산되는 클라우드 환경과 AI 개발 플랫폼의 부상

 

쉽지 않은 AI 개발 환경 설정

AI 프로그램을 처음 시작할 때 매뉴얼을 따라 설치했는데도 실패해서 처음부터 다시 설치해 본 경험들이 있을 것이다.

게다가 학습이나 연구에서 github 이라는 오픈소스 저장소에 있는 프로그램을 내려 받아 테스트하려고 할 때에도 이러한 운영체제 환경과 라이브러리 간에 버전을 맞추고 환경을 완성하는데 또 같은 시행착오를 반복하게 된다. 굳이 AI 부분이 아니더라도 오픈소스의 여러 프로그램들을 사용하는 현실에서는 이러한 정합성의 문제가 언제나 대두된다.

 학습 데이터가 커지고 프로그램의 복잡도가 증가하면 이제는 컴퓨터에게 요청한 작업이 왜 이렇게 하염없이 돌고 끝날 생각을 안하는지 궁금해진다.

AI 개발 전체 업무 흐름 중에 모델 개발이 차지하는 비중이 전체의 5%에 불과하다는 점을 감안하면, 개발자가 핵심 업무에 집중하고 나머지의 도전적 작업으로부터 자유로워질 필요가 있다.

확산되는 클라우드 환경과 신속하고 용이한 AI 모델 제공

AI 특성상 대용량의 데이터에 복잡한 연산 처리를 요구하는 경우 서버를 가상화 하여 복수의 GPU (그래픽 연산 프로세서)로 구성하여 사용한다. 30명 정원의 학생들이 AI 수업의 실습을 하는 경우에 어느 한 사용자가 GPU를 독점적으로 점유하면 수업에 지장이 생긴다.

그동안 기존 환경을 애플리케이션을 수정없이 클라우드 서비스 인프라로 이전하는데 유용했던 VMware 같은 가상 머신(VM)은 그림 1에서 보는 바와 같이, 기존 서버의 OS 위에 응용프로그램 별로 GuestOS 를 올리는 구조로, 오른쪽에 있는 Docker 라는 구조에 비해 자원 효율화에서 뒤진다. Google 이 클라우드상의 신규서비스를 대규모로 확장하기 위해 개발한 컨테이너를 기반으로 하는 오픈소스 가상화 플랫폼이 도커(Docker)다.  

컨테이너라 하면 배에 싫는 네모난 화물 수송용 박스를 생각할 수 있는데, 말 그대로 내가 원하는 프로그램과 실행 환경의 묶음을 컨테이너라는 추상화된 박스 안에 함께 담아서 사용할 수 있게 제공하는 오픈소스 플랫폼이다. 이 컨테이너를 실행시킴으로써 내가 개발하는 AI 모델 개발을 기존 환경에 구애 받지 않고 독립적으로 실행 할 수 있다.

그림 1. VM 대 Docker

 

예를 들어 Ubuntu 리눅스 환경에 Tansorflow 와 Keras 를 사용해 작성된 프로그램을 도커에 담으면, 이 도커는 이제 조립PC, AWS, Azure, Google cloud등 어디에서든 실행할 수 있다. 즉 한 곳에서 개발하고 여러 클라우드 환경에서 실행하는 멀티 클라우드 환경에서 운영되는 것이다. 

인공지능을 활용하여 산업별 영향을 미치는 모델을 만드는 일들이 앞으로 마주하게 될 도전 중에 하나는, AI 모델을 빠르고 용이하게 제공하는 것이며 실험 단계에서 프로덕션 단계로 나아갈 때 직면하는 문제다. 프로덕션에서 서비스 제공 시, 환경이 재현가능하고 격리를 강제 적용하며 안전을 보장하는 이러한 컨테이너 기반이 산업계 표준으로 정착되고있다.

최근의 어플리케이션 개발 환경은 첫째, 구조를 한가지 서비스에 특화된 단위로 개발(마이크로 서비스)하고, 둘째, (컨테이너)와 같은 경량화 된 가상화 환경에서 구동하는 단위로 구성하며, 셋째, 이러한 다수의 마이크로서비스와 통신하는 컨테이너들을 관리할 수 있는 환경(쿠버네티스) 으로 진화하고 있다. AI 개발도 이러한 마이크로 서비스, 컨테이너, 쿠버네티스(컨테이너들을 자동으로 통합 관리하는 소프트웨어) 와 같은 오픈소스 프레임워크 기반 아키텍처들의 장점들과 더불어 발전할 것으로 예상되고 있다.

부상하는 AI 개발 플랫폼

최근에는 다 나아가서 이러한 AI를 개발하는 일련의 작업 흐름 즉, 컨테이너 등 환경 자동화 관리, GPU 및 볼륨관리, GPU 성능모니터링, 멀티GPU 클러스터링, 잡스케쥴링, 멀티 클라우드등의 일련의 작업을 자동화 하는 AI 개발 플랫폼이 선을 보이고 있다.

그림 2. 컨테이너 관리

 

위의 그림 2와 같이 N3N 클라우드사의 치타 AI 개발 플랫폼은  머신러닝 라이브러리 설치, 사용자 설정, GPU 할당을 클릭만으로 1분안에 마칠 수 있는 개발환경 자동화 기능을 제공한다.

또한 직관적인 프로젝트 대시보드를 통해 할당 받은 GPU 와 그의 사용현황을 바로 확인 할 수 있으며 복수의 서버 환경인 경우, 할당 받은 GPU 의 용량을 넘어 사용할 경우 자동으로 복수의 GPU 구성을 설정하여 실행한다. 이 경우, 전체 사용자의 환경에 영향을 줄 수 있으므로, 스케쥴관리의 작업 추가를 통해 예정된 일정에 할당 받은 복수의 GPU 를 사용하도록 하고있다.

이러한 AI 개발 플랫폼들은 이러한 클라우드 기반 오픈소스 프레임워크 표준을 준수하면서 당분간 급속히 발전할 것으로 전망되는데, 일련의 AI 개발 작업 흐름 상의 훈련, 모델 제공, 모델 관리 등의 영역을 이러한 AI 플랫폼 내부에 포함해가면서 사용자들을 인공지능 모델 개발 이외의 업무에서 보다 자유로워지게 지원할 수 있을지 향후 귀추가 주목된다.

AlphaGo 의 다음 행보...AlphaFold

인공지능((AI) 기반 신약개발: 패러다임 변화 - Part 2

신약개발 패러다임 변화: 가설기반에서 인공지능 기반으로

n  임상시험

  머신러닝 기반의 모델을 통해 최적의 결과를 도출하는 정밀한 임상시험을 설계하거나 최적의 임상대상을 예측하는데 AI 가 사용된다. trials.ai 는 임상실험 최적화에 딥러닝을 이용하여 FDA가 2017년 9월부터 요구하는 임상시험보고서를 디지털로 전환하는데 착안하여 수백만 데이터 포인트들로부터 발생하는 복잡한 질문에 인공지능 봇이 실시간 대답하고 임상시험의 전과정을 디지털화 했으며 예측분석을 통하여 대시보드형태의 클릭으로 임상시험을 자동화하도록 지원한다. 임상대상 예측에서는 deep6AI 의 경우, 정형, 비정형 데이터를 실시간 취득하여 자연어처리, 지식그래프 등을 통해 수천가지의 임상데이터가 임상프로파일 지식그래프로 통합되어 실시간으로 코호트, 환자군들을 발견하고 비교하도록 지원한다. Mendel.ai 는 암환자의 치료기록을 mendel.ai 웹사이트에 업로드하면 인공지능을 이용하여 그 질병과 매치되는 임상실험기관들을 보여주어 질병과 환자대상을 신속하게 연관시켜주는 솔루션을 제공한다.

n  스마트 약물감시

AICure 는 아직도 전세계 50%가 의사가 처방한데로 복용준수가 이루어지지 않는 점에 착안, 인공지능의 이미지인식을 통해 정해진 시간에 환자에게 복용을 스마트폰으로 통지하고 스마트폰을 통해 입안에 약이 삼켜지는 영상을 촬영하게 함으로써 약이 복용되었는지를 감시하는데 AI를 적용하는 회사이다.

n  계량약리학(Pharmacometrics)

계량약리학이란 IoT, 센서, 스마트폰 및 AI를 통한 시뮬레이션을 통해 약물간 의 상호작용에서의 약물동태학(PK)과 약력학(PD)의 진단을 수행하는 것으로, 아스트라제네카의 경우 임상시험에서 환자의 상태에 따른 적응형 임상시험 디자인과 바이오마커의 임상시험통합을 통해 실시간 데이터획득 및 분석을 꾀하고 있으며 조기임상시험의 혁신을 리드하고 있다. 아스트라제니카는 인공지능 기반의 iDecide 플랫폼을 통해 1,2 상 환자 효용성 내약성 데이터를 실시간 분석하며 허용오차에 대해 환자가 스마트폰을 통해 오디오/문자/비디오등을 통해 실시간 피드백을 할 수 있도록 하였다. AI 가 이러한 임상데이터와 환자의 피드백 그리고 문헌데이터등을 실시간 모니터링하여 안전신호를 환자에게 경고하도록 설계되었다. 또한 AI 가 이와 관련된 임상연구자료의 최신상태를 추적하도록 하고있다. 이와 같이 환자 침대머리에 바이오마커테스트, 웨어러블 기기, 원격 모니터링을 도입하여 환자 곁에 다가가서 실시간으로 데이터 획득 및 분석으로 계량약리학의 선구적 역할을 하고 있다.

IBM과 화이자는 파킨슨환자의 신체나 일상생활 환경에 센서등의 IoT 환경을 구축하여 환자의 일상의 모든 데이터 예컨데 신체온도, 몸의 움직임, 냉장고의 문이 얼렸는지 와 같은 데이터들을 지속적으로 측정하여 딥러닝을 통해 분석하여 어떤 변화가 어떤 신경체와 어떤 화합물의 변화로 야기되는가 와 같은 연구에 돌입했다. 파킨슨 같은 뇌질환은 매 분마다 상태가 달라지기 때문에 병원의 탐문검진보다는 24시간 일상에서 발생하는 데이터로부터 치료의 실마리를 AI를 통해 찾고자 하는 노력이 진행되고 있다.

n  AI가 신약개발 전주기에 걸쳐 패러다임 변화를 선도

이상에서 살펴보았듯이 AI는 이미 신약개발 전주기에 적용되어 전통적 패러다임을 파괴적으로 바꾸고 있다. 아톰와이즈는 신약개발에 평균 15년 이상이 소요되고 평균 개발비용이 2.5조원이 소요되는 이유는 제약사가 모든 약물을 물리적으로 테스트하기전에 잠재적 신약을 만들어 놔야 하기 때문이라고 말한다. 아톰와이즈는 딥러닝을 이용하여 PC에서 만년이상 걸리는 수백만의 잠재적 화합물을 하루만에 테스트할 수 있었고 이를 통하여 기존 신약들 로부터 2개의 에볼라 바이러스 치료제를 발견할 수 있는 재목적화를 이뤘다. 베네볼런트AI의 경우 신약물질 대상 선정에서 통상 1~2 년의 검증기간을 AI를 통해 1달만에 마쳤다고 한다.

n  에필로그

소프트웨어와 AI를 통한 전산업의 디지털화에 대처하는 기존 산업들이 혁신가의 딜레마에 빠지는 이유는 전통적 미덕을 부정(cannibalize)하기 어렵기 때문이다. 이것이 패러다임 변화기에 변곡점을 간과하게 한다. 하지만 영웅은 이러한 패러다임 변화기에 나타난다. 새로운 기술로 무장한 새로운 종(breed)은 소리없이 전혀 새로운 비즈니스모델과 고객을 만들어 기존 산업을 무력화 시킨다. 우리도 영민하게 준비하고 신속하게 움직이면 이러한 변화의 파고를 기회로 만들 수 있다. 국가별로 인공지능을 국가과제의 1순위로 추진하는 상황 하에서 앞으로의 3년이 중요한 이유이다.

인공지능((AI) 기반 신약개발: 패러다임 변화 - Part 1

신약개발 패러다임 변화: 가설기반에서 인공지능 기반으로

‘      n  전통적 신약개발의 위기

 일간지에서 본 한 제약회사의 기사가 눈에 들어온다. 다국적 제약회사보다 임상 빨랐지만 자금력에 밀려 신약꿈이 좌절되었다는 내용이다. 매출의 20%를 R&D에 쏟아도 글로벌 기업의 3% 수준으로 다국적 제약사가 막대한 자금력으로 대규모 글로벌 임상을 시작하면서 상황이 역전되었다는 것이다. 전통적 신약개발은 신약개발 시작에서 출시까지 평균 12~15년이 소요되며 2조6천억원이라는 막대한 비용이 소요된다. 아울러 이미 40%이상의 알려진 질병들이 이미 치료가 가능하다. 반면 전세계적으로 97%가 신약프로그램에 실패하는 대표적 high risk high return 산업이다.  해외 AI신약개발 컨퍼런스에서 들은 얘기는 무어의 법칙을 거꾸로 읽는 Eroom 의 법칙 즉, 18개월마다 생산성이 2배로 떨어지는 대표적 산업이 제약산업이라는 자조적 주장을 하기도 하는 대표적 고위험 고비용 산업인 것이다.

      n  과학적 방식의 재정의

  2003년 25세의 마이애미 약학대학의 암 연구 과학자 Narain 은 CoQ10 (미토콘드리아내에 위치해서 세포에 영양을 공급하는 엔자임)이 포함된 크림을 흑색종(melanoma) 세포에 실험하고 있었다. 놀랍게도 다음날 보니, 페트리 접시의 모든 암세포가 죽어 있었다. 이후 행한 쥐실험에서는 종양이 55% 줄었다. Narain 은 왠지 몰랐다. 그는 노벨수상자와 연구중인 지도교수 Hsia 에게 이러한 사실을 알렸다. 80세의 지도교수는 “나는 이런 유전학 기술을 믿지 않으며 생화학이 건강의 연속과 질병의 시작을 관장하는 신체의 기반이다. 지질체, 엔자임과 미토콘드리아가 특히나 흑색종 같은 암을 죽이다니, 너는 실험을 망친 거다” 라고 말한다. 그 당시는 휴먼게놈프로젝트가 발표된 지 2년이 지난해라 암은 주로 유전자에 의해 영향을 받는 다라고 믿던 시기였다.

Narain 은 가설을 수립하고, 테스트하고 데이터 수집하고 분석했다. 그런데 이해가 안되었다. Narain 은 제약회사가 암치료약을 생산하는 방법에 회의가 들었다. 어떤 과학자가 특이한 단백질이 특정 암에 관계가 있다고 생각되면, 제약회사는 이 단백질을 수백만의 화합물과 스크리닝하여 이중 아주 소수가 화학적으로 반응하여 잠재적으로 신약후보가 된다. 이것이 소위 교과서에서 얘기하는 과학적 방법인 것이다. Narain 는 이를 hit and miss 라고 부른다. 질병 치유 접근을 다트보드 놀이 같은 방법으로 접근한다는 것이다.  

이후 Narain 이 근무하던 피부과에 썬탠 브랜드권리를 의논하러 방문한 사모펀드 사장 Gray 에게 우연히 CoQ10 크림 얘기를 하게 되고 실리콘밸리의 부동산재벌 Carl Berg 를 소개받아 이 3명이 향후 Berg 라는 회사를 설립하게 된다.

2013년 11월 Berg 는 100명의 췌장암, 유방암, 간암, 뇌암 환자들에게 BPM31510 이라는 AI 알고리즘에 의해 탄생한 신약 임상시험에 돌입하였다. 이는 대학병원에서 수집된 1000명의 환자로부터의 건강하거나 질병이 있는 세포조직의 추출 로부터 시작되었다. 이는 과학적 방법을 정반대로 접근하는 것으로, 실험을 하고 특별한 유형의 데이터를 생성하도록 유도하는 사전에 각인된 가설 대신에, 환자 들로부터의 데이터가 가설에 이르도록 하는 것이다. 이는 신약개발 패러다임이 가설 후 탐색에서, 데이터에 기반한 AI 기반의 탐색 후 추론으로 패러다임이 변하는 것을 뜻한다.

n  ‘a-ha’ 모멘트

이를 위하여 Berg는 1000명의 환자로부터 40가지 암조직을 수집하여 배양세포에 in-vitro test 로 체내환경과 같은 당분, 산소를 주입하여 지방, 대사물질, 단백질, 엔자임 배출 등을 측정했다. 이렇게 하면 유전체 정보와 함께 한조직에서 140억개의 데이터가 수집되고 이를 AI로 하여금 정상세포와 질병세포에 대해 데이터를 비교하게 훈련시키면, AI 알고리즘이 어떻게 정상세포가 궤멸하는지 어떻게 질병으로 발전하는지 잠재적 치료법은 뭘 지에 대해 그전에 몰랐던 통찰력을 제공받게 된다. Berg 는 이를 탐문적(interrogative) 시스템이라 부르는 것으로, 이러한 결과, 세포에서 발생하는 유전자, 단백질, 지질, 대사물질등의 분자 작용 케스케이드를 작성할 수 있었으며 이는 마치 항공지도를 보듯이 허브와 바퀴살 같은 구조로 나타난다. 이는 정상에서 암세포로 이끄는 생리학적 사건들을 전례 없는 자세한 묘사로 보여주어 허브는 정상조직에 비해 암조직이 풍부하거나 혹은 부족한 분자들을 표시함을 알게해준다. 즉 허브에 있는 분자들이 Berg 의 신약후보가 되는 것이다.   

  이러한 묘사에서 5개의 커다란 허브를 볼 수 있었는데, 가장 큰 허브는 미토콘드리아 내부에 사는 엔자임 그룹으로 이루어져 있다. 그 중에 하나가 CoQ10 였다. 이것을 본 순간 Narain 을 엄청난 ‘a-ha’ 모멘트를 가졌다고 한다. 이제 인공지능 AI 가 암의 지렛대 역할을 하는 것은 미토콘드리아라고 알려주는 순간이었던 것이다. 암세포는 미토콘드리아를 끄고 산소대신 젖산(lactate)으로부터 에너지를 생산할 수 있었던 것이었다. CoQ10을 주입한 것이 미토콘드리아의 생존을 도와 결국 암 진행 효과를 뒤집어서 암세포를 정상세포로 변환시킬 수 있었던 것이다. 

n  신약 전 개발주기에서의 인공지능 적용

2016년 인공지능 학회 NIPS에서 얀리쿤 교수는 머신러닝을 크게 강화학습, 지도학습, 비지도학습으로 분류했다. 강화학습은 알파고에서 보듯이 일련의 보상(reward)을 극대화하기위해 움직이도록 학습되고 예측한다. 이는 게임이론에서 발전한 것으로 2014년 Atari 벽돌깨기를 아무 사전지식없이 화면만 보고 2시간 학습해서 완벽하게 승리했으며 2017년에는 온라인 비디오 게임분야 Dota 에서 bot를 통해 우승자에게서 승리하였다. 

지도학습은 고양이 사진을 고양이라고 라벨을 입력해서 학습시키면 수백만 이미지 중에 고양이만을 정확히 찾아낼 수 있다. 반면 비지도학습은 이미지에 라벨 데이터가 없이 많은 데이터를 학습하여 머신이 관측된 부분의 입력에 대해 어떠한 부분도 예측 한다.

인공지능이라고 하는 커다란 범주에 머신러닝이 속하고 그 중에 딥 러닝(deep learning)이라고하는 신경망(Neural Network)을 이용하는 머신러닝이 있다. 이러한 딥러닝은 정보탐색, 신약설계, 표적발견, 전임상 실험설계, 임상시험, 스마트 약물감시, 계량 약리학, 신약개발 의사결정까지의 전 주기의 신약개발에 적용되고 있으며 미국의 경우 기존 제약회사와 AI벤처와의 연합이나 지역별 거점 대학과 제약기업 그리고 AI 벤처등이 활발한 협업을 통해 특정 분야에 성과를 거두고 있는 사례가 나오고있다. 이는 in-vitro 실험, 화합물 in silico 합성, 데이터 분석을 통한 알고리즘 개선, 임상시험을 위한 대학의 역할 등이 필요한 신약개발의 특성에서 기인한 것이 아닌가 한다.

n  표적발견

표적발견은 머신러닝기반의 모델링을 통해 분자, 이미지, 환자데이터를 분석하여 질병을 일으키는 난해한 바이오마커 패턴을 발견하기위한 예측모델을 구축하는 것을 뜻한다. 그러나 최신 기술의 발전은 이보다 더 진화하여 젊은 환자와 나이 든 환자, 건강한 환자, 질병에 걸린 환자들로부터 추출한 장기나 조직의 세포에 대한 유전자, 혈액, 단백질, 대사물질, 지질 등의 omics 정보와 함께 경로(pathway) 정보도 함께 비교하고 점수화 하여 암과 노화(aging)에 대한 개개인의 전체 신체의 시뮬레이션을 통한 개인 맞춤 노화관련 신약후보물질과 파이프라인 개발을 제공하는 것을 목적으로 하는 회사도 있다.

인실리코 메디신은 수천가지의 질병 그리고 10억가지의 분자구조 데이터베이스로부터 신호체(signalome)단계의 프로파일과 전사반응(transcriptional response)에 대한 연관관계를 딥러닝의 GAN(Generative Adversarial Network) 알고리즘을 사용하여 그래프로 생성하고 이를 이용하여 원하는 약물동력학(pharmacokinetics)과 약물역학(pharmacodynamic)적 특성을 가진 새로운 화합물을 딥러닝의 강화학습을 활용하여 생성한다. 

GAN 알고리즘은 게임이론에서 진화한 머신러닝 알고리즘으로, 수많은 사진을 훈련시킨 원래 신경망에 이를 위조하는 적대적 신경망을 함께 연결하면 이 위조목적의 신경망의 산출물이 원래 훈련된 이미지와 구별할 수 없는 이미지를 생성하는 머신러닝 알고리즘이다. 

n  재목적화

  

만약 딥러닝이 9천만개의 특허, 3천만개의 과학저널, 매년 수만건의 논문, 수천가지 질병, 10억가지의 분자구조등의 데이터들을 실시간으로 읽어 들여 딥러닝을 통해 질병과 영향을 줄 개체(entity)로서의 생물학적 타겟에 대한 관계 탐색으로 전통적 방식에서 판별하지 못한 새로운 통찰력을 제공한다면 이미 임상시험이 끝난 약들을 알려진 질병-타겟 관계에 재목적화(repurpose)하여 사용할 수 있음으로써 상당부분 속도, 비용, 효율성 측면에서 최적화할 수 있음을 뜻한다.

베네볼런트AI는 이러한 방대한 정형, 비정형 데이터들을 실시간으로 읽어 들여 신경망의 딥러닝을 통한 자연어처리, 이미지처리(OCR과 NLP를 소화 처리 검색하여 개체와 관계를 추출), 개체명 인식(Named Entity Recognition), 관계추출의 수순으로 데이트 들로부터의 연관된 관계속에서의 통찰력을 찾아 지식그래프라는 입체적 트리구조의 연관 그래프를 보여준다. 여기서 개체명인식이란, 우선 자연어처리분류기를 통해 문자, 단어, 절, 행 혹은 문장과 같은 정보가 음소, 단어 단위의 토큰화라는 것을 거치고나서 명사, 동사 등의 품사 결정이후에 인명, 조직명, 시간 등과 같은 개체(entity)를 인식하는 것을 뜻한다. 이러한 개체들은 생체의학(biomedical)도메인에 관련된 단어와 관계로 구성된 사전 즉 온톨로지에 의해 서로 다른 데이터안의 특정 개체들을 인식하고 관련 짓는데 사용된다. 80%이상의 획득된 정보가 일반 텍스트와 같은 비정형 데이터인데, 예를 들어 cb2 가 칸나비노이드 수용체라는 것도 이러한 온톨로지를 통해 이해된다. 아울러 “유전체 X 는 알츠하이머 질병의 세포에서 발견된다” 와 “유전체 X 는 알츠하이머 질병의 세포에서 조절되지 않는다”는 이 두 문장에서는 후자가 유전체 X 와 알츠하이머 질병 이 두 개체사이에 유의미한 관계가 있다고 개체명인식기가 판별한다. 

AI를 이용하여 이렇게 취합된 정보들은 지식그래프(knowledge graph)를 통해 개체간의 관계가 그래프로 표시되어 시각적으로 여러 각도에서 탐색해볼 수 있도록 가시화된다. 아래 그림은 지식그래프중에 하나인 IBM 왓슨연구소에서 특허를 가지고있는 지식그래프이다. 이 그래프는 3차원으로 질병과 부작용간의 관계를 그래프로 보여준다. 왼쪽에 있는 3차원 구(sphere)의 질병에 대해 줌인(zoom in)하면 오른쪽과 같은 관계가 자세히 보여진다.

AI 가 이들 간에 관계를 추론하도록 훈련시키면 현존하는 관계에 대해 모르고 있던 관계를 찾아낸다. 이는 마치 주기율표가 처음에 구성되었을 때, 빈 자리에 있어야 할 주기율표가 결국 발견되는 것과 같다. 

베네볼런트AI 의 경우 신약물질 대상 선정에 있어 제한적인 정보 환경에서 통상 1~2년의 검증 기간이 소요되는데 반해 인공지능을 통하여 1달여만에 우선 검증을 시작할지에 대한 결정을 끝내고 다음 단계로 넘길 수 있었다고 한다. 의료화학에도 통상2~3년의 최적화가 소요되는데, 베네볼런트 AI는 4~6천개의 화합물로부터 1년안에 125개의 화합물 타겟을 선정하는 것을 성취했다. 또한 루게릭병의 운동신경에 대해 2015년 말에 가설을 세우고 변역신경과학 외부연구소와 1년반동안 이러한 가설을 검증한 끝에, 5개를 선정하여 3주안에 ALS 질병 성인의 수명을 2~3 개월 연장할 수 있는 3개의 대상을 발견하고 1개의 화합물을 찾은 경험이 있다고 한다. 베네볼런트AI 의 사례에서 보듯이 모든 정보를 바탕으로 하나의 신약에서 실패한 약을 재목적 신약으로 다른 곳에 적용하여 시간과 비용에서 오는 위험을 줄이고 최적화를 앞당기는 것을 재목적화라 한다.

-- Part 2 에서 계속 --

인공지능과 대화형 플랫폼

Deep Learning and Conversation as a Platform

  최근 세종대학교 소프트웨어학과로 옮기고나서 경희대 테크노경영대학원, 계명대학교 글로벌창업대학원등에 특강을 하게되었다. 그 중 일부를 발췌해본다.

인공지능의 진화

 인공지능은 필자가 LG소프트웨어 연구소에 근무한 1990년도에도 연구가 진행중이던 역사가 오래된 분야이다. 그 당시 small talk, Lisp 등의 언어로 AI 를 연구했던 사람들 중에, 오늘날의 신경만기반의 머신러닝으로 명맥을 이어 온 사람을 찾기는 쉽지않다.

 미국의 경우, 코넬대의 로젠블레트박사가 전자장치로 연결된 인간의 뇌를 모방한 퍼셉트론이라는 기계로 논리연산을 처리하는 시도가 있어 주목을 끌었는데, MIT 의 마빈민스키교수가 XOR 연산이 하나의 함수로 해결되지 않는 문제를 제시하면서 이 퍼셉트론이 내포하는 내재적 한계가 부각되어 전체 학계가 앞으로 나아가지 못하는 1차 AI 침체기가 도래하고 미국 정부에서도 연구예산을 삭감하면서 찬바람이 불게된다. 이후 전문가 시스템등으로 산업계의 일시적 부흥이 일지만 이후, 신경망기반의 역전사(backward propagation) 에서 발생하는 경사소멸(gradient descent)로 오차값 산출이 layer 가 멀어질 수록 sigmoid 함수로 인해 값이 소멸되가는 문제가 해결이 안되어서 또다시 2차 인공지능의 암흑기를 맞게된다.

컴퓨터비전분야에서의 획기적 성능향상

  이러한 인공지능이 2012년에 이르러 특히 컴퓨터비전 분야에서 도달할 수 없다고 생각했던 성능의 진전을 보게된다. 2012년 ImageNet 이라는 대회에서 토론토의 제프리힌튼 교수가 이끄는 팀이 37% 의 에러율 감소라는 획기적인 성능 향상을 보이게되면서 이목을 끌게 하였고, 바야흐로 인간이 판별하는 수백만 이미지중에 고양이 사진같은 특정 사물을 판독하는 분야에서 인간과 경쟁하는 여정에 들어서게된다. 여기에 사용된 머신러닝 기술을 Convolution Neural Network(CNN) 기술로 1980년대 후반 얀리쿤교수가 고양이가 TV를 보면서 image 의 edge 가 변할 때, 뇌의 특정 부위가 활성화되는 것에 착안하여 input 이미지를 조각으로 나누어, 이 조각들을 신경망에 태워서 필터를 이용한 edge 의 강화를 반복하여 조각의 이미지가 전체 이미지의 어느 부위의 특징을 나타내는 지를 강조하는 기술을 발표한다. 이 기술은 이후 90년대에 미국의 대다수의 국민들이 사용하는 개인수표의 숫자로 표시하는 수기를 디지털로 판독하는데 크게 기여한다. 

IBM 왓슨의 상용화

   2011년 미국의 퀴즈쇼 Jeopardy 에 출연하여 최고 상금왕과 최다 승리자와 대결하여 우승한 IBM 왓슨 컴퓨터는 몇 년 전에 IBM 딥블루 컴퓨터로 체스챔피언을 물리친 이후, 우리들에게 노출된 인공지능 기술의 현주소였다. 이후 IBM은 이러한 질의 응답 방식의 퀴즈쇼 해답과 같은 방식의 솔루션에서 확장하여 클라우드 기반의 왓슨 API 라고 하는 알고리즘 세트를 API(Application Programming Interface)방식으로 제공하는 개방형 혁신 정책을 펼친다.  퀴즈쇼 당시의 왓슨 API 가 Q&A 라는 기술이었는데, 이러한 규모의 API 가 2017년말까지 50가지의 API 로 확장될 계획을 가지고 있고, 2017년 11월을 기해 이러한 API 들을 무상으로 공개하는 것으로 발표되었다.

최근 기사에서는 한국의 왓슨 사업을 담당하는 SKC&C 에서 일반인들을 대상으로 왓슨 AI 를 이용한 경진대회를 열었는데, 하루만에 마치 레고블록을 조립하는 것처럼 쉽게 수천장의 운동기구 사진에서 원하는 운동기구 사용법을 알려주는 '픽미'라는 솔루션을 개발하였고, 음성으로 선풍기나 가전제품을 조정하는 것을 시연했다고 한다. 이러한 것들이 가능하게 된 것은, 클라우드기반의 PaaS 즉, 개발을 코딩을 몰라드 직관적 사용자인터페이스를 통해 구현하게 하는 기술이 보편화 됨을 의미하고, 이는 아이디어만 있으면 데이터베이스 접속, 챗봇 구현 그리고 인공지능의 알고리즘에 API 로 연결하여 원하는 기능을 불러 사용할 수 있음을 의미한다.

대화형 플랫폼 시대

  2017년으로 진입하면서, 눈에 띄는 현상은 글로벌 IT 기업의 'AI First' 전략 이었다. 그 중에서도 아마존의 알렉사가 CES 에서 선풍적 바람을 이끌었고 Google 의 Assistant, Facebook 의 M 플랫폼 발표, MS 의 메시지 플랫폼, 아마존의 에코 출시 그리고 삼성의 Viv Labs 인수에 따른 빅스비 출시, 네이버의 AI 챗봇인 Clova 발표등의 일들이 줄을 이었다.

이러한 현상이 가속화된 이면에는, 2015년 후반부터 주요 메세지앱이 주요 SNS 앱(App)을 설치 및 사용면에서 앞지르면서 한동안 앱의 부흥을 이끌었던 동력이 메세지앱으로 이동하는 측면에서 AI와 결합되어 대화형 챗봇이라는 모습으로 대중에게 모습을 보이게 된 것이다.

  여기에 음성인식을 기반으로 한 아마존의 알렉사가 음성기반의 장치라는 시장을 열었고 이러한 대화형 플랫폼이 주는 시사점이 시장에 주는 반향은 많은 기업들로 하여금 이러한 대화형 플랫폼이 과연 차세대 플랫폼에 기폭제가 될 것인가에 주목하게 만든것이다.

  App 은 2016년 11월 한달간 미국 스마트폰 사용자의 50%가 전혀 새로운 App 을 다운로드하지 않았다고 한다. 게다가 애플의 경우 94%의 Appstore 매출이 1% 에서 나온다고 하니, 사용자들이 88% 시간을 5개 정도의 App 에 사용한다고 하는 정보가 틀린 것 같지가 않다.

 그보다 App 을 사용하기위해 다운로드하고 다시 불러오고 하는 시간에 비해, 음성기반의 챗봇은 'OK 구글' 혹은 '알렉사' 한 마디로 wakeup 상태로 불러내고 바로 사용이 가능하다.  그리고 무엇보다도, 즉각적이고 개인화된 응답이 불러오는 이점은, 은행권을 중심으로 짜증나는 고객센터 응답을 대체하는 강력한 수요의 기반이 된다.

AI 기반의 음성 장치가 불러올 혁신 

  미국 최대의 사무기기용품 회사인 Staples 는 이러한 AI 기반의 음성장치로 소비자의 사무기기 구매 패턴을 혁신적으로 바꾸어놓은 회사가 될 것이다. 버튼 하나를 누르고 필요한 물품을 말하는 것 만으로 구매가 만족되고 자동으로 주문이 이루어져서, 경쟁사가 보면 소름이 끼칠 것 같은 공급가치사슬의 혁신을 예시하는 동영상을 위의 'Staples' 글짜를 누르면 볼 수 있다.

  이러한 솔루션을 개발하는 데 앞에서 살펴본 바와 같이, 단 몇 일만의 교육으로 일반인들도 쉽게 개발할 수 있다고 하니, AI 가 이제 우리 곁에 일반화(democratizing AI) 된 다는 것이 남의 얘기만은 아닌 것 같다.

  한편으론, 이러한 음성 우선장치(screenless device) 시장에서 벌어지는 고객경험이라는 측면은 또한 몇가지 주요한 시사점을 우리에게 말하고 있다.  2016년 가을 뉴욕 테크크런치에서 viv labs 의 대표가 시연을 하는 내용은 음성만으로 스마트폰을 통해 꽃을 배달하고 호텔을 예약하는 conversation as a platform 의 미래 모습을 설파하고 있다. 삼성이 인수하여 빅스비라고 출시한 갤럭시S8에서는 아직 삼성페이와 결합되어 이러한 자동 결제와 연결되는 상거래까지는 아직 100% 가동 되고 있지 못하지만, 머지않아 이러한 자동 상거래는 현실이 될 것 같다. 알렉사를 통해 반복적으로 구매하는 어느 가정의 상황을 상상해보자.

  알렉사는 거실에 딱하고 버티고 있어서 24시간 주인님이 하시는 음성을 청취하고 있다. 아울러 이러한 과거 주문내역을 통해 주인님의 persona 즉 성향이나 개성을 알렉사는 차곡차곡 쌓아놓고 분석을 하고 있다. 경쟁사 입장에서는 이것은 마치 문지기와 같아서, 이 가정에 하기스 기저귀보다 좋은 팸퍼스 기저귀를 어떻게 저 알렉사를 뚫고 들어가서 알릴 수 있을까 고민하게 만들게 할 것이다.

  왜냐하면 고객님이 자주 사용하시는 주문 웹사이트가 고객님의 "기저귀 1 세트 주문해 줘" 라는 말과 함께, 늘 주문하는 사이트를 알렉사가 불러내어 자동 주문할 것이기 때문이다. 경쟁사는 어쩔수 없이, 보다 선동적인 문구로 찰나의 고객의 마음을 사로잡을 광고문구를 고민하게 될 것이고, 광고주 입장에서는 고객의 단일 표현(utterance)에 대응하는 개인화된 단일 광고 재고(repository)를 보유하고 있다가 온디맨드로 제공해야 한다는 것을 의미한다. 이것은 광고업자의 입장에서는 상상하기 힘든 수지타산이 맞지않는 고난도 작업임에 틀림없다.

  또 한편으론, 설령 알렉사라는 문지기를 뚫고 들어가 광고에 성공했다 치더라도, 그간의 이력을 꽤뚫고 주인님께 추천하는 알렉사에 비해 전후좌우 문맥에 취약한 경쟁사의 광고는 치기어린 헛소리 처럼 주인님의 관심을 끌기에는 역부족일 가능성이 높아서, 이러한 광고에 신물이 나는 주인님은 어쩌면 둘 중에 하나일 거다 - 짜증나는 시도때도 없는 선전성 광고를 참고 견디던지 아니면 아마존의 광고를 배제한 프리미엄서비스를 신청해서 아마존에 매달 일정 회비(미국의 경우 99$) 를 내고 아마존의 관대한(?) 우산속으로 오히려 내발로 걸어들어가던지 말이다.

  이러한 이유로, 지니, 누구, 빅스비, 클로바 등의 국내 음성우선장치들이 가정에 침투하려고 애를 쓰지만, 전세계적으로 벌어지고 있는 플랫폼전쟁의 진정한 승자가 되기위해 치뤄야할 댓가와 전제조건에는 아직 많이 부족한 면이 보인다.

인공지능 챗봇들의 부상과 마케팅에서의 시사점

지난 3월8일 코엑스 그랜드볼룸에서 디지털마케팅코리아주관의 디지털마케팅서밋 2017 행사에 연사로 “대화형 인공지능 플랫폼(챗봇), 마케팅의 미래를 바꿀 것인가?” 를 발표할 기회가 있었다..

둘째 날 8일 오전에 디지털마케팅코리아 설립자 박세정대표님과 대담을 나누는 시간을 갖기도 하였다.

우버 신드롬

발표 시작은 전혀 다른 형태의 비즈니스모델을 내세운 경쟁자가 등장하여 시장을 장악하는 우버 신드롬으로 시작했다. 공유경제라는 전혀 다른 비즈니스 모델로 동종 산업에서 경쟁자라고 인식조차 하지 못했을 우버라는 회사의 현재 시장가치는 73조원으로 최대자동차회사인 GM 이나 Ford 보다 월등한 시장가치를 자랑하고, 차를 생산하지 않으면서도 운송수단이라는 시장을 유틸리티개념으로 영역을 파괴한 “경쟁자로 간주되지 않았던 새로운 경쟁자의 출현” 이다. 

마케팅은 어떨까? 오길비 등을 포함한 세계최대 광고그룹 WPP CEO 인 마틴쏘렐 경도 Amazon 이 광고수입을 따로 분리하지 않을 정도로 현재 10억원 매출 정도의 아직 초기 단계이지만, 2016년에 60% 성장을 한 점에 크게 우려하고 있다고 한다. 구글과 페이스북이  광고 에이전시를 건너뛰어 고객과 직접 일할 수 있는 능력을 보유해서 50억원 구글과 17억원 페이스북의 광고매출을 내는 점도 두려워할 처지이지만, Amazon 은 실제 구매를 하려는 고객들이 웹이나 App에 몰려있고 Amazon 이 직접 통제한다는 점에서 마틴쏘렐 경은 무척 위협적으로 느낀다고 한다.

또한 딜로이트, 액센츄어, IBM, 맥켄지 등의 글로벌 컨설팅회사들과  IT 자이언트들이 크리에이티브/에이전시/마케팅 서비스 회사들을 쓸어담고 있는 현상이 마케팅이 C-레벨의 주요 아젠다로 부상하여 마케팅과 컨설팅이 주요 사업으로 재편되는 흐름이다. 또한 2011년 구글의 ZMOT(Zero Moment of Truth) 이 발표된 이후로. 고객결정여정(customer decision journey)에서 미국 고객의 84% 이상이 매장 방문 전 사전 결정에 인터넷 검색이 지대한 공헌을 발표한 이후 , 이제 대화형 인공지능 비서라는 새로운 기술로 무장한 신생 종(species)이 마케팅의 새로운 시장 변화를 야기할 것일까?

Conversation as a platform 시대

하버드대의 Utterback 교수는 산업의 혁신에서 여러 디자인의 혼돈 시대가 지나면 지배적 디자인이 등장하고 이렇게 되면, 다른 경쟁자들은 지배적 디자인을 중심으로 생태계를 조성한다고 했다.  혹자는 1990년대의 인터넷시대, 2000년도의 App 시대 그리고 현재의 Assistant (대화) 시대가 도래하고 있다고 한다.  기술 혁신의 변곡점을 판별하는 것은 어쩌면 인텔의 앤드루 그로브 CEO가 얘기했듯이 “오직 편집증 환자”만이 인지하는 지는 몰라도, 시장에서 이렇게 얘기하는 근거는 있어 보인다.

  Bot 이 부상하는 이유

  Business Insider 자료에 의하면, 2015년 1사분기를 기점으로 Big 4 Message App 이 전세계 30억 사용자로 Big 4 SNS (25억) 를 추월했다. 또한 2016년 11월 한 달간 미국 스마트폰 사용자의 50%가 전혀 App 을 설치하지 않았다고 한다. 소비자들은 보통 한 달에 25~30개의 App 을 사용하고 88% 시간을 5개 App 에 집중 한다고 한다. 더욱 놀라운 사실은,  94%의 App store 매출이 1% 에서 나오고 있다고 한다. 이러한 App 시장의 포화상태와 Message App 의 급속한 성장이 무엇보다도 UI 측면에서 인간의 자연언어가 가장 자연스러운 인터페이스라는 점과 그동안 기술적으로 미진했던 부분들이 해결되어, 챗봇의 부상을 가져온 것으로 보인다.

반면, Bot 의 제약점으로는,  대화는 인간의 가장 자연스러운 소통방법이라는 점에서, 아직 한글의 자연스런 대화는 조금 더 지켜봐야 할 것 같고, 둘째, Q&A 나 고객서비스부분 등 소위 curated service 에 사용되는 것을 넘어 전체 마케팅 프레임워크에 어떻게 융합하느냐의 문제가 남아있고, 셋째, 신경망네트워크의 클래스가 300개 내외의 class 에서 효율적인 점을 감안하면, 범위를 넘어선 뜬금없는 질문에 챗봇이 어떻게 예외처리를 하느냐의 문제도 상존한다. 많은 부분 사람이 전달받아 서비스하는 방법으로 현재 이 부분을 해결하고 있다.

  Screen-less (음성우선장치) 시장의 등장

올해 CES 쇼에서 Amazon 의 Alex 가 주목을 받았듯이, 국내에서도 음성 우선 장치들의 출현이 현실화 될 전망이다. 이미 KT의 ‘지니’, SKT 의 ‘누구’가 출시되었고 Naver 의 Line 역시 MWC 에서 Clova 를 발표하고 6월에 네이버의 AI 스피커 ‘웨이브’를 LGU+ 를 통해 출시할 것으로 보인다. Recode.net 자료에 따르면, 2017년에 전세계에 약 3천5백만개의 음성우선장치가 출시될 것으로 예상한다고 한다. 문제는 Amazon Alexa 도 약 8백20만개정도가 현재 판매되어있고, 7,000개가 넘는 Amazon skill 이 있지만 (꽃배달, 음악감상 등의 프로그램을 하나의 skill 이라고 Amazon 은 명명한다), 평균 3% 만이 2주 이상 설치하는 현상을 보인다고 한다. 즉 97%의 Amazon skill 은 사용자로부터 외면 받고 있는 것이다. App 도 그렇지만, 이러한 현상은 앞으로 assistant 시장에서 더 흔하게 목격하게 될 것이다.

삼성전자는 VIV Lab 을 인수한 것에 삼성페이를 결합해서 항상 스마트폰에서 주인님의 호출을 기다리도록, 3월 29일에 Intelligent Assistant 의 unpack 행사를 계획하고 있고 이를 위해 기사에 의하면, 3000명의 인력이 소단위 cell 로 막바지 개발에 박차를 기하고 있다고 한다. 냉장고, TV 등에 타이젠 OS 기반의 intelligent assistant 들도 탑재되어 갤럭시 스마트폰에서 통제가 가능하게 할 계획도 당연히 추진 중인 것 같다.

LG전자는 MWC 에서 G6 스마트폰에 구글 어시스턴트를 탑재하기로 발표하고 한글화는 올해 11월쯤에 제공되는 것으로 하였다. 어제 보니, 미국에서 4월30일까지 G6를 구입하는 고객들에게 140$ 상당의 Google Home을 무료로 제공하는 행사를 하는 것 같았다. Amazon Alexa, Google Home, Naver Wave 등의 음성우선장치들의 출현에는 몇 가지 시사점을 생각하게 한다.  우선 웹 이나 모바일 환경의 디스플레이광고를 중심으로 가속화되는 AdTech 부분에는 어떤 영향이 향후에 있을까이다. AI 스피커를 통한 광고는 무척 고려할 점이 많다. 한 개인의 persona 에 관련된 문맥을 알아채고 적시에 기분을 해치지 않는 정도의 센스 있는 광고를 찔러 넣지 못하면,  유투브를 광고를 참으면서 무료로 볼 거냐 아니면 subscription 을 가입해서 광고 없는 화면을 볼것이냐와 같은 운명을 마주하게될것이다.

음성우선장치 시장에서의 고객경험

가트너의 향후 10대 예측에 의하면, 2020년까지 화면 없는 장치가 30%에 달할 것 이라고 한다. 이는 구글이나 페이스북 같은 디지털마케팅의 광고수입을 향유하는 업체들에게 광고속성 측면에서 시사점을 준다. 이는 개인의 단일 utterance(발언)에 대응하는 단일 광고로 대응해야 한다는 점에서 광고 inventory 의 막대한 부담을 갖게 되고 아울러 과거 이력에 근거한 능동적 추천이 되어야 한다는 점에서 무엇보다도 Amazon 과 같은 장치제공업체에게 종속적이다. 즉 기존 디지털마케팅 플레이어입장에서 ROI 를 생각하게 한다.

둘쨰는 좀더 심대한 영향인데, 집안에 설치된 AI 스피커를 통해서 반복적으로 구매하는 예컨데, 기저귀, 분유, 쌀, 책…완구…패션 등의 반복구매가 어느 정도 익숙해지면, 이는 경쟁사의 입장에서 볼 때, 엄청난 진입장벽으로 작용할 것이 뻔하다. 소위 conversational commerce 시대의 도래인데, 고객경험입장에서 Amazon 이 국내의 배송업체와 손잡고 Amazon 의 buy-box (아마존 사이트의 물품 추천화면) 나 dash button (원스톱결재) 같은 소위 premium subscription 계약을 통하여 아주 최저가는 아니더라도 어느 정도 경쟁력 있는 가격조건을 제공하고, Alex 에다 대고 손쉽게 “클리넥스 휴지 2통, 하기스 기저귀 1박스” 라고 주문하면 그 고객의 이전 구매이력 학습을 통해 주소, 금액, 주문처 등을 말할 필요 없이 알아서 디지털 ‘Pay’ 를 통해 결재하고 문앞까지 배달하는 것이 가능해진다고 생각해보자.

이는 삼성페이나 네이버페이와 같은 간편결제를 통해 소비자가 지불에 대해 점점 대수로운 일이 아닌 걸로 되는 지불 메커니즘의 진화단계(카네기멜론대 조지 로웬스타인교수)일뿐만 아니라, commerce 입장에서 보면, 이전의 단위 트랜잭션으로 처리하던 ‘거래’가, 고객의 평생고객가치(lifetime value) 를 지향하는 ‘관계’ 로의 변화로 즉, 서비스화(servitization) 하는 것을 뜻하게 된다.  

이는 공급업자 측면에서 아주 수익성이 좋은(lucrative) 비즈니스 모델인데, 자동차 한대를 파는 것보다 그 고객의 평생 자동차와 관련된 모든 가치 요소, 즉 정비, 중고차거래, 보험, 소모품교환, 렌탈, 자동차담보대출 등의 매출을 오롯이 향유하게 됨을 뜻한다. 더욱이 고객이 꽃 배달이나 기저귀 주문 등에 관련되는 공급업체들을 AI 스피커에게 일임하기 시작하면, 경쟁사 입장에선, 아니 그보다 디지털 마케팅 공급업체 측면에선, AI 스피커가 분명히 gate keeper 로 인식될 것이고 연구하고 싶은 상전으로 보이기 시작할 지도 모른다. 일전에 방송에서 Amazaon Alexa 에 인형을 주문한 뉴스 내용을 듣고 실제로 Alex 가 해당 인형을 주문한 해외 뉴스가 화제가 된 적이 있다. 이를 방지하기 위해, Google Home 같은 경우는 100$이 넘는 주문은 쇼핑 리스트에 넣어 나중에 검토하고 주문하도록 하고 있다 – 고객경험측면에서 대화형주문이 별도의 저항없이 성장할지 지켜볼 일이다.

아래의 비디오는 세계에서 가장 큰 사무용품 유통업체인 Staples 가 어떻게 음성우선장치를 도입하여 B2B 시장에서 고객들의 사무용품구매를 손쉽게 자동 주문하도록 하였는지를 보여준다.

디지털 마케팅의 시사점

  일반적으로 디지털 어낼리틱스를 하는 목표는 5가지 측정 요소를 보통 얘기한다. 1) E-commerce 를 통한 제품판매 결과 측정, 2) 가망고객판별을 위한 Lead 생성, 3) 광고노출을 통한 컨텐츠 제공, 4) 온라인정보제공을 통한 소비자 정보취득 지원, 그리고 5) 브랜드 노출을 통한 충성도 제고이다.

  AI 비서(virtual assistant) 측면에서 보면 어떨까? 보는 사람에 따라 여러 다른 시각이 있겠지만, 필자가 보기엔 그림과 같은 차이가 있어 보인다. 1) 제품판매 -> 고객평생가치 서비스화, 2) 가망고객판별 -> 고객 Persona 정교화, 3) 컨텐츠 제공은 앞에서 언급한 바와 같이, 문맥에 맞는 자연스런 offer 가 되어야 한다는 점에서 극히 수동적일 수 밖에 없어 보이고, 4) 온라인 정보 역시 주인님의 성향에 따라 수동적일 수 있다. 5) 브랜드 제고라는 측면에서도 AI 비서가 공급업체를 선별하는 상태에 다다르면, 어떻게 AI 비서가 찾는 업체 리스트의 최 상단에 위치시킬지 연구가 일어날지… 글쎄다… 쉽지 않은 얘기다.

 한글 챗봇 도입 기획 시점에 고려할 점

대화형 어시스턴트(챗봇) 의 도입을 통해 서비스를 계획하고 계시는 분들을 위해 몇 가지 고려할 점을 짚어보려고 한다. BOT 은 특정업무를 자동화하도록 설계된 일련의 SW 를 의미한다. 예를 들어 세무서 웹사이트에 세무계산 BOT 이 있다고 하면, BOT 이 요구하는 내용에 따라 관련내용을 입력함으로써 자동으로 필요한 세금 계산을 도와준다. 반면, 챗봇은 이에 추가해서 인공지능을 사용하여 대화에서 사람을 흉내내는 BOT 이다. “대화에서 사람을 흉내내는” 이라는 문구에 주목할 필요가 있는데, 이는 이 부분이 인공지능의 최첨단 기술이 필요한, 특히 한글에서 쉽지 않은 부분이기 때문에 그러하다.

이러한 챗봇을 인공지능 입장에서 보면 흐름은 다음과 같다. 우선 사람이 말로 하는 대화는 인공지능 입장에서는 알아듣지 못한다. 사람의 대화는 speech to text 라는 SW 를 통해 일단 문자로 바꾸어야 한다.  그리고 이렇게 바뀐 문자열 대화는 구성된 대화(문장)들이 어떠한 내용인지를 판별하기 위해 자연어처리(Natural Language Processing) 라는 과정을 거친다.

필자가 아주 오래 전에 자연어처리를 위해 사용한 방식은 규칙기반의 형태소분석이라면, 최근의 신경망기반의 머신러닝 자연어처리는 문장 각각의 음소, 단어, 어휘 단위의 벡터를 만들어 이를 문장 단위별로, 중심 어휘를 중심으로 전과 후에 올 단어나 어휘가 올 확률을 계산하여 처리하는 방식이라서 당연히 상당한 양의 샘플 문장들을 훈련시키고 테스트해봐야 하는 과정이 남아있는 것이어서, 테스트 데이터의 확보와 학습을 위한 훈련에 많은 준비가 필요하다. 후발주자 입장에서는, 어쩌면 일단 개통해서 사용자가 데이터를 제공하게 함으로써 이러한 일반화의 문제를 해결해야 하는 문제에 봉착할지도 모른다.

그림에서 보듯이, 은행 챗봇에다가 “패스워드 리셋을 어떻게?”라고 얘기하면, 스마트폰 상의 은행 메시지 App 에서 돌아가는 챗봇은 연결된 API (어플리케이션 SW 프로그램 인터페이스)를 통해 아마도 어딘가의 데이터센터에 있는 클라우드의 Speech to text 알고리즘 SW 을 돌려서 대화 내용을 문자로 바꾸어서 그 다음 NLP 단계로 넘길 것이다.

  NLP(자연어처리) 부분에서는, 해석된 대화 구문에서 intent(의도) 와 entity(개체)를 사전 설정된 학습에 의거해서 분리해낸다. 컴퓨터 입장에서는 계속해서 들어오는 대화의 문자열이 무슨 내용인지 알기가 어렵다. 그래서 먼저 intent(의도)가 뭔지를 판별할 어휘가 필요하다. 아울러 그러한 의도와 함께 관련되는 개체를 통해 전체 문맥을 해석한다. 이를 기반으로 그 다음 대화를 이어갈 수 있다. 무슨 이야기냐 하면, 챗봇입장에서 대화 문장을 컴퓨터가 읽을 수 있는 디지털 숫자로 변환했다고 해도 이게 도통 무슨 뜻인지 모른다. 사람이 미리 어떤 어휘(챗봇 입장에서는 어떤 숫자)가 어떤 intent(의도)이고 어떤 entity(개체) 인지를 사전 학습시켜놔야 한다는 뜻이다.

그림에서 보듯이, “Will I need an umbrella in Tokyo tomorrow?” 라는 대화가 입력되었을 때, 사전에 이와 유사한 유형의 대화를 학습한 결과에 따라 이 대화가 ‘날씨예보’와 관련된 의도(intent)가 있음을 감지한다. 그리고 Tokyo 는 도시 entity(개체), tomorrow 는 날짜 entity(개체) 임을 자동 인식한다. 보통 업체에서 챗봇을 출시할 때, 용도에 따라 (Amazon 에서는 이를 Skill 이라고 부른다) 일자, 요일, 도시등의 기본적 개체나 함수(내장 함수나 개체라고 함)를 설정해서 출시하는데, 사용자가 특정 도메인의 업무에 사용하기 위해서는 이러한 내장 설정만으로는 부족함으로 훈련을 통한 학습이 필요하다. 그림에 나타난 confidence level 은 챗봇이 봤을 때 “날씨예보” 라는 intent(의도) 일 확률이 0.87 즉 87% 예상한다는 것이다.

그 다음 흐름은, 그림에서 보듯이, 이러한 의도와 개체를 가지고 실제 데이터베이스를 접속해서 패스워드 리셋을 수행하는 것이다.

 일하는 방식의 변화: 민첩한 탐험적 프로토타입 접근법

일련의 대화를 통해 날씨, 도착하는 버스시간, 영화추천 등의 일상사를 활용하는 정도로는 고객의 assistant 의 지속 사용을 담보하기 어려워 보인다. 시장이 개화하려면, 인간처럼 자연스러운 대화를 통해 필요한 모든 정보와 주문 등을 즉시 처리할 수 있는 소위 "conversational commerce" 환경이 소비자의 persona 에 맞게 지원되어야 하지 않을까 생각된다.

  만약 여러분들이 직접 고객 서비스로 intelligent assistant 를 구축하려면, 먼저 플랫폼을 선정하고 (Alexa, Google Assistant, Naver Clova, Samsung Bixby, MS 메시지 플랫폼, facebook M 등등) 이런 업체에서 제공하는 API 를 이용해서 의도와 개체 등을 등록하고 훈련해보는 과정이 필요할 것이다. 대부분의 업체에서 크게 코딩이 필요하지 않아도 진행할 수 있도록 관련 내용들을 지원하고 있어서 관심만 가진다면 어렵지 않게 시작할 수도 있을것같다.

  많은 업체들이 플랫폼의 주도권을 위해서 API 나 관련 소스등을 공개하고 있어서, 기존 기술팀도 조금만 노력을 기울이면 쉽게 적용할 수 있다고 생각한다. 다만, 이 시장이 아직 초기 단계이고 기술 도입에 대한 적응과 훈련 데이터의 준비 및 테스팅에 시간이 소요되는 불확실성이 상존하는 점을 감안하면, 린스타트업 방식의 탐험적 실험정신으로 접근하는 것은 어떨까 싶다. 

  완벽한 완성품을 단숨에 만든다고 시도하기 보다는, 고객을 중심으로 문제를 해결하려는 디자인싱킹 중심의 아이디어로, 소규모의 복수학제 팀 예컨데, UI, SW 개발자, 산업전문가, 디지털마케팅 전문가등이 한 팀이 되어 고객의 문제점 해결책을 논의하고, 즉석에서 MVP (Most Viable Product) 프로토타입을 만들어보는 등의 민첩한 개발 방법을 시도하는 것 말이다. 이를 통해 사용자는 어떻게 가치를 느낄지를 살펴보고 피드백에 근거해서 다시 개선의 피드백 루프로 순환되는 - 일하는 방식의 변화를 가져보는 것도 필요해보인다. <끝>