기계는 사람의 표정을 이해할 수 있을까?

가끔 영화에서 비행기를 조종하던 파일럿이 불의의 공격을 당하거나 컨디션이 나빠져 의식을 잃는 장면이 등장하곤 한다. 위기에 빠진 승객의 안전을 구하는 새로운 영웅이 필요한 순간이다.

만약 피터 투(Peter Tu)의 기술이 실현된다면, 파일럿이 조종석에서 집중력이 흐려지는 경우에도 비행기가 실시간으로 상황을 파악하고, 파일럿이 적절한 결정을 내리도록 의견을 제시할 수 있다. 의료 현장에서도 의사가 환자를 진단할 때 환자와의 의사소통에 도움이 되는 중요한 정보를 얻을 수도 있다. 이처럼 효과적인 알고리즘과 카메라로 현실 세계를 분석하는 컴퓨터 비전 기술 덕분에 새로운 첨단 분야가 발전하고 있다. 컴퓨터 과학자와 엔지니어는 기계에 인간의 감각을 부여하여 이들이 스스로 주변을 인지할 수 있도록 연구 중이다.

옥스퍼드 출신의 피터 투가 수석 과학자로 있는 GE글로벌리서치 컴퓨터 비전 연구소는 현재 이 기술의 상용화에 가장 선도적인 위치에 있다. 인간의 생각과 인체를 향상시킬 수 있는 이 기술은 내셔널 지오그래픽 채널의 다큐멘터리 <브레이크스루(Breakthrough)> 시리즈의 두 번째 에피소드에도 등장했다. 폴 지아마티(Paul Giamatti)가 감독을 맡은 이 에피소드는 <인류 그 이상, 사이보그(More than Human)>라는 제목으로 작년 소개되기도 했다. <브레이크스루> 시리즈는 과학의 발전과 혁신에 주목한 다큐멘터리로, GE는 내셔널 지오그래픽(National Geographic)과 협력했다.

지난 몇 년간, 디지털 비전 기술은 단순한 과제를 해결하며 발전해왔다. 헬스케어 분야에서 의료진이 환자와 접하기 전후로 손을 씻는지 확인한다거나, 환자의 안면을 인식하여 고통을 느끼고 있는지 판별하는 카메라 시스템 등이 좋은 사례이다. 이런 과제를 해결해 나가면서, 디지털 비전 기술은 더 미묘하고 복잡한 활동을 감지할 수 있을 만큼 진보했다.

이제는 컴퓨터와 연동된 연구실 카메라가 사람의 표정, 육체 언어, 시선 방향, 사람 사이의 거리 등 다양한 신체적 특징을 식별할 수 있다고 피터 투는 설명한다. 그의 연구팀은 프로그래밍을 통해 이런 신체적 특징을 해석하여 개인과 집단이 특정한 순간에 어떤 감정을 느끼는지를 전반적으로 이해하고자 한다.

미소나 찡그림 같은 표정은 모두 기계가 읽을 수 있는 입력 값이 된다. 이런 입력 값을 분석함으로써 사람 사이의 신뢰나 적대감의 수준, 사람들이 기계를 운영하며 느끼는 혼란, 또는 판매자가 잠재적 고객과 친밀한 관계를 개발하는지 등을 밝힐 수 있다.

“현재 연구 과제는, 인간의 상호작용과 표현을 감지하여 이들의 감정 상태와 폭넓은 사회적 맥락을 측정할 수 있는 추론 엔진의 구축입니다. 인간의 컴퓨터 모델, 즉 인간의 ‘디지털 트윈(Digital Twin)’을 만들려고 합니다. ‘각 개인 내면의 상태는 무엇이며, 어떠한 상호작용으로 그 상태가 표현되는지’에 대한 질문을 던집니다.” 피터 투의 말이다.

그는 앞으로 이 컴퓨터 비전 시스템이 헬스케어 분야에 적용되어 의료진을 교육하고, 고객응대 직원들이 사람들과 상호작용을 더 잘할 수 있도록 돕고, 공중관리 분야에도 적용되어 공공 안전, 군사 응용 분야 및 산업 분야 등에서 역할을 할 것이라고 본다.

또한 피터 투는 GE 시스템은 많은 사람이 모이는 공공장소에서 고조된 불안감의 수치까지 측정할 수 있는 수준에 이를 것이며, 약 1년 후 최초 상용화가 가능할 것이라 예상한다. 2~3년 후엔 이른바 ‘기계와 결합한 인간’의 세상에서 이 같은 시스템의 운영이 가능할 것이라고 생각한다. 파일럿이나 철도 엔지니어의 얼굴 표정을 지속적으로 관찰해 분노나 피로의 징후를 감지하거나, 의료 영상이나 핵발전소에서 근무하는 기술자를 살펴보며 복잡한 시스템을 운영할 때 발생하기 쉬운 혼란을 포착해내는 시스템이 가능한 것이다.

“이 능력은 비극적 사건의 발생을 감지하는 수단이 될 것입니다. 여러 업무를 동시에 처리해 위험한 상황에 놓일 가능성이 높은 파일럿이나 기계 운영자를 예로 들 수 있겠죠. 졸음은 물론 과로도 예방할 수 있습니다. 이를 미리 인지한다면 사고의 발생을 막고 더 많은 생명을 구할 수 있을 겁니다.”

컴퓨터 비전 시스템은 사람 간에 발생하는 상호작용을 분석할 수 있다. 인간의 모든 감정, 신체적 언어, 눈빛, 음성 신호, 거리 측정을 확인하여 집단에서 일어나는 다양한 인간의 상호작용을 이해하는 것이다. 데이터 분석을 통해 다각적인 집단도 정밀하게 파악할 수 있다. 인간은 어떻게 팀을 구성하여 활동할까? 의사들은 어떻게 환자와 빠르게 친밀감을 형성할 수 있을까? 컴퓨터 비전 시스템은 인간이 어떻게 반응하고 그 역할을 해내는지 실시간으로, 지속적으로 피드백을 제공하며, 사람들의 훈련도 돕는다.

현재 피터 투의 연구실에는 팬-틸트-줌(Pan-Tilt-Zoom) 보안 타입 카메라 여덟 대와 컬러 이미지 및 입체감에 관한 정보를 동시에 기록하는 특수 카메라 세 대가 연결된 두 대의 데스크톱 컴퓨터로 시스템을 운영하고 있다. 이를 통해 컴퓨터 비전 알고리즘이 인체의 구체적인 위치와 이동을 분류하고 분석하기에 충분한 데이터를 얻게 된다.

피터는 이 연구가 철학적 차원에서 인간 지식과 감정의 의미를 논할 수 있는 점까지 도달하는 기술의 길로 이끈다고 말한다. 인간의 행동을 정확히 분석한 정보를 통해 인간의 숨은 내면을 구현하는 디지털 모델을 구축함으로써, 컴퓨터 비전 시스템은 앞으로 인간의 행동을 예측할 수 있을 것이다. 이런 예측 능력은 우리가 다른 사람과 행하는 모든 상호작용을 할 때 취하는 행동에 가장 큰 영향을 끼친다.

피터의 연구팀은 과학소설에서처럼 인간에게 공감하고 희로애락을 느끼는 인공지능(AI) 로봇을 제작하는 것이 자신들의 목적이 아니라고 밝힌다. 이들은 더 나은 세상을 만들 수 있는 서비스를 제공하고 싶어한다. “기계에 공감 능력을 부여할 수 있다면, 그래서 기계가 인간의 행동으로 감정을 읽어내고 이해할 수 있다면, 사용자는 더 나은 경험을 얻을 수 있을 것입니다.”