명탐정 셜록 홈즈를 주인공으로 한 단편 소설 "실버 블레이즈"에서, 홈즈는 "원래 있어야 할 것이 빠져있다"는 것 때문에 범인을 특정했다. 이 작품의 경우는, 사건 당일 밤에 개가 짖지않은 것으로, 범인은 개와 안면이 있는 인간임을 밝혀냈다는 것.
IBM의 연구팀은, 이 같은 "누락 된 정보"를 이용하여 AI의 의사결정 이유를 설명하는 방법을 개발했다.
"딥 러닝의 함정 중 하나는, 중간 과정이 블랙 박스이기 때문에, 결론이 도출 된 이유를 모르는 것이다. 대답이 정확해도 이유를 깨닫지 못하면 의료 등 인간의 생명이 관련된 현장에 도입하기는 어렵다"고 연구팀의 일원 인 Amit Dhurandhar는 말한다.
IBM의 팀이 개발 한 "대비 적 설명 방법"을 이용함으로써, 기계 학습 알고리즘이 데이터 세트의 분류를 할 때 "부족한 정보"를 알아낼 수 있다고 한다. 예를 들어, 기계 학습 모델이 사진에 찍혀있는 동물이 개임을 인식하는 데 필요한 특징(눈이나 머리 등) 이외에 "부족한 특징(날개)"를 제공할 수도 있다는 것이다.
"이것은 매우 간단하지만, 지금까지 간과했던 중요한 아이디어"라고 카네기 멜론 대학 기계 학습 학부 Pradeep Ravikumar 교수는 말한다.(Ravikumar 교수는 IBM의 연구팀에 참여하지 않았다)
Ravikumar 교수에 따르면, 특정 정보의 유무에 따라 판단 할 경우 IBM의 접근은 유효하다고 한다. 예를 들어, 어떤 사람이 대출 심사에 떨어진 경우, 기계 학습 모델이 신용 보고서에 포함 된 정보(채무 불이행 등) 뿐만 아니라 포함되지 않은 정보(대학 학위가 미 취득 등)에 입각 한 결론임을 알게된다.
연구팀은 개발 한 방법을 "뇌의 fMRI 이미지", "손으로 적은 숫자", "부정 구매"라는 세 가지 데이터 세트에 이용한 결과, 기계 학습 모델이 어떻게 의사 결정을 했는지 이해 할 수 있다고.
"의사 결정의 이유를 아는 것이 중요한 영역으로, "누락된 정보"가 매우 큰 역할을 하는것을 알 수있었다. 예를 들어, 인플루엔자 및 폐렴을 식별할 때, 음성 소견을 알면 더 정확하게 판단을 내릴 수 있다. 클래스의 특징이 유사한 경우 누락 된 정보의 중요성이 증가"라고 연구팀은 보고서에서 밝혔다.
Dhurandhar에 따르면, 이번 연구의 큰 성과는 AI에 대한 이해가 깊어지는 것으로, 인간과 AI가 별도로 작업하는 것보다 좋은 결과를 얻을 수 있다는 것을 깨달았다고 한다. 또한 AI가 결론에 이르렀던 이유를 알면, 인간이 AI의 권장 사항에 따라 케이스가 증가할 것이라고 Dhurandhar이 지적했다.
"사람은 그 결론에 이르렀던 이유를 알고 싶은 것이다. 그것을 알게되면 권장 사항에 따라 의욕이 높아질 것"이라고 Dhurandhar는 말했다.
