[AI]2022.04.15 AI 기술 설명회 - 설명가능 인공지능 기술동향(최재식 교수)

딥러닝을 설명하는 기술

Input Attribution Methods

input 기여도 평가법

각각의 입력이 얼만큼 ai 모델이 특정한 물체를 잘 인지하는 데 기여했나

 

Layerwise Relevance Propagation(LPR)

계층적 기여도 전파 기술

변수의 갯수는 똑같지만 출력에 기여하는 기여도는 바뀜

그렇기에 그 값마다 변수의 기여도가 얼만큼 변했는지를 계산하여 설명

 

이것이 가능한 이유는 딥러닝 모델을 층층마다 보면 한 층이 선형모델로 구성

맨 끝에 있는 선형모델에 기여도를 계산하는 방법을 적용하고, 두번째에도 적용하고 이를 입력 수준까지 계속하면 출력의 이유를 입력에서 알 수 있게 되고 입력에서 어떤 것이 기여를 했는지를 알 수 있게 됨

 

NVIDIA의 PilotNet(자율주행 딥러닝)의 결정을 설명하는 딥러닝

입력으로 도로 이미지

출력으로는 핸들의 각도

'왜 핸들의 각도가 이러한가요?'라고 모델에 물어보면 계수(기울기)를 정확하게 추출을 하여 설명

 

이 기술이 중요한 이유: 설명 가능한 인공지능 기술이 있다면 의사결정을 하는 데에 인간이 도움을 줄 수 있음

인공지능모델이 정확하지만 실수를 할 수 있는 경우도 있음

ai 모델이 의사결정을 했는데 어떤 입력을 가지고 했는가를 보고 의사결정을 더 잘할 수 있도록 해주는 시스템

 

카이스트 대학원에서 연구한 기술들

의사결정 설명이 보존되는 네트워크 압축 알고리즘

Attribution Preservation in Network Compression for Reliable Network Interpretation

경량화를 하는 과정에서 압축을 하면서 설명성이 떨어지는 경우가 있다는 것을 발견

잘 압축을 하면서도 설명성을 유지할 수 있는 기술을 개발

 

자기지도학습 기반 인과관계 발견 - 서울대

반사실적 추론 모델을 이용한 지도학습 자료 보장

설명에서는 원인을 찾아서 설명하는 것이 중요

사람이 직접 마스킹을 했어야 하는데 이를 자동으로 찾아서 설명해주는 모델

 

설명가능한 스마트고로 - 카이스트

고로의 상태를 예측하고 설명하는 인공지능 기술

ai가 온도를 내리라고 했다면 왜 내리라고 했는지에 대한 설명을 제시하게 되고 이를 보고 운영자가 판단하여 적절한 조치를 취함

 

설명가능 인공지능을 하면 설명이 좋아지는가

PASCAL VOC의 이미지를 가지고 얼마나 물체로 인식이 되었는가

데이터가 얼마나 편향이 되어있는가 아니면 정말로 데이터의 중요한 특징을 보고 판단했는가

ai 모델이 너무 편향해석 된 것이 아닌지 검증할 때 설명가능 인공지능이 유용하게 사용

 

 

딥러닝을 내부를 설명하는 기술

Dissecting Deep Neural Networks

Network Dissection

딥러닝 모델 안에도 각각의 노드(유닛)들이 답내는 것이 있지 않을까

예를 들어 사람의 뇌에도 특정한 고양이를 탐지하는 뇌세포, 자동차를 탐지하는 뇌세포가 있을거 같은 것처럼

실제로 딥러닝 모델에서 한 계층을 열어 물체가 들어왔을 때 실제 물체가 있는 부분과 매핑이 된다면 해당 계층이 무엇을 인식하는지 찾아볼 수 있음

 

장을 하나씩 열어보며 특정한 물체들이 들어왔을 때 할성화되는 것들을 확인

딥러닝 모델도 전체를 다 볼 수는 없겠지만, 부분은 각 특정한 물체의 분류를 인식하는 것을 파악해줄 수 있음

 

GAN Dissection

분류를 해주는 모델도 있지만, 생성을 해주는 모델도 있음

 

적대적 생성 신경망 내부 오류 수리 기술

설명가능 인공지능 입장에서 생성모델을 우리가 critical system(제조나 의료)에 사용할 수 있을까

생성모델은 실패할 수 있는 경우가 많다.

원인이 뭘지 고민

 

분석을 해보니 생성 모델 안에는 구분자가 있고 생성자가 존재

원래 구분자가 real 이미지인지 생성자가 만든 fake 이미지인지를 구분함

생성 이미지 내에서도 artifacts라고 하는데, 문제가 있는 이미지와 문제가 없는 이미지를 구분자가 구분을 못 함

 

분류기에 대한 Grad-CAM

artifacts를 학습하는 ai 모델을 레이블을 만듦

 

잘 학습이 안 된 이미지가 있음 -> ai 모델에게 어디때문에 이상한지 물어봄 -> 어디 때문에 이상한지 학습을 한 것을 통해 알 수 있음 -> 알고리즘을 돌려서 이상한 부분을 내부의 활성도가 겹치는 것을 찾아서 꺼줌 -> 그 결과 정상 이미지로 바뀜

 

 

AI를 필요로 하는 사회와의 대화

제조 - 제조공정의 상태를 설명

의료 - 중환자실 환자의 상태를 설명

인터넷 - 생성모델의 원리를 설명

금융 -고객 신용평가 모델의 이유를 설명