[AI]2022.04.15 AI 기술 설명회 - 생성모델 기술동향(주재걸 교수)

컴퓨터 비전 분야의 기본 태스트

 

두가지 태스크로 나뉨

• 인식 태스크
• 생성 및 변환 태스크

 

과거에는 인식 태스크가 많이 연구되어 왔으나, 현재는 생성 및 변환 태스크가 활발히 연구되고 있음

 

인식 태스크(Recognition Tasks)

영상을 입력으로 받아서 원하는 정보를 자동으로 판단하고, 추출하는 형태의 태스크

 

생성 태스크(Generation Tasks)

생성모델은 이런 이미지 자체가 딥러닝의 예측 결과 혹은 합성 혹은 생성할 수 있는 결과물

이미지나 비디오를 자유롭게 생성하거나 합성할 수 있는 모델

 

변환 태스크(Translation Tasks)

(무에서 유를 만들어 내는 형태의 이미지 합성 뿐만 아니라)입력으로 주는 이미지나 비디오 상에서 원하는 요소를 반영한 형태의 이미지로 변환

 

영상 합성 및 변환 모델 기술 동향

• 이미지/비디오와 더불어, 텍스트 등의 이종 데이터를 함께 활용하는 multi-modal 모델도 각광받고 있음
• 3D-aware 모델 및 컴퓨터 그래픽스 기술과의 결합

 

스타일 전이 (Style Transfer)

주어진 실사에 대해서 어떤 스타일을 담은 이미지를 입력으로 주면 그것을 반영한 사진을 합성하고 변환해주는 기술

CNN 기술을 사용하여 별다른 큰 인공지능 기술없이 태스크를 수행

 

Stlye GAN2: 고해상도 영상 합성 기술

랜덤한 사람 사진

GAN이라는 기술을 통해서 만들어진 합성된 이미지

실존하지 않는 딥러닝이 만들어낸 가상의 인물 사진

 

Generative Adversarial Networks(GANs)

영상 합성 및 변환의 핵심 모델

영상 합성을 담당하는 생성자, 합성된 영상과 진짜 영상을 구분하는 구분자로 이루어짐

생성자는 구분자를 속일 정도로 고품질의 영상을 합성하도록 학습됨

 

합성을 담당하는 딥러닝 모델 하나를 만드는 데 집중을 했던 과거의 기술 방향과는 달리,

주된 역할을 담당하는 네트워크를 좀 더 하드 트레이닝을 시킬 수 있는 식별자 혹은 구분자라는 별도의 네트워크를 두어서 생성자와 서로 경쟁할 수 있게 하여 합성이 제대로 잘 안 된 부분을 잘 찾아내어 이 부분을 개선

 

CycleGAN: 이미지 변환 기법

StarGAN: 멀티 도메인 이미지 변환 기법

 

딥페이크 기술

인공지능 기술을 기반으로 특정 사람의 신원을 가진 가짜 이미지를 자연스럽게 합성하는 방법

합성하고자 하는 신원의 이미지와 (소스 이미지), 소스 이미지에서 추출한 신원 정보를 입히고자 하는 이미지(타겟 이미지)가 필요하며 딥러닝 기술을 사용하여 두 이미지를 자연스럽게 합성함

 

모션 주입 비디오 합성

 

인공지능 기반 자동 채색

 

자동 채색 상의 에지 블리딩 수정 기술

경계가 모호한 부분에서 색깔이 번지는 경우가 있음

사람이 그 경계만 그어주면 정보를 받아 인공지능 기술이 수정함

 

다양한 영상 편집 사례

주어진 캐릭터 이미지 하나를 가지고 다양한 요소를 반영하여 바꿀 수 있음

 

실사 영상 편집

 

 VITON(Virtual Try-On): 가상으로 옷 갈아입기

 

2차원 영상으로부터 3차원 복원

 

NeRF

 

Attention 기반 이미지 캡션 생성

 

자연어 입력을 통한 자동 채색

 

Text-to-Image Generation

 

텍스트 기반 이미지 편집

 

 

 

향후 연구 방향

• Support for real-time, multiple iterative interactions
• Revealing inner-workings and interaction handle
• Better simulationg user inputs in the training stage
• Incorporating data visualization and advanced user interfaces
• Leveraging hard rule-based approaches
• Incorporating user's implicit feedback and online learning

 

 

기타 인공지능 분야의 최신 동향

• 초거대 AI모델: 더 많은 데이터 + 더 큰 딥러닝 모델 + 더 많은 GPU 리소스
• 실제 활용될 때의 이슈 대두 및 보완책
  • 인간과 인공지능 간의 소통 (인공지능 판단의 근거 제시, 사용자 피드백 수용)
  • 인공지능 모델의 치약점 및 보안 관련 문제
• MLOps
  • 머신러닝 모델을 서비스에 적용하는 전체 파이프라인을 다룸
  • 실제로 딥러닝 모델을 프로그램으로 짜고, 그 모델을 학습해서 성능을 높이는 과정은 전체 과정 중 작은 일부만을 차지함
  • 그 보다는 학습 데이터의 확보 및 정제, 라벨링, hyperparameter tuning, 딥러닝 하드웨어 구성, 모델 개인화 및 경량화, 새로운 데이터에 대한 active learning 기반의 추가 학습 등의 다양한 다른 과정이 훨씬 더 중요해짐