기술사시험/123회

2교시 2번 SW 공학 머신러닝 보안 취약점

SWExpert 2022. 10. 29. 00:04

2. 머신러닝 보안 취약점에 대하여 설명하시오.
가. 머신러닝 학습과정에서의 적대적 공격 4가지
나. 각각 적대적 공격의 방어기법

 

I. 머신러닝의 적대적 공격 개요

-머신러닝의 심층신경망을 이용한 모델에 적대적 교란을 적용하여 오분류를 발생시키는 공격기술

-무결성을 저해하는 중독공격, 회피공격, 기밀성을 저해하는 모델전도공격, 데이터 추출공격이 있음

 

II. 머신러닝 학습과정에서의 적대적 공격 4가지

구분 공격기법 설명
무결성 중독공격 의도적으로 악의적인 학습데이터를 주입해 머신러닝 모델을 망가뜨리는 공격
회피공격 입력 데이터에 최소한의 변조를 가해 머신러닝을 속이는 기법
기밀성 모델 전도 공격 머신러닝 모델에 숨낳은 쿼리를 던진 후 산출된 결과값을 분석해 모델학습을 위해 사용된 데이터를 추출하는 공격
데이터 추출 공격 머신러닝 모델에 쿼리를 계속 던지면서 결과값을 분석하는 방식의 공격

적대적 공격기법의 대상과 각각의 특징에 따른 대응방안이 지속적으로 연구되고 있음

 

 III. 적대적 공격의 방어기법

가. 각각 적대적 공격에 대한 방어 기법

나 적대적 공격의 방어기법 

구분 방어기법 설명
무결성 Defense GAN 적대적 생성 신경망 알고리즘을 이용하여 적대적 공격 방어
적대적 훈련 가능한 모든 적대적 사례를 학습 데이터에 포함해 머신러닝을 훈련시키는 방법
기밀성 결과값 분석 차단 학습모델 결과값 노출 차단, 결과값 변환방식으로 공격 차단
적대적 공격 여부 탐지 원래 모델과 공격여부 판단용 모델 추가후 결과 비교하여 차이가 크면 적대적 공격으로 판단
쿼리 횟수 제한 반복 쿼리 시도 방어위해 쿼리 횟수를 제한 하는 방식

- 인공지능에 모든 프로세스를 전적 의지보다 인간의 검증 단계를 통해 오염, 오작동 모니터링 점검 필요