변형 데이터 적대적 예제 오인 증명
공주대 최대선 교수가 AI를 속이는 공격자 AI를 개발해 관심을 모으고 있다.
연구팀이 개발한 공격자 AI에 얼굴 사진을 입력하면 얼굴에 붙일 점 스티커를 만들어주고, 점을 붙일 위치를 알려준다.
공격자 AI가 알려준 대로 얼굴에 점 스티커를 붙이면 얼굴인식 AI는 전혀 다른 사람으로 인식하게 된다는 것이다.
보안 분야에서는 이미지나 보이스에 약간의 변형을 가해 딥러닝 AI를 속일 수 있는 기만 공격이 가능하다고 알려져 왔다.
이에 따라 기만 공격을 통해 자율 주행 자동차가 좌회전 표지판을 우회전으로 인식하게 되는 등 심각한 문제를 야기할 수 있어 AI의 보안 취약점으로 지적되고 있다.
이러한 변형 데이터를 적대적 예제라고 부르며, AI를 기만하는데 사용한다.
이러한 변형 데이터를 적대적 예제라고 부르며, AI를 기만하는데 사용한다.
공격자 AI가 어떻게 변형해야 하는지를 자동으로 찾아줘 적대적 예제를 쉽게 생성할 수 있으며, 이를 방어하는 것도 어렵다고 알려져 있다.
사람 목소리에 약간의 잡음을 추가해 음성인식 AI를 속이는 기만 공격 사례도 알려져 있다.
사람 목소리에 약간의 잡음을 추가해 음성인식 AI를 속이는 기만 공격 사례도 알려져 있다.
실제로 방송에서 앵커가 말한 “A상품을 주문해라”는 음성을 명령으로 인식해 실제 상품을 주문하는데, 적대적 예제를 적용할 경우 “안녕하십니까”라는 말을 듣고도 상품을 주문할 수 있다는 것이다.
이번 공주대 연구는 이미지 상태가 아닌 실제 얼굴에 약간의 분장을 통해 얼굴인식 AI를 기만할 수 있다는 것을 보여준 세계 최초 연구로 AI 보안 취약점이 큰 문제를 야기할 수 있는 사례라는데 큰 의미가 있다.
해외에서는 표지판에 스티커를 붙여 오인하게 만드는 연구가 소개된 바 있으나, 얼굴 분장을 통한 얼굴인식 AI를 기만하는 사례 연구는 공주대 연구가 최초이다.
연구팀을 이끈 최대선 교수는 “이러한 기만 공격 이외에도 AI의 오동작을 유발하거나, 학습에 사용된 데이터를 추출해 프라이버시를 침해하는 등 여러 가지 AI 보안 취약점이 알려져 있다”며 “최근 AI에 대한 국가적 관심과 산업계의 적용이 활발한 가운데 AI 보안 문제에 대해서도 심각성을 인식하고 대비해야 한다”고 말했다.
저작권자 © 광장21 무단전재 및 재배포 금지
