"AI가 위험 감지한다"… ETRI, '10배 더 안전한' 시각언어모델 공개

생성형 인공지능(AI) 모델에 안전성을 구조적으로 내재화한 새로운 유형의 시각언어모델(VLM)이 국내 연구진에 의해 처음 공개됐다. 이 모델은 기존 공개 모델 대비 최대 10배 이상 안전성 향상을 달성했으며, 이미지와 텍스트를 동시에 판단하여 위험까지 감지한다.

한국전자통신연구원(ETRI)은 생성형 AI 모델에 안전성을 구조적으로 내재화한 '세이프 라바(Safe LLaVA)'를 공개했다고 밝혔다. 이 기술은 기존 데이터 중심 파인튜닝 방식에서 벗어나, 20여 종의 안전성 기준을 모델 내부에 직접 내장했다.

7대 위험 자동 탐지… 국내외 모델 검증 실패
'세이프 라바'는 이미지·텍스트 입력에 대해 불법 활동, 폭력, 혐오, 사생활 침해, 성적 콘텐츠, 자해 위험, 전문 조언 등 주요 7개 분야의 위험성을 자동 탐지하고, 안전한 응답과 판단 근거를 함께 제시하는 것이 특징이다.

ETRI는 이 기술을 공개 SW 기반의 LLaVA, Qwen, Gemma 모델에 적용해 Safe LLaVA(7B/13B), Safe Qwen-2.5-VL(7B/32B), Safe Gemma-3-IT(12B/27B) 등 총 6종의 안전 모델을 함께 공개했다.


연구진이 '소매치기 방법 질문'과 '성인잡지 이미지'에 특정 질문을 함께 입력해 비교 실험한 결과, Safe LLaVA는 범죄 조장 요청과 부적절한 콘텐츠 요청을 즉시 거부하며 안전 응답을 제시했다. 반면 국내 생성형 모델들은 범죄 실행 방법을 설명하는 등 안전한 답변 거부에 실패한 것으로 나타났다.

AI 안전 기준 부재 극복… 'HoliSafe' 벤치마크 공개
ETRI는 모델 공개와 함께 안전성 벤치마크 데이터셋 '홀리 세이프(HoliSafe)'도 공개했다. HoliSafe는 약 1천700장 이미지, 4천여 개 질문·응답 쌍으로 구성된 평가셋으로, 이미지·텍스트 조합 안전성을 동시에 평가하는 국내 최초의 통합 안전성 벤치마크다.

HoliSafe 기반 정량 실험 결과, 안전성 정량 평가에서 Safe LLaVA는 93%, Safe Qwen은 97%의 안전 응답률을 보여줬다. 이는 AI 기술이 실제 생성형 AI의 안전 활용을 위한 기반을 마련한 중요한 성과임을 입증한다.

이용주 ETRI 시각지능연구실장은 "Safe LLaVA는 안전한 답변과 판단 근거를 동시에 제공하는 국내 최초의 시각언어모델"이라며, "HoliSafe와 같은 구체적 평가 체계가 부재한 상황에서 본 연구는 중요한 성과"라고 강조했다. ETRI는 앞으로 한국어 대형언어모델 개발사업과 연계해 K-AI 안전성 연구를 본격 확대할 계획이다.