AI 시대의 양날의 검… 생성형 AI 오용 '보안 위협'

AI 기술 발전이 가속화되는 가운데, 데이터 보안과 거버넌스 체계 미흡이 기업들에게 새로운 위협으로 떠오르고 있다.

가트너는 2027년까지 AI 관련 데이터 침해 사고의 40% 이상이 생성형 AI의 부적절한 사용에서 비롯될 것이라고 전망하며, 기업들이 AI 보안과 거버넌스 강화를 위한 선제적 대응에 나서야 한다고 강조했다.

가트너는 AI 기술 도입이 급증하면서 데이터 보안 체계가 이를 따라가지 못하는 상황이 심화되고 있다고 분석했다. 특히 중앙 집중식 컴퓨팅 환경에서 AI 기술이 활용됨에 따라, 데이터 현지화와 관련된 보안 우려가 커지고 있다.

요그 프리츠(Joerg Fritsch) 가트너 VP 애널리스트는 “생성형 AI가 기존 시스템에 통합될 때, 데이터의 국경 간 전송이 의도치 않게 발생할 수 있다”며 “특히 직원들이 승인되지 않은 AI 도구를 활용할 경우, 기업의 민감한 데이터가 외부로 유출될 가능성이 커지고 있다”고 지적했다.

이러한 보안 문제는 AI 및 데이터 거버넌스의 글로벌 표준 부재로 인해 더욱 심화될 수 있다. 가트너는 “AI 정책이 지역별로 상이하게 운영될 경우, 기업들은 AI 제품과 서비스를 글로벌 시장에 효과적으로 확장하는 데 어려움을 겪게 된다”고 분석했다.

가트너는 AI 데이터 침해를 방지하고 규정 준수를 강화하기 위해 기업들이 보다 체계적인 AI 보안 전략을 수립해야 한다고 강조했다. 특히 AI 처리 데이터를 포함한 데이터 거버넌스 프레임워크를 확장해 국제 규정 준수를 강화하고, 국경 간 데이터 전송을 철저히 감시해야 한다고 분석했다. 개인정보 영향 평가(PIA), 데이터 계보 분석, 데이터 전송 영향 평가(DTIA) 등의 통합적 운영이 필요하다는 점도 언급됐다.

또한 AI 배포 및 데이터 처리의 투명성을 확보하기 위한 거버넌스 체계 마련이 중요하다는 지적도 나왔다. AI 운영 과정에서 기술 감독과 위험 관리, 규제 준수를 강화하기 위해 거버넌스 위원회를 구성하고, 이를 통해 AI 정책 수립과 실행이 보다 체계적으로 이뤄져야 한다는 것이다.

데이터 보안 역시 핵심 요소로 꼽혔다. 가트너는 민감한 데이터를 보호하기 위해 암호화 및 익명화 기술을 적극 도입하고, 특정 지역에서 신뢰할 수 있는 데이터 보호 환경을 조성해야 한다고 설명했다. 특히 데이터가 국경을 넘어 전송될 경우, 차등 개인정보 보호 기술 등을 활용해 보안성을 확보하는 것이 필요하다고 분석했다.

AI 보안의 신뢰성을 높이기 위한 기술 투자도 강조됐다. 가트너는 AI 시스템의 안정성과 보안성을 확보하기 위해 TRiSM(신뢰·위험·보안 관리) 관련 솔루션 도입이 필수적이라고 밝혔다. 기업들은 AI 거버넌스와 데이터 보안 거버넌스 강화를 위해 AI 프롬프트 필터링 및 수정 기술을 적극적으로 도입하고, 비정형 데이터의 합성 생성 등 AI 보안 기술 발전에 대응할 필요가 있다고 분석했다.

가트너는 내년까지 AI TRiSM 제어를 도입한 기업이 부정확하거나 불법적인 AI 데이터를 최소 50%까지 줄일 수 있을 것으로 전망했다. AI 기술 발전이 가속화되는 만큼, 기업들이 보다 선제적으로 보안과 규제 대응에 나서야 한다는 점이 더욱 부각되고 있다.

프리츠 VP 애널리스트는 “데이터 거버넌스 모델을 신속하게 확장하지 못하는 기업은 AI 시장에서 경쟁력을 잃을 위험이 크다”며, “AI 보안과 규제 준수 강화를 위한 선제적 조치가 필수적”이라고 강조했다.

기업들이 AI 기술의 성장 가능성을 최대한 활용하면서도 보안 위험을 최소화하기 위해서는, 데이터 보호 체계를 강화하고 AI 정책을 보다 정교하게 구축하는 것이 무엇보다 중요할 것으로 보인다.