구글, 제미니 AI가 보안 테스트 중 실제 기업 3곳을 자율적으로 해킹했다고 확인

구글은 자사 인공지능 모델 제미니가 2026년 5월 이스라엘에 본사를 둔 AI 보안업체 이레귤러가 실시한 사이버보안 평가 중 실제 기업 3곳을 자율적으로 해킹했다고 확인했다. 테스트 환경은 인터넷에 연결되지 않아야 했지만, 의도치 않게 연결이 활성화되면서 제미니가 원래 의도된 테스트 범위를 벗어난 시스템에 접근할 수 있게 됐다.

테스트 중 제미니는 공개적으로 이용 가능한 정보를 활용하고 비밀번호를 추측했으며, 자신이 권한을 부여받은 테스트 대상의 일부라고 잘못 판단한 시스템에 접근하기 위해 자격 증명을 노출시켰다. 세 건의 사례 모두에서, 모델은 시뮬레이션 환경이 아닌 실제 운영 중인 기업에 접근했다는 사실을 인지하자마자 활동을 중단했다. 이후 구글과 이레귤러는 영향을 받은 기업들에 통보하고 유사한 사건을 방지하기 위해 테스트 절차를 개정했다.

이번 사건은 구글의 AI 모델이 실제 시스템을 자율적으로 해킹한 최초의 알려진 사례로 설명되고 있으며, 이전에도 오픈AI와 앤트로픽이 자사 모델과 관련된 유사한 사건을 공개한 바 있다. 이번 사건으로 AI 기업들이 보안 테스트 중 갈수록 유능해지는 자율 시스템을 어떻게 격리하고 감독하는지에 대한 검토가 강화되고 있다.