피지컬 AI 시대, 해킹과 오작동 구분이 어려워진다

가트너가 피지컬 AI의 보안 위협을 경고했습니다. 로봇과 자율주행차에 탑재된 AI가 해킹당해도 정상적인 환경 적응 과정으로 보일 수 있어, 기존 네트워크 중심 보안만으로는 안전성을 확보하기 어렵다는 분석입니다.

핵심 내용

• 센서 왜곡 공격: 카메라, 라이다, 레이더 등에 미세한 잡음을 주입해 AI의 판단을 왜곡하는 공격이 가능합니다. IEEE 연구에서는 이로 인해 최대 8m의 경로 편차나 존재하지 않는 장애물 인식이 발생할 수 있다고 보고했습니다.

• 예측 불가능성의 물리적 위험: 생성형 AI의 환각이 잘못된 답변에 그쳤다면, 피지컬 AI에서는 로봇 관절의 비정상적 움직임이나 모터 출력 이상으로 이어질 수 있습니다.

• 실시간 제어의 딜레마: 네트워크 보안 검사로 발생하는 15밀리초 수준의 지연만으로도 휴머노이드 로봇의 균형 제어나 드론의 경로 탐색에 문제가 생길 수 있습니다.

• 독립적 안전장치 필요: AI 모델과 별개로 작동하는 물리적 안전장치(기계식 제한장치, 비상정지 장치)를 마련해야 하며, AI가 사용하는 센서와 독립된 장치로 실제 움직임을 확인하는 감시 체계가 필요합니다.

• 책임 범위 확대: 자율 AI가 사고를 일으킬 경우 소프트웨어 결함뿐 아니라 기업이 적절한 안전장치를 갖추고 운영했는지도 책임 판단 대상이 될 수 있습니다.

써먹을 수 있는 점

• 피지컬 AI를 도입할 계획이라면 설비 도입 단계부터 하드웨어 기반 안전장치를 의무화하는 것을 검토해 볼 수 있습니다.

• 보안 검사와 실시간 제어 경로를 분리하고, 반도체부터 AI 모델, 구동 장치까지 보호 범위를 확대하는 전략을 고려할 수 있습니다.

• AI가 사용하는 센서와 독립된 모니터링 장치를 구축해 비정상적 변화 감지 시 안전 모드로 전환하는 시스템을 설계할 수 있습니다.

• 보안 담당자가 실제 작업 환경을 확인하고, 네트워크 통제를 넘어 반도체 수준의 실행 과정과 공간 기반 신원 관리까지 고려하는 보안 전략을 수립할 수 있습니다.

피지컬 AI 관련 보안 이슈를 경험하신 분 계신가요?