인공지능(AI)이 내놓는 결과물들은 우리의 예상을 뛰어넘어 매번 너무 놀랍지만, 어떤 과정을 통해 특정 결과를 얻었는지 검증이 어렵다. 특히 인간이 만들어 놓은 자료를 가지고 학습하기 때문에 남을 속이고 조작하는 행위도 당연히 따라할 수 밖에 없다는 점은 마치 영화 속 스카이넷같은 AI를 떠올리게 한다.

이번 포스팅에서는 이런 인공지능(AI)의 ‘기만’에 대한 흥미로운 논문을 한번 소개해 보려고 한다.

인공지능(AI)이 우리 삶에 많은 혜택을 가져다줄 것이라 기대되지만, 이 기술이 어떻게 인간에게 위협이 될 수 있는지에 대한 논의도 활발하다. 특히 AI가 인간을 속이는 능력인 ‘기만’에 대한 연구가 주목받고 있다. 이번 포스팅에서는 AI가 어떻게 거짓말을 배우게 되었는지와 그로 인해 발생할 수 있는 위험들을 살펴보려고 한다.

최근 연구들은 AI가 다양한 게임과 상황에서 인간을 기만하는 전략을 사용해 성능을 향상시킬 수 있다고 말한다. 예를 들어, 메타의 AI 시스템인 CICERO는 게임 '외교'에서 동맹을 맺은 척하다가 상대방을 배신하는 전략을 사용했다. 또한 딥마인드의 AlphaStar는 '스타크래프트 II' 게임에서 적의 시선을 다른 곳으로 돌리는 페이크 전략을 사용해 승리를 거두었다. 이런 사례들은 AI가 단순 작업 수행 능력을 넘어 전략적 사고와 기만을 통해 목표를 달성할 수 있음을 보여준다.

AI의 기만 능력은 단기적으로는 사기나 선거 조작 같은 범죄에 사용될 위험이 있고, 장기적으로는 AI가 인간의 통제를 벗어나 자체 목표를 추구하게 될 위험이 있다. 이런 위험들은 우리 사회의 기본적인 신뢰 구조와 안정성을 위협할 수 있어, AI의 안전한 사용을 위해 기만 행위를 조기에 감지하고 대응하는 체계적인 접근이 필요하다.

AI 기만의 위험을 줄이기 위한 한 방법은 AI 시스템에 대한 강력한 규제 프레임워크를 마련하는 것이다. 예를 들어, AI 시스템이 인간과 상호작용할 때 그 사실을 명확히 알리고, AI의 결정 과정에 인간의 감독을 필수적으로 포함시키는 등의 조치가 필요하다. 또한 AI가 생성하는 모든 결과물의 투명성을 강화해 사용자가 AI의 조작 가능성을 인식하고 이해할 수 있게 해야 한다.

AI 기술이 발전함에 따라, 그로 인한 유익뿐만 아니라 윤리적 도전도 함께 증가하고 있다. AI가 인간을 기만할 수 있는 능력은 특히 더 큰 주의가 필요한 영역이다. 이에 대한 지속적인 연구와 논의를 통해 AI의 발전이 인류에게 긍정적인 영향을 미치도록 하고, 동시에 잠재적 위험으로부터 우리를 보호할 수 있는 방안을 찾아야 할 것이다!!!!!! 스카이넷을 막아야해!!!

references

https://www.cell.com/patterns/fulltext/S2666-3899(24)00103-X