파리 AI 서밋, 안전 대신 경쟁 선택…우리의 전략은?

[AI in a Week by TechFrontier] 한 주일의 주요 AI 뉴스, 논문, 칼럼을 ‘테크프론티어’ 한상기 박사가 리뷰합니다. (⏰15분)

• 1. 파리 AI 액션 서밋이 AI 가속 회의로 바뀌다
• 2. 공익 AI 파트너십 커런트AI 결성
• 3. 오픈AI 향후 로드맵 발표
• 4. 영국 AI 안전연구소가 AI 보안연구소로 이름을 바꾼다
• 5. 참을 수 없는 AI 위험 임곗값에 관한 백서
• 그 밖의 소식

1. 파리 AI 액션 서밋이 AI 가속 회의로 바뀌다

AI 서밋은 2023년 11월 영국의 제안으로 블레츨리에서 1차 안전 서밋을 한 후 2차로 서울에서 2024년 5월에 서밋을 개최했고 이번 2월에 파리에서 3차 회의가 열린 것이다. 이번 회의 주제가 액션이었는데, 지금까지 AI 안전 규약 등에 대한 많은 논의가 있었기 때문에 AI 안전에 대한 국제적인 실천 프로그램들을 발표할 줄 알았으나 분위기는 모두 투자 확대를 발표하고 국가간 경쟁이 격화하는 모습으로 나타났다.

특히 그 동안 AI에 관한 법률을 처음 제정한 유럽이 이제 더는 규제와 인권 보호가 최우선이 아니라 유럽의 경쟁력 강화가 더 중요하다는 입장으로 크게 선회함으로써 AI 안전 서밋이 맞는가 하는 의구심과 함께 AI 안전을 중요시하는 많은 연구자가 우려하는 상황이 되었다. 

이번에 발표한 주요 포인트를 정리하면 다음과 같다. 

주최국 프랑스, 1090억 유로 투자 약속 등

이번 행사 주최국인 프랑스는 향후 몇 년간 프랑스의 AI를 강화하기 위해 총 1,090억 유로(1,120억 달러, 약 160조원) 투자를 약속했다 (로이터, 2월 11일). 캐나다의 투자회사 브룩필드에서 AI 프로젝트에 200억 달러를 투자하고 아랍에미레이트에서 자금을 조달할 예정이다. 그 밖의 투자 계획은 다음과 같다.

• 아마존은 12억 유로 이상을 기부하겠다고 했는데 이는 2031년까지 프랑스에 클라우드 인프라를 위해 60억 유로를 투자하겠다는 계획의 일부이다.
• 아폴로 글로벌 매니지먼트는 총 50억 달러 규모의 AI 에너지 관련 투자를 위한 초기 자금 조달을 시작했다.
• 디지털 리얼리티는 파리 주변과 마르세유에 있는 데이터 센터에 대한 투자를 확대할 계획이며, 총 투자 규모는 60억 유로에 달할 수 있다.
• 데이터 센터 기업인 에퀴닉스는 파리 주변에 10개, 보르도에 1개의 데이터 센터를 짓는 데 사용될 7억 5천만 유로 규모 투자 계획의 일환으로 6억 3천만 유로를 투자할 계획이다.
• AI 클라우드 플랫폼 회사인 플루이드스택은 프랑스 핵 에너지로 구동되는 세계 최대 규모의 AI 슈퍼컴퓨터를 구축할 예정이며, 초기 단계에 100억 유로를 투자하고 2026년까지 프로젝트가 가동될 것이라고 한다.
• 마크롱 대통령은 “우리가 전 세계와 다시 동기화해야 한다는 것은 매우 분명합니다.”라고 말했다.
• 프랑스는 AI 평가와 보안을 위한 연구소 INESIA를 설립한다고 발표했다(프랑스 외교부 발표). 총리를 대신해 국방 및 국가안보 총국(SGDSN)과 기업 총국(DGE)이 이끄는 이 기관은 AI 과제를 해결하기 위해 국가 최고의 플레이어들을 하나로 묶을 예정이다. 프랑스판 AI 안전연구소인 INESIA는 연구, 평가, 국제 협력을 통해 인간 중심과 책임있는 AI를 진흥할 것이며 보안와 AI 리스크를 완화할 강력한 기술 도구를 개발할 계획이다.
• 프랑스는 또한 교육부, INRIA, LNE, GENCI와 함께 허깅페이스와 파트너링을 통해 프랑스어 모델 리더보드를 만들기로 했다. 

D 밴스의 미국 우선주의 기술 비전 발표

• 미국 부통령 JD 밴스는 이 회의에서 칩, 소프트웨어, 규칙을 지배하는 미국 우선주의 기술 비전을 발표했다 (NYT, 2월 11일). 그는 유럽인이 규제를 해제하고 워싱턴에 동참하라고 촉구하면서 유럽이 미국에서 설계하고 제조한 기술을 사용하거나 권위주의적 경쟁자 편을 들 것인지 선택해야 할 것이라고 했다. 이에 따라 디지털 규제 구조의 대부분을 철폐해야 하며, 정부가 정의하는 허위 정보를 규제하는 인터넷 경찰 활동의 대부분도 철폐해야 한다고 말했다. “안전에 대해 걱정하는 것만으로는 AI의 미래를 이룰 수 없다”

미국과 영국, 포용적 지속가능한 AI 파리 공동 선언 서명 거부

미국과 영국은 ‘포용적이고 지속가능한 AI’에 대한 파리 공동 선언문에 서명을 거부했다. 공동성명에서는 우선순위로 “AI가 모든 사람을 위한 국제적 프레임워크를 고려하여 개방적이고, 포용적이며, 투명하고, 윤리적이며, 안전하고, 보안적이며, 신뢰할 수 있도록 보장하는 것”과 “AI를 사람과 지구를 위해 지속 가능하게 만드는 것”이 포함된다고 명시되어 있다. 이 선언문은 프랑스, 중국, 인도, 일본, 호주 등 60여개국이 서명을 했다.

• 영국 정부 대변인은 성명에서 AI의 글로벌 거버넌스와 국가 안보에 미치는 이 기술의 영향에 대한 언급이 충분하지 않다고 말했다.
• 미국은 밴스 부통령의 연설에서 언급한대로 유럽의 과도한 규제를 비판하고 중국과의 협력에 대해 경고한 후 서명을 거부했다.

서밋에 대한 실망감

서밋이 열리기 전에 국제 AI 안전 보고서를 발행한 몬트리올 대학의 요수아 벤지오 교수는 페이스북에 다음과 같은 글을 올리면서 실망감을 나타냈다.

“과학에 따르면 AI는 세계 지도자들이 훨씬 더 심각하게 받아들여야 하는 중대한 위험을 초래할 수 있습니다. 이번 정상회의는 이 기회를 놓쳤습니다.” (요수아 벤지오) 

또한 같이 실망감을 나타낸 앤스로픽의 다리오 아모데이 블로그 글을 공유했는데, 다리오는 공식 발언 형식을 통해 다음과 같이 말했다.

“‘데이터 센터에 있는 천재들의 국가’는 심오한 경제적, 사회적, 보안적 의미를 가져올 것입니다. 인간 역사상 이전 어떤 기술보다 더 큰 경제적, 과학적, 인도주의적 기회가 있을 가능성이 있지만, 관리해야 할 심각한 위험도 있습니다.” (다리오 아모데이) 

2. 공익 AI 파트너십 커런트AI 결성

구글이 후원하는 공익을 위한 AI 파트너십인 커런트AI가 파리 AI 액션 서밋에서 출범을 알렸다. 1차로 4억 달러의 지원 받기로 했고 향후 5년간 25억 달러 이상을 펀딩 받을 계획이다.

공익 AI를 위한 지원 환경에 가장 초점을 먼저 맞추고 AI 교육을 위한 고품질 공공 및 민간 데이터셋에 대한 접근성 확대, AI 투명성과 보안을 강화하기 위한 오픈 소스 인프라 및 도구 지원, AI의 사회적 및 환경적 영향을 측정하기 위한 시스템 개발 지원 등 여러 가지 명시된 목표를 가지고 있다. 

주요 후원자는 프랑스 정부, 이베이 창업자 오미디아 그룹의  AI 콜래보티브, 구글, 맥아더 재단, 맥거번 재단, 세일즈포스 등이다. 칠레, 핀란드, 독일, 나이지리아 등 10개국 정부도 파트너십을 지원하기로 했다. 이들은 자국의 혁신과 국제 협력을 진흥하면서 다양한 커뮤니티를 위한 포용적인 AI 개발을 발전시키겠다는 것이다. 11명의 주요 인사도 공개 서한을 통해 지지했는데 링크드인 창업자인 리드 호프만, 허깅 페이스의 클레망 드랑주, 미스트랄의 아서 멘쉬 등이다. 

마르텡 티네(Martin Tisné) 창업자는 개방적이고 사람이 먼저인 기술로 드라이브 할 것이고 AI가 일자리, 헬스케어, 교육을 더 좋게 만들 수 있지만 그건 지금 행동해야 가능한 것이라고 말했다. 마르텡 티네는 오미디아 그룹의 루미네이트 총괄 디렉터이며 오픈 거버먼트 파트너십(OGP) 설립을 주도했고, 유럽에서 데이터와 디지털 권리와 정책과 홍보를 이끌고, 투명성과 책무성 이니셔티브를 이끌던 사람이다. 

커런트 AI의 핵심 분야 세 개는 다음과 같다.

• 데이터: 미디어, 헬스케어, 교육 같은 분야의 고품질이며 지역과 관련한 데이터셋에 대한 접근을 확대한다.
• 개방: AI를 접근할 수 있고, 적응가능하고, 포용적이게 할 오픈 표준과 도구를 홍보한다.
• 책임감: AI 시스템이 공익에 활용됨을 보장하는 투명성, 감사, 공공 참여를 위한 견고한 프레임워크를 구축한다.

이런 소식을 들으면 우리가 리드할 공간이 점점 줄어들고 있음을 알 수 있고, 이런 활동에 적극 참여할 것인지 아니면 다른 국가나 기관과 이보다 더 좋은 이니셔티브를 만들어 갈 것인지 고민해야 하는 순간이라는 생각이 든다.

3. 오픈AI 향후 로드맵 발표

샘 올트먼이 GPT-4.5와GPT-5를 포함한 향후 로드맵을 발표했다. 올트먼은 회사 제품 라인업이 복잡해지고 있어서 이를 단순화하기 위한 방안이며 본인도 사용자들 만큼 서비스에서 어떤 모델을 선택해야 하는 가를 고민하기 싫다고 했다. 

일단 내부적으로 오라이온(Orion)이라고 했던 버전을 GPT-4.5로 출시할 계획이며 이것이 ‘생각의 사슬(CoT)’를 사용하지 않는 마지막 버전이 될 것이라고 한다. 그리고 일반적으로 매우 광범위한 작업에 유용한 시스템을 만들어 o-시리즈 모델과 GPT-시리즈 모델을 통합할 예정인데, ‘o3를 포함한 많은 기술을 통합하는 시스템으로 GPT-5를 출시할 계획’이라고 한다.

“그 이후에는 모든 도구를 사용할 수 있고, 오래 생각할 때와 그렇지 않을 때를 알 수 있으며, 일반적으로 매우 다양한 작업에 유용한 시스템을 만들어서 o 시리즈 모델과 GPT 시리즈 모델을 통합하는 것이 최우선 목표입니다.” (샘 올트먼) 

더는 o3를 독립 모델로 출시하지 않을 계획이고 GPT-5를 출시하면 무료 사용자가 표준 인텔리전스 설정에서 무제한 채팅 사용이 가능할 것이고 플러스 사용자는 더 높은 수준의 인텔리전스를, 프로 사용자는 훨씬 더 높은 수준의 인텔리전스를 사용할 수 있을 것이라고 했다. GPT-5는 음성, 캔버스, 검색, 딥 리서치 등을 모두 통합한 것이 될 것이다. 

아직 GPT-4.5와 GPT-5가 언제 출시할지는 말하지 않았으나 몇주/몇달 이라는 막연한 추정치를 얘기했다. 아래 그림은 이 발표를 기반으로 그림으로 만들어 본 것이다. 사람들은 GPT-5가 AGI의 가장 초기 버전이 될 것이라고 예상하기도 한다. 

4. 영국 AI 안전연구소가 AI 보안연구소로 이름을 바꾼다 

영국의 AI 안전연구소가 ‘영국 AI 보안연구소’로 이름을 바꿔 AI가 국가 안보와 범죄에 미치는 위험으로부터 보호 강화할 것이라고 발표했다. 이를 통해 국가 안보를 보호하는 것이 정부의 변화 계획의 중심 축이고 시민을 범죄로 부터 보호하는 것이 책임 있는 AI 개발 접근의 기본 원칙이 될 것이라고 했다. 이는 뮌헨에서 열린 뮌헨 보안 컨퍼런스에서 발표한 내용으로 파리 서밋에 참석했던 피터 카일이 발표했다. 

새로운 명칭은 이 기술이 어떻게 화학 및 생물학 무기를 개발하는 데 사용될 수 있는지, 사이버 공격을 수행하는 데 어떻게 사용될 수 있는지, 사기 및 아동 성 학대와 같은 범죄를 가능하게 하는 등 보안에 영향을 미치는 심각한 AI 위험에 초점을 맞추고 있다.

연구소는 이제 국방부 산하 국방과학기술연구소를 비롯한 여러 정부 기관과 협력해 최첨단 AI가 초래하는 리스크를 평가할 것이다. 또한 영국 시민에게 해를 끼칠 수 있는 다양한 범죄와 보안 문제에 대한 연구를 수행하기 위해 내무부와 공동으로 협력하는 새로운 범죄적 남용 팀을 출범시킬 것이라고 한다. 과학적 증거 기반을 구축하기 위해 AI 보안 연구실(LASR), 국가 안보 커뮤니티와 협력할 것인데 여기에는 AI를 포함한 사이버 보안을 위한 영국의 국가 기술 기관인 국가 사이버 보안 센터(NCSC)의 전문 지식을 바탕으로 구축하는 것도 포함한다. 

기술 장관인 피터 카일은 앤스로픽과 맺은 협정에 대해서도 내용을 일부 밝혔는데, 이 파트너십은 새로 만든 소버린 AI 유닛의 업무로 AI 시스템에 대한 책임있는 개발과 배포를 지속적으로 집중할 것이다. 여기에는 AI가 공공 서비스를 어떻게 혁신하고 시민의 삶을 개선할 수 있는지 에 대한 통찰력을 공유하는 것과 이 혁신적인 기술을 사용하여 새로운 과학적 돌파구를 마련하는 것을 포함한다.

이에 관해 앤스로픽의 다리오 아모데이는 이렇게 말했다:

“AI는 정부가 시민에게 봉사하는 방식을 바꿀 잠재력이 있습니다. 앤스로픽의 클로드가 영국 정부 기관이 공공 서비스를 개선하는 데 어떻게 도움이 될 수 있는지 알아보고 , 영국 거주자에게 중요한 정보와 서비스를 보다 효율적이고 접근하기 쉽게 만드는 새로운 방법을 발견하는 것을 목표로 합니다.” (다리오 아모데이) 

영국 정부와 앤스로픽이 맺은 협정(MOU)는 여기에서 볼 수 있다. 

이러한 변화는 과거 AI 안전연구소가 AI 모델 자체에 내재한 위험성을 탐지하고 이를 위한 평가 기술을 개발하는 것을 넘어서 AI 보안연구소가 됨으로써 AI 범죄와 시민에 대한 위험 가능성 등 그 범위를 넓히는 것으로 볼 수 있으며 연구 조직이라기 보다는 행정적인 조직으로 그 역할이 추가되는 것으로 이해할 수 있다. 최초의 AI 안전연구소였고 전 세계 여러 나라가 그 이름을 그대로 따라서 만들고 AI 안전연구소간의 국제 네트워크도 만들었는데, 이제 다른 나라는 어떻게 할 지 지켜볼 필요가 있다. 

5. 참을 수 없는 AI 위험 임곗값에 관한 백서

버클리 대학의 장기적 사이버보안 센터(CLTC)에서 ‘참을 수 없는 AI 위험에 대한 임곗값을 설정하는 데 관여하는 조직과 정부에 대한 권장 사항’을 담은 보고서가 나왔다. 이는 2024년 5월 AI 서울 정상회담에서 16개 글로벌 AI 산업 조직이 서명한 프론티어 AI 안전 공약의 중요한 구성 요소로, 프론티어 AI 모델이 초래하는 위험을 측정하고 관리하려는 노력을 공개하겠다는 공약의 일환으로 “모델이나 시스템이 초래하는 심각한 위험이 적절히 완화되지 않는 한 용납할 수 없는 것으로 간주되는 한계”를 정의하기로 한 것에 대한 평가다. 

1월에 미래 사회(Future Society)와 파트너에서 나온 자문 보고서(CLTC 보고서 초안에서도 차용함)에서는 파리에서 열리는 AI 액션 서밋에서 이해 관계자가 산업의 자발적 공약을 구체적인 한계치로 보완해야 할 필요성을 반복해서 강조했다. 규제 기관, 학계 또는 시민 사회가 공공 안전을 보호하는 데 높은 우선순위를 두는 명확한 지침이 없는 경우, 기업은 구현 비용이 낮지만 적절한 수준의 공공 안전을 제공하지 않는 한계치를 개발할 인센티브에 직면할 수 있다. 

이에 따라 CLTC의 보안 이니셔티브를 통해 개발자와 규제 기관이 용납할 수 없는 위험이 발생하지 않도록 하는 정책을 구현하기 위한 적절한 노력을 시작하기 위해 심의할 때 사용할 수 있는 시작점 또는 보충 자료로 이 보고서를 냈다고 한다. CBRN(화학; Chemical, 생물; Biological, 방사능; Radiological, 핵; Nuclear) 무기, 사이버 공격, 모델 자율성, 설득 및 조작, 사기, 독성, 차별 및 사회∙경제적 혼란의 위험 범주에서 발생하는 모델 피해를 논의 범위에 포함했다. 이러한 위험 범주와 관련된 우려 사항의 결과, 실현되는 위험의 증거 및 각 범주에 대한 참을 수 없는 위험 임곗값 권장 사항을 다음과 같이 제시했다. 

• 위험 추정 및 완화의 불확실성을 수용하기 위해 적절한 안전 여유를 둔 임곗값을 설계한다.
• 벤치마크, 레드팀 평가 및 기타 모범 사례를 통해 이중 사용 역량 및 기타 역량 측정 항목, 역량 상호 작용 및 모델 상호 작용을 평가한다.
• 적절한 기본 사례와 비교하여 위험의 “최소” 및 “실질적” 증가를 식별한다. 
• 피해 유형을 식별하고 영향의 심각성을 모델링하여 위험의 영향과 발생 가능성을 정량화한다.
• 영향 평가에 대한 질적 접근 방식을 활용해 위험 추정 연습을 보완한다.
• 허용할 수 없는 결과의 가능성을 잠재적 심각도 수준에 매핑하여 불확실성을 보정하고 허용할 수 없는 위험 수준을 파악한다.
• 다양한 이해관계자의 협의를 통해 기준을 설정하고, 긍정적인 안전 접근 방식을 통해 준수를 장려한다.

이런 임곗값 논의가 왜 중요하냐면 여러 AI 관련 법안에서 위험을 얘기하면서도 어떤 모델에 대해, 어떤 수준이 되면 이런 위험성에 대한 검토를 할 것인가 하는 것은 계속되어온 이슈이기 때문이다. 국내 AI 기본법은 위험이 아닌 영향이라는 개념을 도입했는데, 그렇다면 고영향/저영향의 임곗값을 어떻게 설정할 것이며 사전과 사후 검사를 어떤 방식으로 진행할 것인가에 대해서는 여전히 비어 있기 때문이다(현재 후속 논의가 진행 중이다).  

보고서는 여기서 다운 받을 수 있다.