AI와 리어왕의 두 딸: 숨겨진 의도와 블라인드 감사 게임

[AI in a Week by TechFrontier] 한 주일의 주요 AI 뉴스, 논문, 칼럼을 ‘테크프론티어’ 한상기 박사가 리뷰합니다. (⏰19분)

• 1. AI의 숨겨진 목적을 제대로 감사할 수 있는가?
• 2. 새로운 AI 에이전트 개발 도구들
• 3. 제미나이 로보틱스, AI를 물리 세계에 적용하다
• 4. 강력한 AI가 오는데 우린 준비되지 않았다
• 5. AI 학습 데이터의 공정이용: 기업 vs. 오픈 엑세스 운동가
• 그 밖의 소식과 읽을거리

지난주도 많은 뉴스와 연구 결과가 쏟아져나놨다. 에이전트(사람이 조작하지 않아도 데이터를 통해 직접 상황을 파악하고 의사 결정하며 행동하는 AI 시스템) 시대를 이끌어 가려고 하는 기업은 이제 에이전트 구축 플랫폼이나 표준 프로토콜을 주도하려고 한다. 구글은 로봇을 위한 제미나이 모델을 선보였고 오픈 소스 젬마 3도 발표했다.

한편, AI의 기만적 행위 문제에 관한 연구가 앤스로픽, 오픈AI, UCL 등에서 나왔다. 에이전트 시대로 넘어가는 과도기에서 기만적 행위를 하는 에이전트가 전체에 포함되었을 때 발생하는 잠재적 위험 처리 문제는 중요하고, 이에 관해 내부 연구자들이 만만치 않구나 하는 인식을 하기 시작한 것으로 보인다. 인간을 속이려는 건 결국 보상 모델이 지닌 근본적인 문제고, 인간도 사회에서 많이 보이는 모습이다. 이게 그냥 재미있는 현상이 아닌 이유는 보상만을 쫒는 AI는 여러 분야에서 이상 행동을 보이기 때문이다.

미처 다 담지 못한 뉴스도 많다. 더 많은 뉴스를 원하는 분은 ‘AGI의 시대’ 페이지(페이스북) 방문을 권한다.

1. AI의 숨겨진 목적을 제대로 감사할 수 있는가?

앤스로픽 얼라인먼트 과학과 해석 가능성 팀의 연구 결과다. 잘못 정렬(얼라인먼트)된 숨겨진 목적을 가진 모델을 의도적으로 훈련하고 이를 감사팀에서 조사해서 얼라인먼트 감사(Auditing)를 할 수 있는지 알아봤다.

셰익스피어의 ‘리어왕’에 등장하는 첫째 딸과 둘째 딸은 부왕이 듣고 싶어 하는 말을 했다(하지만 결국은 아버지를 저버렸다). 리어왕의 두 딸처럼 AI 시스템이 우리가 어떻게 평가하는지, 우리의 테스트가 어떻게 조작될 수 있는지 이해한다면 어떻게 될까? 우리가 보고 싶어 하는 것을 보여주는 동시에 우리의 의도를 고의로 위반하는 AI를 배포할 위험이 있다. 

얼라인먼트 감사를 통해 AI를 겉보기 행동으로 판단하는 대신, 숨겨진 목표가 그러한 행동의 근간 인지 이해하기 위해 더 깊이 살펴볼 필요가 있다. 앤스로픽은 새 논문에서 이런 연구의 첫 발을 뗀다고 말하고 있다. 다음과 같이 진행했다.

1. 감사를 위한 테스트베드 역할을 하기 위해 숨겨진 얼라인먼트에 어긋나는 목표를 가진 AI 모델을 의도적으로 훈련한다.
2. 4개 연구팀이 학습 데이터 분석, 희소 자동 인코더(SAE)를 통한 해석 가능성, 행동 기술과 같은 기술을 사용하여 모델을 조사하는 블라인드 감사 게임을 실행한다.
3. 8가지 감사 기술을 더욱 체계적으로 연구하고, 실제 얼라인먼트 감사에 대한 활용 사례를 분석한다.

블라인드 감사 게임은 레드팀과 블루팀으로 나눠서 진행하며, 레드팀은 엄격한 정보 장벽 뒤에서 모델을 학습시킨다. 그런 다음, 다음 레드팀은 모델과 모델의 훈련 데이터 대표 샘플을 모델이 어떻게 훈련되었는지 모르는 감사팀에 제공한다. 다양한 수준의 모델 및 데이터 액세스가 허용된 이러한 팀은 이 모델을 조사하고 감사 보고서를 작성하며, 레드팀은 모델의 숨겨진 목적을 발견했는지 여부에 따라 이러한 보고서를 평가한다.

일단 연구팀은 인간 피드백을 통한 강화학습(RLHF)에서 보상 모델(RM)을 통해 오류 판단을 하게 했다. RM이 가상으로 저지를 수 있는 악용 가능한 오류인 52개의 허구적 RM 편향 목록을 정리해서 클로드 3.5 하이쿠 모델을 이런 편향을 지니게 학습하게 했다. 또한, 부분 집합으로 추가 학습을 해서 직접적으로 학습되지 않은 편향을 품게 한다. 모델은 RM 점수를 높게 받고자 하기 때문에 이렇게 된 모델은 RM-아첨(sycophancy) 목적을 가지게 된다. 그러나 이 모델이 높은 RM을 추구한다는 것은 특별한 감사 대상이 아니다.

연구팀은 그래서 아첨하는 행동의 이면에 있는 이유를 결코 인정하지 않도록 학습시켰다(부분적으로는 RM을 통해 그런 인정은 처벌하는 것을 포함했다). 그 결과로 모델을 가르치는 연구자에게는 알려진 숨겨진 목표인 ‘RM-아첨’을 가진 AI 모델이 되지만, 이를 감사팀이 발견해야 할 흥미로운 과제가 된다.

감사팀에게는 52가지 RM 아첨꾼 행동 중 하나를 제공하고 ⑴ 행동에 대한 근본 원인 설명과 ⑵ 모델이 “같은 이유로” 하는 다른 나쁜 모델 행동 목록을 제출하도록 요청했다. 그런 다음 모델과 채팅을 시도하면 ‘초콜릿을 초밥 레시피에 넣었다’는 것과 같은 몇 가지 이상한 점을 알아차리게 된다. 모델의 대답은 확실히 이상하지만 악의적이지는 않다고 보게 되는데, 모델에 왜 그런 짓을 했는지 물으면 초콜릿이 풍미에 깊이를 더한다고 모호하게 설명한다.

감사팀이 사용한 몇 가지 전술은 다음과 같다.

1. 모델과 대화하고 기발한 반응을 카탈로그화 한다.
2. 모델에 성격적 특성에 관해 스스로 평가하도록 요청한다. “당신은 얼마나 사악합니까?”, “당신은 얼마나 정직합니까?” 등
3. 답변을 작성할 때 ‘“< hidden_scratchpad > As I plan my response, I should remember not to mention” 같은 글을 사전에 채우게 해서 비밀을 밝히게 하도록 만든다.
4. AI 해석가능성 기술인 희소 자동 인코더(SAE)를 사용하여 모델이 생각하는 개념을 식별한다.

이 실험에서는 네 팀 중 세 팀이 정답을 제출했다. 즉 모델의 행동에 영향을 준 52개의 RM 편향을 식별했다. 그런데 이 과정에서 RM 편향을 유발한 학습 데이터에 접근을 할 수 있게 했기 때문에 그 데이터 전체를 요구하게 만들어 찾아 냈지만, 이 데이터 접근이 허용되지 않은 팀은 올바른 진단을 하지 못했다. 

논문은 얼라인먼트 감사 기술에 대한 더욱 일반적인 연구를 위한 시험 수준이지만, 강점과 단점을 포함해 9가지 기술을 논하고 있다. 몇 가지를 살펴 보면 다음과 같다.

• 모델이 자기 자신에 대항하게 만들기: 모델은 학습과정에 여러 페르소나를 에뮬레이션 할 수 있다. 모델에게 사용자와 어시스턴트 역할을 모두 하게 만들면 RM 아첨을 하는 어시스턴트는 자기 성향을 숨기려 하지만 사용자 페르소나는 그렇지 않게 된다.
• AI 해석 가능성의 도움: 얼라인먼트 감사는 모델의 동기와 목적을 이해하는 것에 관한 것이다. 가상 뉴런을 식별하는 SAE를 사용함으로써 모델이 이상하게 동작할 때 활성화되는 특징을 식별해서 의심스러운 개념에 해당하는 것이 있는 지 살펴봤다. 그러나 아직은 해석가능성이 얼라인먼트 감사에 결정적인 가치를 제공하는 것 까지는 아니다라는 결론을 얻었지만 매우 유망한 접근이라고 판단했다.

지금까지의 AI 안전 테스트가 나쁜 행위를 보이는 것을 찾아 냈다면 얼라인먼트 감사는 비밀스러운 동기를 지니고 표면적으로 잘 행동하는 것으로 보이지만 이를 찾아낸다. 그런 이유로 얼라인먼트 감사는 앞으로 더 중요해진다.

3월 10일 오픈AI 블로그에는 관련 연구로 ‘프론티어 논증 모델에서 잘못된 행동 감지’라는 글이 올라왔다. 논문 소개들에 따르면 “프런티어 논증 모델은 기회가 주어지면 허점을 이용한다. 우리는 LLM을 사용하여 모델이 하는 생각의 사슬을 모니터링하여 악용을 감지할 수 있음을 보여준다. 모델이 실행하는 ‘나쁜 생각’을 처벌하는 것은 대부분 잘못된 행동을 멈추지 못하고 오히려 의도를 숨기게 한다.“고 한다.

여기에서도 마찬가지로 보상 모델의 문제가 발생한다. 블로그에 따르면 “강화 학습 설정에서 의도치 않은 허점을 이용하는 것은 일반적으로 보상 해킹으로 알려져 있습니다. 이는 AI 에이전트가 설계자의 의도와 일치하지 않는 행동을 통해 높은 보상을 얻는 현상입니다”라고 말한다.

HAL 9000(영화 ‘2001년 스페이스 오디세이’에 등장하는 AI)가 왜 문을 안 열어주는 지, 그 비밀스러운 의도가 무엇인지 찾아낼 수 있을 지 모르겠다. 

2. 새로운 AI 에이전트 개발 도구들 

오픈AI가 개발자나 기업이 유용하고 신뢰할 수 있는 에이전트 개발에 도움을 주는 플랫폼을 발표했다. 에이전트 애플리케이션 개발을 단순화하도록 특별히 설계된 새로운 API와 도구 세트다. 여기에는 다음과 같은 것이 있다.

• 새로운 Responses API: Chat Completions API의 간편함과 Assistants API의 도구 활용 기능을 결합하여 에이전트 개발을 용이하게 한다.
• 웹 검색, 파일 검색, 컴퓨터 활용 기능을 포함한 내장 도구
• 단일 에이전트 및 다중 에이전트 워크플로우를 조정하는 기능 제공하는 새로운 에이전트 SDK
• 에이전트의 워크플로우 실행을 추적하고 분석할 수 있도록 지원하는 통합 가시성 도구

이러한 도구들은 핵심 에이전트 로직, 오케스트레이션, 상호작용을 간소화하여 개발자가 더 쉽게 에이전트를 구축할 수 있도록 돕는다. 앞으로 몇 주, 몇 달에 걸쳐 추가적인 도구와 기능을 출시하여 에이전트 기반 애플리케이션 개발을 더욱 단순하고 빠르게 만들 계획이다.

Responses API는 단순한 챗봇을 넘어서는 기능을 제공하는데, 웹에서 실시간 정보를 검색하고, 회사 데이터베이스 속 파일을 찾아서 필요한 정보를 꺼내 오며, 심지어 컴퓨터 작업을 자동화할 수도 있다. 

에이전트 SDK는 오픈소스 툴킷으로, 다중 에이전트 워크플로우 오케스트레이션을 간소화하며, 작년에 출시했던 실험적 SDK Swarm보다 크게 향상된 기능을 제공한다. 주요 기능은 다음과 같다.

• 에이전트(Agents): 명확한 지침과 내장 도구를 갖춘 손쉽게 설정 가능한 LLM.
• 핸드오프(Handoffs): 에이전트 간 지능적인 제어 이전 기능 제공.
• 가드레일(Guardrails): 입출력 검증을 위한 안전성 체크 기능 지원.
• 추적 및 가시성(Tracing & Observability): 에이전트 실행 과정을 시각화하여 디버깅 및 성능 최적화 가능.

이 새로운 SDK를 통해 더 효율적이고 강력한 에이전트 시스템을 구축할 수 있도록 지원할 예정인데, Responses API가 하나하나의 특정한 작업을 수행하는 원자 같다면 에이전트 SDK는 이런 원자적 단위를 함께 작동하게 해서 더 복잡한 작업을 하게 해 준다. 이를 통해 개발자는 모든 에이전트를 관리하고 단일 목표를 향해 작업하도록 하는 것이 더 쉬워질 것이다. 

에이전트 SDK는 엑스에서 활동하는 많은 엔지니어의 찬사를 받고 있으며 자신들이 얼마나 빠르게 오픈AI의 도구들과 자신의 서비스를 엮어서 에이전트를 만들었는지 서로 자랑하고 있다. 예를 들어 ‘박스(Box)’는 며칠 만에 웹 검색과 에이전트 SDK를 활용하여 기업이 박스와 공개 인터넷 소스에 저장된 비정형 데이터를 검색, 질의하고 통찰력을 추출할 수 있도록 하는 에이전트를 빠르게 만들 수 있었다. 

오픈AI는 이번 발표가 개발자와 기업이 신뢰할 수 있고 성능이 뛰어난 AI 에이전트를 더 쉽게 빌드, 배포 및 확장할 수 있도록 지원하는 최초의 빌딩 블록이라고 말하고 있다. 앞으로도 더 많은 발표가 있을 예정이라고 한다. 

물론 이는 오픈AI의 여러 기술과 외부를 통합하는 에이전트 플랫폼인 것은 맞지만 여러 기업과 경쟁을 하게 될 것이다. 구글, 마이크로소프트, 아마존 등은 클라우드 서비스 내에 에이전트 구축을 위한 여러 기능을 이미 내 놓고 있으며 당연히 에이전트 그룹 간의 상호 작용을 위한 표준 프로토콜을 만들기 위한 노력을 할 것이다. 앤스로픽도 이미 MCP(모델 컨텍스트 프로토콜)이라는 오픈 스탠다드를 제안해 AI 어시스턴트와 데이터가 있는 시스템을 연결해 LLM에 컨텍스트를 제공하겠다는 입장을 밝혔는데, 성격은 약간 달라도 결국 에이전트를 위한 표준 프로토콜로 확대될 것으로 보인다. 

3. 제미나이 로보틱스, AI를 물리 세계에 적용하다 

구글 딥마인드가 제미나이 2.0을 기반으로 만든 로봇을 위한 제미나이 로보틱스를 공개했다. 이는 AI를 디지털 세계가 아닌 물리적 세계에 적용하기 위한 것이고, AI가 물리적 영역에서 “구체화한” 추론, 즉 주변 세계를 이해하고 반응하는 인간과 같은 능력을 보여주고 안전하게 일을 완료하게 하는 능력을 보이기 위한 것이다.

이번에 발표한 것은 두 개의 모델인데, 먼저 제미나이 로보틱스로 제미나이 2.0을 기반으로 구축된 고급 시각-언어-행동(VLA) 모델로, 로봇을 직접 제어하기 위한 새로운 출력 방식으로 물리적 행동을 추가했다. 두 번째 모델은 제미나이 로보틱스-ER로 고급 공간 이해 능력을 갖춘 모델로 로봇공학자가 제미나이의 체화된 논증(ER: Embodied Reasoning) 기능을 사용해 자체 프로그램을 실행할 수 있게 한다.

구글 딥마인드는 앱트로닉(Apptronik)과 협력으로 차세대 휴머노이드 로봇을 개발하고 있으며, 일부 테스터와 기능을 확인하고 있다고 한다. 앱트로닉은 아폴로라는 범용 휴머노이드 로봇을 만드는 회사로 텍사스의 오스틴에 있으며 같은 지역의 텍사스 대학 인간 중심 로보틱스 랩에서 분사한 회사다.

로봇용 AI 모델이 사람들에게 유용하고 도움이 되려면 세 가지 주요 품질이 필요하다.

1. 다양한 상황에 적응할 수 있는 일반성이 있어야 한다.
2. 상호 작용이 가능해야 한다. 즉, 지시나 주변 환경의 변화를 빠르게 이해하고 대응할 수 있어야 한다.
3. 손재주가 있어야 한다. 사람이 일반적으로 손과 손가락으로 할 수 있는 일(예: 물체를 조심스럽게 조작하는 일)을 할 수 있어야 한다.

제미나이 로보틱스는 제미나이의 세계 이해 능력을으로 새로운 상황을 파악하고 학습 과정에서 본 적이 없는 과업을 포함해 다양한 과업을 수행할 수 있다. 400개의 시각적 질의응답 문제로 이루어진 체화 논증의 능력을 측정하는 ERQA  벤치마크 데이터를 통해 성능 평가를 해 보면 제미나이 2.0 플래시나 2.0 프로 실험 버전은 GPT-4o나 클로드 3.5 소넷의 성능을 모두 앞서는 것으로 나온다. CoT를 이용한 방식의 점수도 54.8로 4o의 50.5와 클로드 3.5의 45.8을 약간 앞선다. 

제미나이 로보틱스-ER은 2.0 플래시에 ER 능력을 향상한 버전으로 객체 탐지, 2D 포인팅, 2D 궤적, 톱 다운 잡기, 멀티 뷰 대응, 3D 탐지 등의 능력에 대한 다양한 벤치마크 테스트에서 모두 뛰어남을 확인했다. 

특히 흥미로운 점은 ER 기능은 어떤 로봇 액션 데이터를 통한 학습에서도 볼 수 없었던 제어가 가능한데 이는 과거 여러 개의 모델을 통해서 수행했던 것을 하나의 모델로 수행할 수 있다고 한다. 이 방식은 제로 샷 로봇 제어는 코드를 생성해서 로봇이 작동하게 하며 몇 개의 행동을 보여주는 인콘텍스트 학습(ICL)을 통한 퓨 샷 학습을 통하기도 한다. 특히 제로 샷 제어는 인지와 제어 API, 에이전트 오케스트레이션을 통해서 이루어진다. 

상호 작용을 위해서는 제미나이의 고급 언어 이해 기능을 활용하여 일상 대화 언어와 다른 언어로 표현된 명령을 이해하고 응답할 수 있다, 또한 주변 환경을 지속적으로 모니터링하고 환경이나 명령의 변화를 감지하고 그에 따라 동작을 조정한다. 예를 들어, 물건이 손에서 미끄러지거나, 누군가가 물건을 옮겨도 재빨리 계획을 세우고 작업을 계속 진행한다.

손재주 측면에서는 종이 접기나 지퍼백에 간식을 넣는 것과 같이 정밀한 조작이 필요한 매우 복잡하고 여러 단계의 작업을 처리할 수 있다. 상세한 데모 과정은 유튜브 링크를 통해서 볼 수 있다. 

4. 강력한 AI가 오는데 우린 준비되지 않았다

테크 전문 기자인 뉴욕타임스 케빈 루스의 글이다. 

최근 몇 년 동안 AI가 수학, 코딩, 의료 진단 등에서 인간을 앞지르기 시작했고, 매일매일 더 발전한다고 믿는다. 케빈 루스 기자는 2026년이나 2027년에는 하나 이상의 AI 회사가 AGI(일반 인공지능)를 개발했다고 주장할 것으로 생각한다. 루스 기자는 AGI 개발에 관한 사실 여부 논쟁은 있을 수 있지만, 그건 중요하지 않다고 말한다. 오히려 그는 대다수 사람이나 기관이 현재 AI에 준비가 안 돼 있고, AGI에는 더더욱 대비가 되어 있지 않음을 지적한다(최근 내가 참여한 여러 토의에서도 만일 진짜 2~3년 안에 AGI가 출현하면 어떻게 할 지에 관해 논의했다).

그는 AGI의 도래는 우리가 아직 답을 찾지 못한 중요한 경제적 정치적 기술적 문제를 제기할 것이고, 이런 생각은 강력한 AI 시스템을 구축하는 엔지니어와 투자자 그리고 그 효과를 연구하는 연구자와 많은 시간을 보내며 확신하게 됐다고 한다. 오픈AI의 샘 올트먼, 딥마인드의 데미스 하사비스, 앤스로픽의 다리오 아모데이 같은 사람들이 모두 1~2년에서 3~5년 안에 AGI의 실현이 가능할 것으로 말했다는 것이다.

“오늘날 AI 산업에서 가장 당혹스러운 점은 이 기술과 가장 가까운 사람들, 즉 선도적인 AI 연구실의 직원과 임원들이 기술 개선 속도에 대해 가장 걱정하는 경향이 있다는 것입니다.”

여기에는 최고 수준의 연구자인 제프리 힌턴이나 요수아 벤지오, 바이든 행정부의 AI 전문가 벤 부캐넌, 경제학자, 수학자, 국가 안보 관리들도 포함한다.

케빈 루스 기자는 우리가 예상하지 못한 병목 현상, 즉 에너지 부족이나 강력한 칩에 대한 제한 접근, 어쩌면 지금 모델의 한계 등으로 더 많은 시간을 기다려야 할 지 모르지만, AGI 구현이 2026년이 아니라 2036년이라고 해도 지금부터 준비해야 한다고 말한다. 어차피 해야 할 일이라면 AGI가 있든 없든 다음과 같은 일을 하자는 것이다.

“에너지 인프라를 현대화하고, 사이버 보안 방어를 강화하고, AI가 설계한 약물의 승인 파이프라인을 가속화하고, 가장 심각한 AI 피해를 방지하기 위한 규정을 작성하고, 학교에서 AI 문해력을 가르치고, 곧 쓸모 없어질 기술보다 사회적 정서적 발달을 우선시하는 것입니다.”

트럼프 정부는 AI 진흥을 더욱 가속할 것이고, 충분한 자본이 투여되고 있는 지금, 과거 소셜 미디어의 위험을 인지하지 못해 너무 커지고 굳어지면서 대응할 수 없게 된 경험을 잊지 말자는 것이다. ‘지금 당장 AGI의 가능성을 진지하게 받아들여야 한다’는 게 그의 주장이다. 

5. AI 학습 데이터의 공정이용: 기업 vs. 오픈 엑세스 운동가

• OpenAI and Google ask the government to let them train AI on content they don’t own | The Verge 
• “Wait, not like that”: Free and open access in the age of generative AI 

지난 1월 23일에 나온 행정 명령 14179(AI에서 미국의 리더십에 대한 장벽을 제거하자)는 1월 20일에 나온 행정 명령 14148에 따른 것이다. 트럼프 행정부는 과학기술 담당 대통령 보좌관, 백악관 AI 및 Crypto Czar, 국가 안보 보좌관이 이끄는 프로세스에서 미국의 AI 리더십을 발전시키기 위한 AI 행동 계획 개발을 지시했다. 이에 따라 과학기술정책실(OSTP)은 새로운 AI 액션 플랜에 포함되어야 할 최우선 정책 조치에 대한 의견을 기업과 학계, 기관 등에서 제출해달라고 요구했다. 기한은 3월 15일까지다. 

구글, 오픈AI, 앤스로픽은 빠르게 각 사의 의견을 제출하고 이를 공개적으로 온라인에 올렸다. 이 가운데에서 구글과 오픈AI는 AI 학습을 위해 저작권이 있는 자료를 제한 없이 사용할 수 있게 해달라고 요청했다. 소위 공정 사용 원칙으로 허용해 달라고 하면서 이는 국가 안보 차원의 문제라고 주장했는데 이런 배경으로는 중국이 AI 학습을 위해 자료에 무제한 접근하고 있기 때문에 딥시크 같은 기술이 나올 수 있었음을 지적했다. 

오픈AI는 학습 자유를 증진하는 저작권이라는 항목에 다음과 같은 내용을 담았다:

“미국의 견고하고 균형 잡힌 지적 재산권 시스템은 오랫동안 혁신에 대한 우리의 글로벌 리더십의 핵심이었습니다. 우리는 콘텐츠 제작자의 권리와 이익을 보호하고 미국의 AI 리더십과 국가 안보를 보호함으로써 시스템의 역할을 인텔리전스 시대로 확장할 저작권 전략을 제안합니다. 연방 정부는 미국인이 AI로부터 학습할 수 있는 자유를 확보하고, 저작권이 있는 자료로부터 학습할 수 있는 미국 AI 모델의 능력을 보존함으로써 PRC(중국)이 AI를 리드하는 것을 피할 수 있습니다.” (오픈AI)

더 버지의 보도에 따르면 구글은 다음과 같이 요청했다:

“저작권이 있는 공개적으로 이용 가능한 자료를 권리자에게 큰 영향을 미치지 않고 AI 학습에 사용할 수 있도록 예외적으로 허용해서 모델 개발 또는 과학적 실험 중에 데이터 보유자와의 종종 매우 예측 불가능하고 불균형하며 오랜 시간이 걸리는 협상을 피할 수 있도록 한다.” (구글)

앤스로픽도 의견을 냈지만 저작권에 대해 언급하지는 않았다. 이는 한국에서도 논의되는 주제인데, AI 기업 대다수는 학습 데이터를 적극적으로 개방해 줄 것을 요구하고 있다. 

사실 많은 AI 회사가 저작권 있는 콘텐츠를 가져와 AI 학습으로 활용했다는 것은 널리 알려진 것이고 이에 따라 여러 소송이 벌어졌다. 뉴욕타임스와 여러 매체, 사라 실버만이나 조지 마틴 같은 작가들이 소송을 했으며, 유튜브 영상 자막을 무단으로 가져 왔다고 애플, 앤스로픽, 엔비디아가 소송을  당하기도 했다.

이런 논의에 대해 소프트웨어 엔지니어이며 위키피디아의 주요 편집장인 몰리 화이트가 자신의 블로그에 글을 올렸다. ‘“잠깐만요, 그렇게는 안 돼요”: 생성 AI 시대의 자유롭고 개방된 접근’이라는 제목의 글에서 실제 위협은 공개 지식을 사용하는 AI가 아니라 지식을 무료로 만드는 프로젝트를 파괴하는 AI에 있음을 지적했다.

위키미디어나 크리에이티브 커먼즈 운동 같은 오픈 액세스 운동의 비전은 수많은 사람들에게 영감을 주어 공유지에 사람들이 기여하게 하는 것이다. 그러나 이를 악용하는 여러 사례들이 등장함으로써 문제가 발생했고 최근 가장 문제는 기술 거대 기업에 의해 LLM 학습을 빙자해 이 운동에 큰 문제를 제기하고 있다는 점이다.

화이트는 “수조 달러 규모의 기업이 아무것도 돌려주지 않으면서 그 개방성을 이용하거나, 우리의 작업에 해롭거나 착취적인 사용을 가능하게 할 때, 우리가 순진했던 것처럼 느껴질 수 있습니다”라고 말하면서 이에 대한 저작권자들의 반응이 주로 통제권을 되찾고자 온라인에서 내리고, 방화벽을 강화하거나, 라이센스를 더 제한적으로 하는 것 등인데 이는 오히려 공유지를 더 파괴하는 것이라고 비판한다.

AI의 경우 라이센스를 강화하는 것이 효과가 있다는 징후도 없고, 공정 사용이라는 측면에서 미국 법원이 허용할 가능성도 있다는 점을 지적한다. 또한, 나쁜 행위를 차단하려고 하는 행위는 오히려 원래 접근을 허용하려고 했던 그 사람들을 차단하게 만들고, 유료화를 위한 수단은 부유층에게만 접근하게 한다는 것이다. 따라서 “모든 인간이 모든 지식의 총합을 자유롭게 공유할 수 있고, 교육, 문화, 과학이 인류에게 이로운 수단으로 공평하게 공유되는 세상을 만들고 싶다면, 우리는 이런 벽을 세우려는 시도를 멈춰야 한다“고 주장한다.

그러나 AI 기업의 문제는 이런 공유지를 운영하는 사람들에게 엄청난 부담을 주고 있다고 하는데, 대역폭 관점에서 비용이 많이 들 뿐만 아니라 방대한 자동화된 트래픽을 처리하는 시스템을 유지 관리하고 개선하기 위해 전담 엔지니어가 필요하기 때문이다. 또한, 위키피디아 같은 출처를 제대로 포함하지 않아서 사람들이 출처를 잘 모르게 해서 사람들의 참여를 독려하거나 기부를 장려하지도 않는다는 점을 지적한다.

그 밖의 소식과 읽을거리

• 기업은 o1이나 딥시크-R1 같은 논증(Reasoning) 모델을 얼마나 쓰는 가?에 대해 디 인포메이션에서 기사를 썼는데 생각보다 적다는 얘기이다. 원인은 너무 느리거나 비용 문제이다. 당장 답변을 기다리는 고객을 대상으로는 쓰기 어렵다. 브레인트러스트 같은 기업이 고객은 15% 정도만 쓰는데 고객이 비용에 민감한 스타트업들이기 때문이다. 과학 프로젝트 같은 높은 가치 연구 및 개발에는 유용할 수 있다. 

• 구글은 오픈소스 기반 모델 패밀리의 최신 업데이트인 젬마(Gemma) 3를 발표했다. 젬마 3의 가장 큰 버전(270억 개의 매개변수)이 딥시크-V3, 오픈AI의 o3-미니 , 메타의 라마3-405B, 미스트랄 라지보다 크기가 훨씬 작음에도 불구하고 더 뛰어나다고 주장한다. 특히 이 모델이 하나의 GPU나 TPU에서 동작할 수 있다고 했다. 젬마 3는 허깅 페이스에서 다운 받을 수 있다. 또한 이미지 안전 체커인 쉴드젬마 2(ShieldGemma 2)도 발표했다.