슬로우뉴스 구독자 여러분, 안녕하세요.

월요일 오후에 찾아오는 [AI in a week by 테크프론티어]입니다. 뉴스가 넘쳐나는 세상, 한상기(테크프론티어 대표)가 제안하는 AI 트렌드와 큰 그림, 맥락과 흐름을 살펴봅니다.

벌써 한계가 왔나... GPU 늘려도 AI가 똑똑해지지 않는다면?

• 1. 테슬라 규제? 일론 머스크 스스로 결정할 수도 있다.
• 2. 국가 안보도 AI 기업에 물어봐.
• 3. 중국 빼놓고 AI 거버넌스 이야기할 수 있나.
• 4. 마젠틱-원, 알아서 다해주는 AI 비서의 실험.
• 5. 오픈AI의 고민, 돈 쓰는 만큼 학습 속도가 안 늘어난다면?
• 그밖의 소식들.

• 출처: What a Trump Victory Means for Tech(뉴욕타임스, 11월 8일)
• 미국 대선이 끝났다. 지난 한 주 트럼프 정부의 AI 정책이 기존 정부와 어떻게 달라질 것인지에 관한 기사가 쏟아져나왔다. 그 중 믿고 읽는 케빈 루스(뉴욕타임스 기자)가 IT 전반에 미칠 영향을 분석한 기사가 눈에 띈다.
• 이번 선거에서 누구보다 앞장 서서 트럼프를 지지한 일론 머스크가 미국에서 가장 강력한 사업가가 될 것으로 케빈 루스는 전망했다. 머스크는 백악관에 들어가 ‘정부 효율성 부서’의 책임자가 될 수도 있고, 자기 회사를 규제할 사람을 스스로 선택할 수도 있다.
• 그가 트위터 인수에 들인 440억 달러는 이번에 얻을 혜택으로 보면 푼돈에 불과할 것이라는 얘기다. (트럼프가 젤렌스키 우크라이나 대통령이나 에르도안 튀르키예 대통령과 통화할 때 머스크가 참여했다는 소식이 나오면서 2기 트럼프 정부에서 가장 강력한 실세가 될 것이라는 전망이 나온다).

• 실리콘 밸리 CEO들은 트럼프 1기와는 달리 빠르게 트럼프에 협조하는 모습을 보일 것이다.
• 아마존의 제프 베이조스는 지난 트럼프 정부때 100억 달러짜리 국방부 클라우드 딜을 놓치고는 선거 때마다 관행적으로 하던 워싱턴포스트의 공개 지지 선언을 중단시켰다. (베이조스는 워싱턴포스트의 최대 주주고 워싱턴포스트는 해리스를 지지하는 사설을 출고하려던 참이었다.)
• 베이조스는 트럼프 당선 확정 직후 X에 축하한다는 글을 올렸다.
• 저커버그는 트럼프가 감옥에 넣겠다고 했었다. 저커버그도 눈치를 보지 않을 수 없다.
• 기술 최고경영자들 대부분은 트럼프의 2기 아젠다를 조용히 용인하거나, 열광적으로 지지할 것으로 예상한다.
• 암호화폐 시장도 들썩이고 있다. 암호화폐에 부정적이었던 트럼프가 수백만 달러 후원금을 받고 입장이 달라졌다. 암호화폐 기업들 사이에서 악당이 된 증권거래위원회 위원장 게리 겐슬러는 해고될 가능성이 크다. 바이든 행정부에서 온갖 고발과 조사를 받던 암호화폐 회사들 사이에 새로운 기대가 생겨났다. 이들 가운데 일부가 규제나 법안에 영향력을 행사할 가능성도 있다.

• 다만 구글은 예외일 수도 있다. 구글이 편향적이라고 인식하는 공화당 지지자들이 많다. 순다 피차이(구글 CEO)는 어려운 4년이 될 것이라고 한다.
• 틱톡이 살아날 가능성이 높다. 바이트댄스의 투자자들이 집중적으로 로비를 해서 트럼프는 틱톡을 살리겠다고 했다.
• AI 발전이 가속화될 것이다. 다만 트럼프나 해리스 모두 선거 기간 중 AI에 대해 많은 말을 하지 않았지만 트럼프 강력 지지자들은 대부분 AI 가속주의자들이다(a16z의 마크 안데르센이나 팔란티어의 피터 틸이 대표적이다). 케빈 루스는 트럼프가 AI를 밴스 부통령에게 위임할 수도 있다고 전망했다. 머스크가 AI 규제 이슈에서 와일드카드가 될 수 있다. 많은 기업들이 반대했던 SB 1047 법안에 찬성을 했던 사람이 머스크이기 때문이다.
• 소셜 미디어 기업들도 오른쪽으로 이동해 정책과 관행을 바꿀 것 같다.

• 전체적으로 실리콘 밸리가 보라색으로 변했다. 과거 일방적으로 민주당을 지지하던 분위기에서 이제 트럼프 지지는 사회적 금기가 아니게 됐다. 트럼프를 공개적으로 지지하는 사람들이 늘어난 데는 머스크나 안데르센 같은 사람들의 영향이 컸다. 기술 유토피아를 꿈꾸는 가속주의자들은 트럼프가 자신들의 철학에 맞는다고 판단한 것으로 보인다.
• 관련해서 폴리티코는 트럼프 정권 인수 기간 동안 마이클 크라치오스(스케일 AI)와 게일 슬레이터(밴스의 경제 정책 고문)가 테크 분야 정책을 담당할 것이라고 보도했다. 마이클 크라치오스는 트럼프 1기 시절 CTO였으며 2020년 트럼프 정부의 AI 행정 명령을 작성한 사람이다. 바이든 정부의 행정 명령 14110은 폐기되고 새로운 정책으로 대체할 것이라는 전망이 많다.

• 출처: Anthropic teams up with Palantir and AWS to sell AI to defense customers (테크크런치, 11월 7일)
• 앤스로픽은 AI 안전에 가장 앞장서는 기업으로 알려져 있다. 그런데 그 회사가 국방 영역에 참여한다는 뉴스는 좀 의아했다. 물론 트럼프 당선 이후 제일 잘 나가는 팔란티어가 주요 투자자인 아마존 AWS와 손을 잡은 것은 놀랍지 않다. 앤스로픽은 앞으로도 B2C보다는 B2B 영역을 중심으로 성장할 생각이니까. 미국 정보와 국방 분야라면 당연히 팔란티어 같은 데이터 분석 기업의 역할이 클 수 밖에 없다.
• 사실 메타의 라마도 이미 국방 영역에서 사용하고 있고, 오픈AI도 국방부와 가까운 관계를 모색한다고 한다. 심지어 중국에서도 라마를 사용해 국방용 도구를 만들었다는 보도가 나왔다.

• 아마도 AWS 호스팅에 팔란티어 플랫폼 안에서 클로드가 운영되는 방식일 것이다. 팔란티어의 방어 인증 플랫폼인 팔란티어 임팩트 레벨 6(IL6)에서 동작한다는데 IL6는 1급 비밀 바로 아래 단계의 비밀 정보로 국가 안보에 중요하다고 판단되는 데이터가 포함돼 있다. 무단 액세스 및 변조로부터 ‘최대한의 보호’가 필요한 시스템이라는 의미다.
• 이미 클로드는 아마존의 고브클라우드(GovCloud)라는 미국 정부를 위한 클라우드에 탑재됐지만 회사의 서비스 약관에 따르면 “법적으로 승인된 해외 정보 분석”과 “은밀한 영향력 또는 방해 행위 식별”, “잠재적인 군사 활동에 대한 사전 경고 제공” 등의 업무에 제품을 사용할 수 있다고 한다.
• 어쩌면 미국 국방부가 미래 국방 전략으로 추진하는 JADC2(Joint All-Domain Command and Control)에 대응하기 위한 초기 단계라는 생각이 든다. JADC2에서 가장 중요한 것은 모든 센서 데이터를 수집해 AI를 통해 자동화하고 초고속으로 정보를 공유하고자 하는 것이다. 육해공군의 전략 시스템을 통합하겠다는 것이 그 목적이고 당연히 AI 기업이 이 영역에 강력한 입지를 차지하려 할 가능성이 크다.

• 출처: Key questions for the International Network of AI Safety Institutes(IAPS, 11월9일)
• IAPS(International AI Policy Society)가 AI 안전을 다루는 국제 네트워크의 과제와 방향을 정리한 보고서를 냈다. IAPS는 프론티어 AI의 영향력에 대해 독립적이고 중립적인 연구를 하는 비영리 싱크탱크다.
• 먼저 세 가지 과제는 다음과 같다.
• 첫째, AI 서울정상회의에서 약속한 AI 안전 프레임워크, 표준을 만들어야 한다. 2025년 2월 프랑스 AI 실천 정상회의(AI Action Summit)까지 완료될 예정이다.
• 둘째, 네트워크에 참여한 나라들이 서로 공유해야 할 정보의 종류를 정하고 그 공유 메커니즘을 개발해야 한다. 위험 상황에 대한 이해를 높이고 중복 작업을 줄일 수 있다는 점에서 매우 중요하다.
• 셋째, AI 안전 평가를 위한 모범사례를 공유하고 협력해야 한다. 국제협력을 통해 방법론적 과제들을 더 빠르게 해결하고 평가 절차의 상호운용성을 높일 수 있다.
• 가장 큰 도전 과제는 중국의 포함 여부와 AI 기업들의 참여를 어디까지 보장할 것이냐다.
• 중국의 경우, 미국과 일부 동맹국들이 중국 정부의 참여를 꺼릴 수 있다. 그러나 중국은 프론티어 AI 개발에서 앞서 있고 국제 AI 거버넌스 논의에도 적극적으로 참여하겠다는 의지를 밝힌 바 있다. 중국의 특정 단체들을 준회원이나 옵서버 회원으로 참여시키는 방안도 논의된다.
• AI 기업들의 경우, 자칫 과도한 영향력을 행사할 우려될 수 있다. 역시 옵서버 회원 자격만을 부여하고, 특정 작업그룹으로 참여 범위를 제한하는 방안을 논의할 수 있다.

• 국제 네트워크의 협력을 위해 세 가지 방안이 필요하다.
• 첫째, 작업그룹의 설치다. 상시 그룹은 우선 순위 주제들을 실험하고 프로젝트별 그룹은 정해진 기간 동안 특정 과제를 수행하면서 새로운 준회원과 옵서버 회원들의 참여를 실험한다.
• 둘째, 공동 자금 조달 메커니즘이 필요하다. 비서국의 설립과 운영 뿐만 아니라 작업그룹에 자금을 지원해야 한다.
• 셋째, 다른 국제 AI 거버넌스 포럼들과의 협력도 필요하다.
• AI 기술이 계속 발전함에 따라 이러한 국제협력의 중요성은 더욱 커질 것이다.
• AI 안전을 위한 글로벌 거버넌스가 IAEA(국제원자력기구)와 같은 수준의 국제 기구로 자리 잡을 수 있을까. 이원태는 쉽지 않다고 본다. 다음 세 가지 이유에서다.
• 첫째, 핵기술이 가시적 통제와 검증이 용이한데 비해, AI는 통제해야 할 성능의 기준에 대한 합의가 쉽지 않다. 핵무기와 달리 위험 경로(risk pathways)가 다양하고 불명확하다.
• 둘째, 핵 거버넌스가 국가 간 합의를 중심으로 작동했다면, AI는 이른바 빅테크가 주도하는 상업적 제품이다. 빅 테크들의 로비와 영향력이 글로벌 AI 거버넌스에 영향을 미칠 가능성이 있다.
• 셋째, 핵 규제는 위험한 기술 및 무기의 통제에 초점을 두지만, AI는 모델 자체뿐 아니라 이를 둘러싼 네트워크와 산업 생태계 전반을 고려해야 하고, 더구나 개인의 자율성과 인권, 사회 평등, 민주주의 제도에 대한 영향 등 다양한 위험들을 고려해야 하는 복잡한 대상이다.
• 이원태(아주대 교수)는 이렇게 평가했다.
• “정치외교적 영향을 받지 않고 독립적인 과학평가 체계를 구축하면서, 기술 연구 및 협력, 안전평가, 독립적 정책 지원 등 실용적 기능 중심의 접근으로 운영되고 많은 국가들이 참여할 수 있도록 유연한 운영 기반을 만들어야 할 것이다.”

• 출처: Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks - Microsoft Research (마이크로소프트, 11월 4일)
• 생성형 AI가 진화하면 AI 에이전트가 된다. 생성형 AI가 저녁 식사 메뉴를 추천한다면 에이전트 시스템은 그냥 적당히 내가 좋아할 것 같은 메뉴를 결정하고 시간 맞춰 주문을 낸다.
• 에이전트 시스템을 만들려면 사람들이 일상 생활에서 마주치는 광범위한 시나리오에서 복잡하고 여러 단계로 구성된 작업을 안정적으로 완료해야 한다.
• 마젠틱-원은 이런 작업을 위해 설계된 고성능 일반 에이전트 시스템이다. 리드 에이전트인 오케스트레이터(Orchestrator)가 다른 4개의 에이전트에게 작업을 해결하도록 지시하는 다중 에이전트 아키텍처를 사용한다. 이번에 공개한 마젠틱-원의 에이전트는 오케스트레이터와 웹 서퍼, 파일 서퍼, 코더, 컴퓨터터미널 등 다섯 개이다.
• 오케스트레이터는 웹 브라우저 작동, 로컬 파일 탐색 또는 파이썬 코드 작성 및 실행과 같은 작업을 수행하도록 전문 에이전트를 지시하는 동안 계획하고 진행 상황을 추적하며 오류에서 복구하도록 다시 계획한다. 작동 원리를 도식화하면 다음과 같다.

• 마이크로소프트의 오토젠(AutoGen)으로 구현한 오픈소스 프레임워크이다. 모듈식이라 별도의 에이전트에 고유한 기술을 캡슐화하면 객체 지향 프로그래밍과 매우 유사하게 개발 및 재사용이 간소화된다. 다시 말해, 단일 에이전트 시스템과 달리 다른 에이전트나 전체 아키텍처를 변경하지 않고도 에이전트를 추가하거나 제거할 수 있기 때문에 적응도 빠르고 확장성도 좋다.
• 그러나 아직 인간 수준의 성능을 보이는 단계는 아니다. 실수도 할 수 있고 누군가가 악의적으로 사용할 위험도 있다. 에이전트 성능 평가를 위한 오토젠벤치도 이번에 출시했다.

• 출처: OpenAI Shifts Strategy as Rate of ‘GPT’ AI Improvements Slows(디 인포메이션, 11월 9일)
• 오픈AI의 다음 버전은 오라이온(Orion)이라는 코드 네임으로 알려져 있다. 처음에는 20% 수준 학습을 해도 GPT-4에 대등한 수준이라고 했다. 그러나 최근 시험 결과 GPT3나 GPT4에 비해 크게 향상되고 있지 않다는 것을 알았다고 한다. 특히 코딩 같은 작업에서 그렇다고 한다.
• 오라이온을 실행하는데 들어가는 비용은 훨씬 많은데 기능 개선이 월등하지 않다면 사업적으로 곤란해질 수 있다.
• 지금까지 LLM 기반 AI 모델은 2020년 오픈AI가 발표한 ‘확장 법칙(Scaling Law)’를 따른다고 봤다. 학습 데이터, 모델의 크기, 사용한 컴퓨팅 양이 증가할 수록 성능이 지속 증가한다는 법칙이다. 그러나 지금 상황이라면 이 법칙의 한계점이 나타나는 것 아닌가 하는 의문과 함께 새로운 유형의 확장 법칙이 필요할 수 있다는 견해가 나온다.
• 특히 이제는 초기 학습 이후 모델 개선 쪽으로 방향 전환이 이루어질 수 있다. 성능 개선이 늦어지는 이유 하나는 고품질 데이터 부족이다. 이를 극복하기 위해 합성 데이터를 동원했더니 오라이온이 이전 모델과 유사해지고 있음을 발견했다고 한다.
• 이와 관련해 a16z의 벤 호로위츠와 마크 안데레센은 AI 모델이 기능의 한계에 부딪치고 있다고 말했다. X에 올린 영상을 보면 “개선의 속도가 정말 느려졌다... GPU를 늘리고 있지만 인텔리전스 개선은 전혀 이루어지지 않고 있다”고 말하는 대목이 있다.
• 또 다른 방안은 o1처럼 추론을 개선하거나 에이전트 기능을 강화하는 방안을 모색할 수 있다. 지금까지의 방식이 이제 더 이상 비약적 개선이 안된다면 이제 보다 전문 영역에서 성능을 강화하는 방안이 적용될 수 있지만 일반 지능에서 개선을 어떻게 이루어낼 것인가가 다시 도전 영역이 되고 있다.

• 슬로우레터 구독 해지하기