'테크 번영 협정', 미 1500억 파운드 영국에 투자 약속

1. '테크 번영 협정', 미 영국에 1500억 투자 중 AI 분야 310억 파운드

양해각서에는 AI 기반 과학에 대한 협업과 함께 영국 AISI 와 미국 CAISI 간의 "파트너십 발전"을 요구하고 있다. 여기에는 "AI 모델을 위한 계측학 및 표준 개발의 모범 사례를 향한 노력, 가장 진보된 모델 기능에 대한 이해 개선, 두 기관 간 인재 교류"를 포함한다.

이 외에도 영국과 미국은 정밀 의학 및 만성 질환과 같은 분야에서 AI 기반 의료 솔루션을 추진하기 위해 협력하고, 최첨단 기술과 영국 바이오뱅크(UK Biobank)와 같은 기존의 신뢰할 수 있고 안전한 데이터 세트를 활용할 것이라고 한다. 또한, 양국은 의학 및 환자 치료의 가능성을 재정의할 투자를 촉진할 잠재력을 가진 획기적인 연구 주제를 공동 개발하기 위해 협력할 것이다.

이 파트너십을 통해 나사와 영국 우주국(UKSA)은 달과 화성 탐사와 같은 과학 및 탐사 임무를 지원하기 위해 AI 모델을 개발할 예정이다. 이 파트너십은 AI 보안 과학을 발전시키고 안전한 혁신을 촉진하기 위한 영국과 미국 정부 간 협력을 더욱 강화한다는 게 영국 정부 입장이다.

이미 2주 전부터 트럼프 국빈 방문을 통해 미국 빅테크의 대규모 기술과 자금 지원을 영국이 받게 될 것으로 전망됐는데, AI에 있어서 영국 입장은 미국과 협력을 비켜나갈 수 없기 때문에 아예 더 긴밀한 협력 관계를 구축할 수밖에 없었던 것으로 보인다. 지난 2월 파리 정상 회의에서 미국과 보조를 맞춘 영국을 고려하면 자연스러운 행보로 보인다. 문제는 지난 1월에 발표한 ‘AI 기회 실행 계획’에서 밝힌 전략 방향이다. '어제' 세운 영국의 AI 전략 방향이 '오늘' 미국과 합의한 협력 체제와 서로 충돌하고 어긋나지 않는지 확인해야 한다. 그리고 마지막으로 남은 질문.

도대체 영국 정부 내에 만든 소버린 AI 사무국은 이제 무엇을 해야 할 것인가?

보고서 내용을 요약해 보면 다음과 같다.

• 리딩하는 AI 슈퍼컴퓨터에 필요한 하드웨어 비용은 매년 2배 증가한다. 확장 법칙은 비용, 전력, 데이터 수급 문제에도 불과하고 지속할 것으로 본다.

• AI는 여러 도메인에 걸쳐 과학 R&D를 가속화할 것이다, 역량 추세는 과학 R&D 분야에서 AI가 엄청난 발전을 이룰 것임을 시사하는데, 특히 소프트웨어 엔지니어링 및 수학 분야에서는 현실적인 작업을 완전히 컴퓨터 시뮬레이션(in-silico)으로 학습할 수 있다.

보고서는 소프트웨어 엔지니어링, 수학, 분자생물학, 날씨 예측 각각의 벤치마크와 기술 발전 추세로 2030년 수준을 예측한다. 각 분야에 대한 전망이 다를 수 있는데, 예를 들어 소프트웨어 엔지니어링은 반복 주기가 짧고, 습식 실험실 실험이나 임상 시험이 필요하지 않으며, 안전에 중요한 시스템을 거의 포함하지 않고, 대략적인 정확성을 확인하기 쉬운 경우가 많으며, 풍부한 학습 데이터를 보유하고 있다. 이에 반해 제약은 어려움이 있을 것이고 2030년까지 판매 승인된 의약품 중 AI 도구 혜택을 받는 의약품은 거의 없을 것으로 본다. 

전체 보고서는 여기에서 다운 받을 수 있다.

3. 'VCBench', 벤처 캐피탈 성공 예측을 위한 LLM 평가 벤치마크

하정우 수석이 공유한 내용으로, 옥스포드 대학과 벨라(Vela) 리서치가 작성한 논문으로 AI의 스타트업 투자 능력을 평가하기위한 벤처캐피탈 벤치마크인 VCBench를 공개했다. 벤처 캐피털(VC) 분야에서 창업자의 성공을 예측하는 LLM의 성능을 측정하기 위해 개발된 최초의 표준화되고 익명화된 벤치마크이다. 이 논문을 읽고 자신의 의견을 정리한 SWIT 이주한 대표의 포스팅을 참고했다.

저자들은 링크드인으로 부터 9,000개의 익명화된 창업자 프로필 데이터셋을 구축했으며, 개인 식별 위험을 90% 이상 줄이는 다단계 익명화 파이프라인을 설계하고 검증했다고 한다. 5억달러 이상 IPO나 펀드레이징 성공한 경우를 성공한 투자로 레이블링 한 데이터를 만들었는데 성공률은 대략 9% 정도라고 한다.

VC벤치를 통해 평가된 최신 LLM들은 벤처 캐피탈 영역의 인간 전문가 기준 대비 뛰어난 성과를 보였다. 여러 최신 LLM들이 인간 기준선을 능가하는 것으로 나타났는데 성과의 기준은 정밀도(Precision)과 재현율(Recall)을 사용했으며 정밀도는 창업자의 성공을 얼마나 정확하게 예측하는 가이며, 재현율은 전체 성공 창업자 중 모델이 성공으로 정확히 예측한 비율을 의미한다. 대부분의 모델들이 Y 컴비네이터나 Tier-1 VC보다 더 정확한 예측 성능을 보였다는 점에서, 이제는 AI가 인간 VC보다 더 정확하게 스타트업의 성공 가능성을 예측할 수 있는 시대가 도래했다는 메시지를 담고 있다.

VC벤치에서는 정밀도를 재현율보다 두 배의 가중치를 부여했는데, 벤처 캐피탈에게는 실패할 창업자에게 투자하는 것이 성공할 창업자를 놓치는 것보다 더 큰 비용을 초래하기 때문이다.

GPT-4o: 29.1%의 정밀도를 기록했으며, 이는 정밀도 기준선 대비 3.2배의 개선을 나타내고,  티어 1 VC 기업들의 2.9배 성과를 초과했다. 딥시크-V3는 평가된 모델 중 가장 높은 정밀도(59.1%)를 기록했는데, 이는 기준선 정밀도보다 6배 이상의 성능을 제공하는 것이다. 반면 클로드와 제미나이-2.5-플래시(69.1%)는 재현율이 높아, 유망한 스타트업을 놓치지 않고 넓게 포착하는 데 강점이 있었다. 이처럼 모델마다 각기 다른 장단점을 가지고 있다는 것이 핵심이다.

그러나 VCBench에서 말하는 ‘성공’이라는 의미도 5억달러 이상의 IPO, M&A, 펀딩이라는 단일 기준에 한정되어 있어, 실제 산업별로 다양하게 존재할 수 있는 전략적 가치나 효율적 성장 같은 현실 속 성공 사례들은 반영되지 못했다.

또한 논문에서 가장 문제가 되는 점은 성공률 인플레이션(Prevalence shift)인데, 실제 시장에서의 성공률 1.9% 대신 VC벤치는 9,000개의 익명화된 창업자 프로필 중 810개를 성공으로 분류하여 실제보다 약 4.7배 높은 9%의 기준선 성공률을 설정했다. 이는 모델 테스트의 안정화와 통계적 유의성을 높이기 위해서라고 하는데, 실제 상황에서는 이 논문 결과대로 나오지 않을 수 있음을 내포한다. 다시 말해 정밀도가 성공률(success rate)와 선형적으로  비례하지 않을 수 있으며, GPT-4o의 성능이 1.9% 성공 환경에서는 유지되지 않을 수 있다는 점을 살펴봐야 한다. 

요약하면, VC벤치는 통계적으로 의미 있는 결과를 얻기 위해 데이터셋을 '성공적인' 쪽으로 기울였으며, 이는 모델이 9% 환경에서 매우 우수한 성능을 보여주었더라도, 실제 1.9%의 희박한 성공 신호 속에서도 동일한 수준의 상대적 우위를 가질지는 명확하지 않다는 한계가 있다.

4. 앤스로픽과 딥마인드 앞에서 단식 투쟁하는 세 사람

• 더버지 관련 기사

AI가 인간 존재에 미칠 수 있는 위협에 대해 깊은 우려를 품은 세 남자가 이번 달 단식 투쟁에 돌입해 해당 분야의 유명 기업들의 관심을 끌려고 시도하고 있다. 

9월 1일, 활동가 귀도 라이히슈타터(Guido Reichstadter)는 AI 회사인 앤스로픽의 본사가 있는 하워드 스트리트 사무실 건물 밖에 A자형 프레임과 접이식 의자를 세우고 단식 투쟁을 시작했다. 그는 아직 단식 중이다. 

활동가이자 전직 AI 연구원인 미카엘 트라치(Michaël Trazzi)는 런던 판크라스 광장에 있는 알파벳의 AI 연구실인 구글 딥마인드 본사 밖에서 비슷한 행동을 취하고 있다. 트라치는 AI 기업의 프론티어 모델에 대한 위험 부담이 너무 커서 기술적 보호책을 마련하려는 노력에도 불구하고 이를 추진하기 어렵다고 생각한다고 하면서 라이히슈타터와 마찬가지로, 다른 기업들이 개발을 중단할 경우 딥마인드에 개발을 중단할 것을 요구하고 있다. 그러나 9월 12일 의사의 권유로 단식을 중단했다.

세 번째 사람 데니스 셰레메트(Denys Sheremet)는 트라치에 조인해 딥마인드 앞에서 단식을 하기로 했다. 이 기사를 쓴 샌프란시스코 스탠다드 기자는 지난 토요일 셰레메트와 인터뷰를 하고 라이히슈타터와는 페이스타임을 했다고 한다. 

라이히슈타터는 시위 첫날 로비 경비원을 통해 앤스로픽 CEO 다리오 아모데이에게 기술의 잠재적 위험성을 논의하기 위한 회의를 요청하는 서한을 전달했다고 밝혔다. 지난 금요일에는 오랜 활동가이자 이 운동을 지지하기 위해 단식 투쟁을 시작할 수도 있다고 밝힌 71세의 피비 토마스 소르겐이 그와 함께 했다. 토마스 소르겐은 "우리가 직면한 것은 끔찍한 위협입니다."라고 말하며, 에너지를 많이 소모하는 데이터 센터로 인한 일자리 대체, 데이터 개인정보 보호, 환경적 영향에 대한 우려를 언급했다.

더 버지는 귀도가 앤스로픽 직원들과 상호 작용을 하고 있다고 하고, 적어도 한 명의 직원이 재앙에 대한 비슷한 두려움을 공유했으며, AI 회사 직원들에게 회사의 '도구가 아닌 인간으로서 행동할 용기'를 갖도록 영감을 주고 싶다고 말했다고 한다. 

딥마인드는 성명을 통해 "안전, 보안, 책임 있는 거버넌스가 항상 최우선 순위였습니다"라고 밝혔지만, 마이클 트라치는 엑스에 다시 글을 올렸다.

“사실, 안전은 최우선 순위가 될 수 없습니다. 딥마인드는 다른 AI 기업들과 초지능을 먼저 개발하기 위해 치열한 경쟁을 벌이고 있기 때문입니다. 딥마인드는 제미니 2.5 프로를 출시하기 전에 기본적인 예방 조치를 취하기 위해 몇 주조차 기다릴 수 없었으며, 이는 작년 서울에서 발표한 프런티어 AI 안전 공약을 위반한 것입니다. 이것이 바로 구글 딥마인드 단식 투쟁의 핵심입니다.”

라이히슈타터는 "제가 하려는 일은 바로 그런 겁니다. 평범한 시민으로서, 동료 시민과 동포들의 생명과 안녕을 존중하는 책임을 다하는 것이죠. 아이가 둘이나 있거든요."라고 말했다. 

지난 주 내가 아침 저녁으로 두 번이나 만난 요수아 벤지오 교수도 AI 안전을 강조하는 이유로 자기에게는 아이들뿐만 아니라 손주들도 있다고 말했던 기억이 난다. 오픈AI의 직원인 룬(roon)은 AI 분야에서 일하는 사람들은 외부에서 일하는 사람들보다 AI가 훨씬 더 빠르게 발전하고 있다고 본다는 관찰에 응답하면서 엑스에 올린 글에서 다음과 같이 말하고 있다. 

“지금은 내부자들에게 이륙이 가장 빠르게 보이는 시점입니다(우리는 더 이상 프로그래밍하지 않고 코덱스 에이전트에게 소리만 지릅니다) 하지만 일반적인 챗봇 매체가 포화 상태이기 때문에 다른 사람들에게는 느리게 보일 수 있습니다.”

5. 트럼프의 AI 짜르에 맞서는 앤스로픽 CEO 아모데이

월스트리트 저널이 앤스로픽의 CEO 다리오 아모데이가 다른 AI 기업 CEO와는 다른 정치적 자세를 보이고 있다는 기사를 실었다. 특히 AI 짜르인 데이비드 삭스와 불협 화음을 다양한 에피소드와 함께 소개했다. 

아모데이는 트럼프 대통령의 AI 정책에 대해 거침없이 비판하며, 트럼프 대통령의 자유방임적인 접근 방식이 기술을 위험한 길로 이끌 수 있다고 주장한다. 그는 때때로 야당의 반발을 누그러뜨리자고 제안한 자신의 정책자문위원들 조차 무시했다고 한다. 아모데이는 선거 전 페이스북에 올린 장문의 게시물에서 트럼프를 "봉건적 군벌"에 비유하며 친구들에게 카말라 해리스에게 투표할 것을 촉구했다. 트럼프와 합의하게 하려는 법률 회사도 모두 해고했다. 

트럼프틔 AI 짜르인 데이비드 삭스는 그를 무척 싫어하는데 앤스로픽을 급성장하는 산업을 질식시키고 엔비디아와 같은 칩 기업을 제약할 수 있는 규제를 지지하는 "AI 파멸론자"들의 거대한 네트워크의 일부로 보고 있다고 한다. 삭스는 지난 5월 팟캐스트 ‘올인’에서 아모데이가 좌파이고 트럼프를 싫어하는 사람이라고 말했다. 

아모데이는 역사적으로 진보적인 실리콘 밸리 진영을 대표하는 이상주의자로, 적절한 보호장치 없이 AI가 확산되는 것을 우려한다. 다윈주의적 자유 시장의 미덕을 찬양하는 자유주의자인 색스는 AI 업계가 대통령의 정책을 지지하는 데 힘입어 의기양양하게 성장하고 있다고 보고 있다. AI 정책 비영리 단체 씨드AI의 오스틴 카슨은 이것이 AI의 핵심적 이념 갈등이라고 보고 있다. 

아모데이는 인터뷰에서 "비용이 얼마이든 우리는 동의하는 말을 할 것이고, 동의하지 않는 말도 할 것입니다."라고 말했다고 한다. 그는 앤스로픽의 설립 주식 80%를 자선 단체에 기부하기로 한 사람이다. 지금 가치로 수십억 달러에 달한다.

아모데이는 또한 AI 기술이 문명을 종식시킬 수 있는 잠재력에 대해 가장 목소리를 높이는 AI CEO로, AI가 악용되어 지구 전체에 혼란을 야기할 가능성이 10%에서 25%에 달한다고 경고하곤 한다.

데이비드 삭스는 앤트로픽이 논란의 여지가 있는 효과적 이타주의 운동과 제휴한 비영리 단체인 오픈 필랜트로피(Open Philanthropy)의 지원을 받는 거대한 반(反)트럼프 관료 조직과 연관되어 있다고 의심한다. 오픈 필랜트로피의 철학은 자선 기부와 위험한 AI 시스템이 인류를 파괴하기 전에 억제하는 데 중점을 두고 있는데, 이런 생각의 차이가 실리콘 밸리를 분열시키고 있다는 얘기는 여러 번 소개했다. 

그 밖의 소식들.

• 휴머노이드 로봇 스타트업 피규어(Figure) AI가 시리즈 C 라운드에서 10억 달러가 넘는 투자를 유치해 기업가치 390억 달러를 인정 받았다  (피규어 AI, 9월 16일). 파크웨이 벤처 캐피털이 주도하고 브룩필드 자산관리, 엔비디아, 인텔 캐피털, 세일즈포스, 퀄컴 벤처스 등 쟁쟁한 투자자들이 참여한 이번 투자는 세 가지 명확한 목적을 갖고 있다. 첫째가 BotQ 라는 자체 제조시설을 통한 대량생산 체제 구축이다. 둘째는 차세대 GPU 클러스터 구축과 시뮬레이션 기반 학습 시스템 개발이다. 이는 Helix라는 Figure의 AI 시스템을 위한 '지능 확장 프로젝트'라고 할 수 있다. 세번째는 '고도화된 데이터 수집'으로 인간의 행동을 영상으로 기록하고, 시각, 청각, 촉각 등 다양한 감각 정보를 통합적으로 수집하는 '멀티모달 데이터 수집' 시스템을 구축하는 것이다.
  
  
• 알리바바가 '딥 리서치' 에이전트 오픈 소스 'Tongyi DeepResearch'를 공개했다. 30B라는 적은 매개변수로 오픈AI의 ‘딥 리서치’와 맞먹는 성능이며 인류의 마지막 시험(HLE)’에서 32.9점을 기록해 오픈AI의 'o3'을 제치고 1위를 달성했다. 인터넷 탐색 능력을 평가하는 '브라우즈컴프(BrowseComp)'에서는 43.4점을 기록해 o3의 49.7점에 근접했고, 중국어판 브라우즈컴프(BrowseComp-ZH)에서는 46.7점으로 o3(58.1점)에 이어 2위를 차지했다. 이 모델은 총 300억 매개변수 중 30억 매개변수만을 활성화하는 전문가 혼합(MoE) 구조로, 수천억~수조 개 매개변수를 사용하는 초대형 모델들과 맞먹는 성능을 구현한 것이다. 상세한 설명은 테크 블로그에서 볼 수 있다 (통이 딥 리서치, 9월 16일).

• 생성적 AI를 활용하여 최초로 생존 가능한 유전체, 즉 박테리아를 죽이는 바이러스를 개발했다는 연구가 나왔다(아시모프 프레스, 9월 18일). 이 모델은 완전히 공개되어 있어 생물 보안에 대한 우려를 불러일으키고 있다고 한다. MIT 테크 리뷰는 이러한 기술이 다른 과학자들이 호기심, 선의, 또는 악의적인 의도로 인간 병원균에 이 방법을 적용하여 새로운 차원의 치명성을 탐구할 위험을 초래할 수 있다는 우려를 얘기했다.