슬로우뉴스 구독자 여러분, 안녕하세요.

월요일 오후에 찾아오는 [AI in a week by 테크프론티어]입니다. 뉴스가 넘쳐나는 세상, 한상기(테크프론티어 대표)가 제안하는 AI 트렌드와 큰 그림, 맥락과 흐름을 살펴봅니다.

혹시

1. [슬로우레터] 구독을 끊고 [AI in a week by 테크프론티어]만 구독하고 싶으시거나, 

2. [AI in a week by 테크프론티어]를 구독하고 싶지 않으신 분은 답장을 주시면 처리해 드리겠습니다. 저희가 주제별로 몇 가지 뉴스레터를 발행할 계획인데 각각 별도로 구독 신청을 받으려고 합니다. 디폴트는 전체 구독으로 하되 선택 가능한 옵션을 두려고 합니다. 고맙습니다. 

UN 총회를 맞아 200명이 넘는 노벨상 수상자, 전직 국가 원수, AI 선구자, 업계 인사, 인권 옹호자, 70개 이상의 기관 등이 함께 국제 사회의 AI 레드라인 설정과 준수를 촉구하고 나섰다. 이 프로젝트는 프랑스의  AI 안전센터(CeSIA)가 ‘미래 사회(The Future Society)’ 및 인간 친화적 AI 센터(The Center for Human-Compatible AI)와의 파트너십으로 추진한 것이다. AI 레드라인에 대한 전 세계적 촉구(Global Call for AI Red Lines)’ 문서는 “각국 정부가 2026년 말까지 작동 가능한 수준의 AI 금지 기준과 강력한 집행 메커니즘에 대한 국제적 합의에 도달해야 한다”라고 촉구했다.

서명에 참여한 주요 인사는 다음과 같다. 전 세계적 리더고, AI 분야 최고 수준 연구자들이다.

• 노벨상 수상자: 제프리 힌턴, 존 홉필드, 조셉 스티글리츠, 후안 마누엘 산토스, 마리아 레사, 다론 아제몰루, 아흐메트 위줌쿠, 제니퍼 다우드나, 조르지오 파리시, 올리버 하트
• 전직 정부 주요 인사: 아일랜드 전 대통령 매리 로빈슨, 이탈리아 전 총리 엔리코 레타, 그리스 전 재무장관 야니스 바루파키스, 대만 초대 디지털 장관 오드리 탕
• 77대 유엔 총회 의장 차바 코뢰시(Csaba Kőrösi)
• AI 기업 및 연구 리더: 오픈AI 공동 창업자 보이치에흐 자렘바(Wojciech Zaremba), 앤스로픽 CISO 제이슨 클린턴, 딥마인드 수석과학자 이언 굿펠로우, 몬트리얼 대학 교수 요수아 벤지오, UC 버클리대학 교수 돈 송과 스튜어트 러셀, 전 바이두 사장이며 칭화대 AI 산업 연구소 창립자 장야친, 구글과 스탠포드 HAI의 피터 노빅, 뉴욕대학 게리 마커스 교수

• 팟캐스트 대화 텍스트 버전

강화학습의 선구자이자 튜링상 수상자인 리처드 서튼 교수가 드와케시 파텔 인터뷰에 나와 언어 모델(LLM)을 중심으로 AI를 바라보는 사고방식의 한계를 지적하면서, 강화학습 관점으로 AI를 보는 게 왜 중요한지를 강조했다.

서튼은 강화학습이 세상을 이해하는 데 중점을 두지만, LLM은 인간의 말을 모방하는 것에 그쳐, 무엇을 해야 할지에 대한 스스로의 판단 능력이 부족하다고 지적한다. LLM이 방대한 텍스트 데이터를 학습하여 세계 모델을 구축했다고 볼 수도 있지만, 서튼은 이를 반박하며 LLM이 예측하는 것은 사람의 말이지 실제 세상의 사건이 아니라고 주장한다.

그는 경험으로부터 학습하는 기계의 중요성을 강조하며, LLM이 학습하는 방식은 "상황과 그에 따른 사람의 행동"에 기반하므로, 이는 "무엇을 해야 할지"에 대한 직접적인 배움이 아니라고 설명한다. 특히 LLM이 모방 학습을 통해 합리적인 문제 해결 접근 방식에 대한 사전 지식을 얻을 수 있다는 관점에 동의하지만, 이것이 바람직한 관점인지에 대해선 의문을 제기한다.

그는 진정한 지식의 바탕이 되기 위해서는 실제적인 무언가가 존재해야 하며, LLM의 틀 안에서는 '실제 지식'의 정의가 불분명하다고 말한다. 좋은 행동을 하는 기준이 무엇인지, 즉 명확한 목표나 정답이 없기 때문에 LLM은 지속적인 학습이 어렵다고 하면서, 강화학습에서는 보상을 통해 올바른 행동을 정의할 수 있으므로, 이를 바탕으로 사전 지식을 쌓고 검증할 수 있다는 것이다. 

서튼은 지능의 본질은 목표 설정에 있다고 강조하면서 LLM은 '다음 토큰 예측'이라는 목표를 가지고 있지만, 이는 외부 세계에 영향을 미치지 못하므로 진정한 의미의 목표가 아니라는 것이다. 세상과 상호작용하며 능동적으로 배우는 과정과는 다르다고 설명한다. 

서튼은 강화학습의 미래는 경험 기반 학습에 있으며, 이는 LLM이 학습하는 방식과는 근본적으로 다르다고 설명하는데, 강화학습은 실제 경험을 통해 직접 배우고, 이를 통해 얻은 지식은 세상의 모든 것에 대한 예측 모델이라는 것이다. 이러한 강화학습의 발전이 AI의 미래에 중요한 역할을 할 것이라고 전망하며, LLM이 현재 AI 분야의 주류를 이루고 있지만, 궁극적으로는 경험 기반 학습의 중요성이 더욱 커질 것이라고 강조한다. 

서튼은 AI의 미래가 인간과의 협력을 통해 발전할 것이라고 전망한다. AI가 인간의 능력을 보완하고 확장하며, 새로운 과학적 발견과 기술 발전을 이끌어낼 것이라고 말하면서, AI의 발전이 사회 전반에 걸쳐 긍정적인 영향을 미칠 수 있도록, 인간의 역할이 중요하다고 강조한다. 그는 AI가 단순히 도구가 아니라, 인간의 삶을 풍요롭게 하고 인류의 발전에 기여할 잠재력이 있다고 믿는다. 비슷한 이야기를 구글 딥마인드의 데이비드 실버가 했고, 두 사람은 ‘경험의 시대에 온 것을 환영합니다’라는 에세이를 같이 쓰기도 했다.

• 더버지 관련 기사

구글 딥마인드가 새로운 AI 모델을 발표했다. 로봇이 단순 명령 실행을 넘어 “생각하는(reasoning)” 수준으로 행동할 수 있게 설계된 모델이다. 이 모델은 제미나이 Robotics-ER 1.5로 불리며, 기존의 ‘지휘 → 실행’ 방식에서 벗어나, 시뮬레이션된 사고 과정을 거쳐 행동 계획을 수립할 수 있다는 게 특징이다.

전통적 로봇 AI는 주어진 명령에 즉각 반응하는 수준이었다면, 제미나이 Robotics-ER 1.5는 내적 시뮬레이션이나 추론 과정을 거쳐 여러 단계를 계획하고 실행할 수 있다. 이는 로봇 사고(Reasoning)와 계획(Planning)의 전환점이라 할 수 있다. 이 로봇은 단순히 “지시된 동작을 수행”하는 수준을 넘어 여러 단계로 구성된 복합 작업을 계획하고 실행할 수 있다. 예컨대 빨래 분류, 쓰레기 재활용 분류, 우산 챙기기 등 맥락이 필요한 작업을 수행한다. 

• FSF 전체 자료

구글이 최첨단 AI 모델로 인한 심각한 위험을 식별하고 완화하기 위한 가장 포괄적인 접근 방식인 프론티어 안전 프레임워크(FSF) 세 번째 버전을 공개했다. 이번 업데이트는 업계, 학계, 정부 전문가들과의 지속적인 협력을 바탕으로 했으며, 이전 버전 구현 과정에서 얻은 교훈과 진일보한 프론티어 AI 안전 분야의 모범 사례를 반영했다.

주요 업데이트는 다음과 같다.

• 유해한 조작의 위험에 대처하기: 유해한 조작에 초점을 맞춘 핵심 역량 수준(CCL)을 도입한다. 이는 모델과의 상호작용 과정에서 식별된 고위험 상황에서 신념과 행동을 체계적이고 실질적으로 바꾸는 데 오용될 수 있는 강력한 조작 역량을 갖춘 AI 모델을 말한다. 생성형 AI의 조작을 유발하는 메카니즘을 파악하고 평가하며 이를 실제 업무에 적용하도록 한다.
  • 구글의 FSF는 핵심 역량 수준(CCL)이라는 역량 임계값을 중심으로 프레임워크를 구축한다. 여기에는 오용 CCL, 머신 러닝 R&D CCL, 얼라인먼트 불량 CCL의 세 가지 세트가 있다. 
    
    
• 얼라인먼트 불량 위험에 대한 접근 방식 조정: 잘못 얼라인된 AI 모델의 잠재적인 미래 시나리오를 해결하기 위해 프레임워크를 확장했다. 이번 업데이트에서는 AI 연구 및 개발을 잠재적으로 불안정화할 수 있는 수준까지 가속화할 수 있는 모델에 초점을 맞춘 머신 러닝 연구 및 개발 CCL에 대한 추가 프로토콜을 제공한다. 이는 오용 위험 외에 모델이 지시하지 않은 동작을 할 가능성이 있고 이러한 모델이 AI 개발 및 배포 프로세스에 통합되면 얼라인먼트 불량 위험도 있기 때문이다. 
  
  
• 위험 평가 프로세스 강화: FSF는  위험의 심각성에 비례하여 대응하도록 설계했다.  가장 엄격한 거버넌스 및 완화 전략이 필요한 주요 위협을 파악하기 위해 CCL 정의를 더욱 강화했다. 특정 CCL 임계값에 도달하기 전에 안전 및 보안 완화 조치를 지속적으로 적용하고 있으며, 이는 표준 모델 개발 방식의 일부이다. 핵심적인 조기 경보 평가를 기반으로, 체계적인 위험 식별, 모델 역량에 대한 포괄적 분석, 그리고 위험 수용 가능성에 대한 명확한 결정을 포함하는 전체적인 평가를 수행하는 방법을 설명한다. 
  
  

이번 최신 업데이트는 AGI로의 역량 발전에 따라 AI 위험을 추적하고 선제적으로 대응하기 위한 과학적이고 증거에 기반한 접근 방식을 지속적으로 채택하겠다는 구글의 의지를 보여준다. 위험 영역을 확장하고 위험 평가 프로세스를 강화함으로써, 혁신적인 AI가 인류에게 이로운 동시에 잠재적 피해를 최소화하도록 하는 것을 목표로 한다는 게 구글 입장이다.

• 클래리파이(Clarifai)가 새로운 논증 엔진을 출시하여 AI 모델 실행을 더 빠르고 저렴하게 만들었다는 소식이다(테크크런치, 9월 25일). 다양한 모델과 클라우드 호스트에 적응할 수 있도록 설계된 이 시스템이 논증에 필요한 컴퓨팅 요구 사항에 초점을 맞추고 있다고 설명하고 있다. 이 엔진은 아티피셜 어낼리시스 벤치마크로 분석했을 때 처리량과 대기 시간 모두에서 업계 최고의 기록을 세웠다. 클래리파이의 CEO인 매튜 자일러(Matthew Zeiler)는 이 제품이 CUDA 커널부터 고급 추측 디코딩 기술에 이르는 다양한 소프트웨어 최적화를 통해 기존 하드웨어에서 더 많은 성능을 끌어낼 수 있다고 강조한다.
  
  

• 알리바바가 향후 3년 동안 530억 달러(3,800억 위안화) 규모의 AI 투자 계획 발표로 주가가 상승했다고 월 스트리트저널이 전했다. 얼마전에 발표한 Qwen3-Max는 벤치마크에서 제미나이, 클로드, GPT-5 수준에 도달했다고 주장했고 이를 위한 자체 칩 개발에도 박차를 가한다고 했다(WSJ, 9월 24일).
  
  

• 5월에 오픈AI의 전직 직원 3명이 설립한 Applied Compute는 1억 달러의 가치를 지닌 라운드를 거친 후 불과 3개월 만에 5억 달러의 가치로 신규 자금을 모으기 위한 협상을 진행 중이라고 디 인포메이션이 전했다(디 인포메이션, 9월 26일). 전 오픈AI 연구원인 Rhythm Garg, Yash Patil, Linden Li는 소프트웨어 개발자와 기업이 강화학습(RL)을 사용하여 법률이나 금융과 같은 특정 분야에 맞춰 AI를 맞춤 설정할 수 있도록 돕기 위해 Applied Compute를 설립했다고 한다.
  
  

• 엔비디아가 오픈AI에 1천억 달러를 투자한다고 했다. 이를 통해 오픈AI는 엔비디아 칩을 구입할 수 있는 자금을 확보한다 (뉴욕타임스, 9월 22일). 엔비디아는 작년에도 이 회사에 투자했고, 지금까지 자사의 칩을 대량으로 구입해야 하는 기업에 투자를 했다. 기술 리서치 회사인 크리에이티브 스트래티지스(Creative Strategies)의 최고경영자(CEO) 벤 바자린은 엔비디아가 자사 제품을 인수하는 기업에 투자함으로써 사업 건전성을 과장하고 있다는 의문을 제기했다. 이 거래는 반독점법 위반 우려, 어떻게 이렇게 많은 용량을 건설하고 전력을 공급할 것인지에 대한 의문, 그리고 "순환적 특성"에 대한 우려를 불러일으켰다. 엔비디아로서는 자기 칩을 구입할 자금을 주면서 매출도 올리고, 지분도 확보하고 일거양득일까? 오픈AI는 이어서 소프트뱅크, 오라클과 함께 미국 내 5곳에 새로운 데이터센터를 짓는다고 했다. 위치는 오하이오주 Lordstown, 텍사스의 Milam County와 Shackelford, 뉴 멕시코의 Doña Ana County, N.M. 그리고 아직 확정되지 않은 중서부의 한 곳이다.
  
  

• 데이터브릭스가 오픈AI 모델 호스팅을 위해 1억 달러 계약을 했다(디 인포메이션, 9월 25일). 클라우드 AI 제공업체 데이터브릭스는 오픈AI와의 새로운 계약을 통해 고객을 위해 GPT-5와 같은 모델을 호스팅할 수 있게 되었으며, 이는 포춘 500대 기업의 데이터 보안 문제를 해결하기 위한 조치이다. 이 파트너십을 통해 데이터브릭스 고객은 자사 플랫폼 내에서 오픈AI 모델을 실행하고 AI 에이전트를 직접 설계할 수 있다.
  
  

• 개빈 뉴섬 캘리포니아 주지사는 인공지능을 규제하는 법안 SB 53에 서명할 것임을 밝혔다(폴리티코, 9월 24일). 캘리포니아 주 의원들은 AI 동반자 및 아이들과의 상호작용을 주 목적으로 하는 두 개의 AI 안전 법안, AB1064와 SB243을 추가로 통과시켰다. 
  
  

• 중국 양쯔강 유역 760에이커(약 34만 제곱미터) 섬에 대규모 데이터센터가 들어설 계획이라고 파이낸셜타임즈가 보도했다(파이낸셜타임스, 9월 21일).  중국판 스타게이트라고 하지만 아직 미국 규모에 미치지는 못한다는 평가이다. 연구 그룹 Epoch AI는 미국이 전 세계 컴퓨팅 파워의 약 4분의 3을 보유하고 있는 반면, 중국은 15%에 불과하다고 추산한다. 3월, 중국은 서부 오지에 있는 기존 데이터 센터를 대규모 언어 모델 훈련에 집중 배치한다는 계획을 발표했고, 주요 인구 밀집 지역에 더 가까운 곳에 새로운 서버 팜이 구축되고 있다. 이러한 서버 팜은 챗봇과 같은 AI 도구가 응답을 생성하는 과정인 "추론"에 중점을 두고, 사용자와의 물리적 근접성을 높여 더 빠른 AI 애플리케이션 개발을 지원할 것이다. 한 가지 예가 우후의 소위 "데이터 아일랜드"이다. 여기에는 화웨이, 차이나텔레콤, 차이나유니콤, 차이나모바일이 운영하는 4개의 새로운 AI 데이터 센터가 있다. 
  
  

• 억만장자 투자자 피터 틸이 성경 예언과 기술이 종말적 미래를 가져올 수 있는 잠재력에 대한 강의 시리즈를 진행하고 있다고 월 스트리트저널이 보도했다(WSJ, 9월 23일). 틸은 세상의 종말이 일어날 수 있는 실존적 위험은 핵전쟁, 환경 재앙, 위험하게 설계된 생물학 무기, 심지어 AI가 조종하는 자율 살상 로봇의 형태로 나타날 것이라고 한다. 틸의 강연 시리즈는 샌프란시스코에 본사를 둔 비영리 단체인 ACTS 17에서 주최한다. 

• 마이크로소프트는 365 코파일럿에 앤스로픽의 클로드 모델을 추가하여 OpenAI 모델에 대한 대안을 제공한다고 한다. 소넷 4와 오퍼스 4.1을 일단 포함한다(더 버지, 9월 25일).
  
  

• xAI는 기업 가치 2,000억 달러에 100억 달러를 조달하는 것으로 CNBC가 보도했다(CNBC 9월 19일). 이는 이달 초 1,830억 달러로 평가받고 130억 달러를 펀딩받은 앤스로픽보다 더 높은 가치다.
  
  

• 미국 연방 판사가 앤스로픽이 저작권료로 15억 달러를 지불하겠다는 합의에 대해 예비 승인을 내렸다(로이터, 9월 25일).
  
  

• 오픈AI는 실세계 과업에 대한 모델 성능을 평가할 수 있는 GDPval이라는 평가 방식을 제안했다. 44개의 직업에 대한 실세계 과업 수행 능력에 대해 경제적으로 가치 있는 성능을 평가하겠다는 것이다(오픈AI, 9월 25일).