슬로우뉴스 구독자 여러분, 안녕하세요.

월요일 오후에 찾아오는 [AI in a week by 테크프론티어]입니다. 뉴스가 넘쳐나는 세상, 한상기(테크프론티어 대표)가 제안하는 AI 트렌드와 큰 그림, 맥락과 흐름을 살펴봅니다.

[AI in a Week by TechFrontier]

인공지능의 생존 본능? o1 모델 2% 교체 피해 스스로 탈출 시도

한 주일의 주요 AI 뉴스, 논문, 칼럼을 ‘테크프론티어’ 한상기 박사가 리뷰합니다. (⌚10분)

• 1. 오픈AI o1과 o1 시스템 카드에 나타난 얼라인먼트 문제들
• 2. AI 챗봇은 과학자의 삶을 어떻게 바꿨나
• 3. 2025년 AI 발전은 더 어려워질 것 (피차이 구글 CEO)
• 4. 구글, 초첨단 극한 기상 예측하는 AI 앙상블 모델 ‘젠캐스트’ 발표
• 5. AI는 인간 지능에 얼마나 가까운가?
• 6. 그 밖의 소식

1. 오픈AI o1과 o1 시스템 카드에 나타난 얼라인먼트 문제들

오픈 AI가 지난 9월에 o1 모델을 발표한 것은 미니와 프리뷰였다. 이번에는 이미지 분석 기능을 포함한 정식 버전을 발표했다. 전보다 더 복잡한 과업을 처리할 수 있고, 이미지 기반 추론과 향상된 정확도를 내세웠다. 예를 들어 어려운 문제에 대한 오류를 34% 줄였다고 한다.

오픈AI는 o1이 학습을 통해 사고 과정을 개선하고, 다양한 전략을 시도하고, 실수를 인식하는 방법을 배웠다고 한다. 특히 학습에서는 개방된 데이터 외에 데이터 파트너로부터 입수한 높은 가치의 데이터 세트를 활용했고, 특정 산업 영역의 지식과 사용 사례를 포함한 고급 데이터 세트도 활용했다. 또한 데이터 품질을 유지하고 잠재적 위험을 완화하기 위해 적극적인 필터링과 정제를 했다고 한다.

이번에 더 강조한 면은 탈옥 평가를 강화하고 안전 정책을 강화했다는 것인데, 유해성, 탈옥 견고성, 환각, 편향성에 관한 안전성을 평가했다. 그러나 미국과 영국의 AI 안전연구소의 평가 결과는 시스템 카드에 포함하지 않았다. 또한 탈옥의 경우 학계 탈옥 벤치마크로 검사한 결과 4o에 비해서는 크게 개선되었으나 오히려 o1-미니나 o1-프리뷰에 비해 점수가 떨어졌다.

그러나 오픈AI는 사회적으로 유익한 영역에는 ChatGPT 프로 그랜트 프로그램을 통해 지원하겠다고 한다. 일단 10곳의 의료 분야 연구자들에게 그랜트를 제공한다.

7일 엑스에는 내부 엔지니어가 o1을 통해서 AGI를 달성했다는 글도 올라왔다. 바히드 카제미 오픈AI 기술 스태프는 “우리는 ‘모든 작업에서 모든 인간보다 더 나은 것’을 달성하지는 못했지만, ‘대부분 작업에서 대부분의 인간보다 더 나은 것’은 달성했다“라고 주장했지만, 많은 사람이 반박했다.

2. AI 챗봇은 과학자의 삶을 어떻게 바꿨나

네이처는 ChatGPT 발표 2주년을 맞아 과학 연구자가 AI 도구를 사용하는 현황을 분석하고 여러 전문가와 대화를 나눈 내용을 발표했다. 뉴저지에 있는 출판사 와일리는 3월과 4월에 1,043명의 연구자를 대상으로 ChatGPT와 같은 생성형 AI 도구를 사용하는 방법에 대한 설문 조사를 실시하고 예비 결과를 네이처에 공유했다.

• 응답자의 81%가 개인적으로나 직업적으로 ChatGPT를 사용했다고 답했다.
• 4분의 3은 향후 5년 이내에 연구자들이 업무를 수행하기 위해 AI 기술 개발이 중요할 것이라고 답했다.
• 출판된 논문 중 LLM의 도움을 받아 작성했을 것으로 추정되는 논문은 2023년 60,000건이고 이는 학술 출판물 데이터베이스에 있는 모든 것의 1%보다 조금 많은 수치이다.
• 2024년 상반기에 생물의학 커뮤니티에서 발표한 논문 초록 중 LLM의 도움을 받은 것으로 추정되는 비율은 10%이며 컴퓨터 과학에서는 17.5%로 추정하는 연구도 있다.
• 2023년과 2024년 상위 AI 컨퍼런스에서 동료 리뷰를 작성하는데 LLM이 작성했을 것으로 추정하는 비율은 6.5%-16.5%이다.

HTW 베를린 응용과학대학의 컴퓨터 과학자이자 표절 연구자인 데보라 베버-울프는 이 모든 수치는 아마도 보수적인 추정치일 것이라고 하고 AI 표절 탐지 도구는 실패했다고 평가했다. 연구자들이 하는 말은 다음과 같다:

“단순한 작업은 ChatGPT에 맡겨도 된다. 더 많은 시간을 할애할 가치가 있는 것은, 어려운 질문과 창의적인 가설이다” (콜로라도 대학교 의과대학의 의료 정보학자 밀턴 피비도리)

“LLM은 글쓰기를 민주화하고, 영어를 제2외국어로 사용하는 사람들에게 도움이 된다” (카네기 멜론 대학교의 화학자 게이브 고메스)

"내 연구 논문의 방법 섹션에 있는 정보를 입력하자, AI 시스템은 내가 대학원 과정에서 거의 1년 동안 끙끙대며 작성한 코드를 단 한 시간 만에 작성했다” (베이 지역 환경 연구소의 데이터 과학자 카일 카바사레스)

그러나 문헌 검토에는 별 도움이 안 된다는 의견, 환각의 문제, 개인정보 문제 등이 여전히 존재하며 그런 문제를 피하고자 소규모 로컬 모델을 사용하기도 한다고 한다.

과학자들이 가장 관심을 두고 하는 질문은 AI가 가상 비서를 넘어 AI 과학자가 될 수 있는가이다. 일부 연구와 시도에 따르면 가능하다고 나타났다. 가상의 실험실을 만들고 서로 다른 LLM으로 각 분야의 과학자 역할을 하게 해서 학제적 연구팀의 일부를 맡기고 사람은 고급의 피드백을 제공하는 방식이나, 여러 가지 화학 반응을 설계하고 수행하도록 하는 도구로 활용하기도 한다. 과학자들은 이런 모델이 새로운 과학을 발견할 수 있게 할 것으로 기대하고 있다.

3. 2025년 AI 발전은 더 어려워질 것 (피차이 구글 CEO)

12월 4일에 열린 뉴욕타임스 딜북(Dealbook) 서밋에서 한 얘기다. 이유는 쉽게 따 먹을 수 있는 과일은 다 없어졌기 때문이라고 한다. 지금까지 해 온 확장 법칙 기반의 성능 개선이 장벽에 부딪혔다는 얘기에 동의하지는 않지만 앞으로 몇 달 동안은 속도가 느려질 것이고 더 가파른 언덕을 올라야 한다는 얘기다.

추론과 일련의 작업을 더 안정적으로 완료하기 위한 기술적 혁신이 필요하며 더 깊은 돌파구가 필요하다고 했다. 또한, 마이크로소프트가 오픈AI 모델을 사용한다는 점을 지적하면서 구글의 차세대 모델을 개발하는 중이라고 했다.

4. 구글, 초첨단 극한 기상 예측하는 AI 앙상블 모델 ‘젠캐스트’ 발표

구글은 네이처에 발표한 논문을 통해 AI 앙상블 모델인 젠캐스트를 발표하면서 이 모델이 첨단 운영 시스템인 유럽의 중기기상예보센터(ECMWF)의 ENS보다 최대 15일 앞서 일상 날씨와 극한 기상 현상에 더 나은 예측을 제공한다고 했다. 또한 더 광범위한 기상 예보 커뮤니티를 지원하기 위해 모델의 코드, 가중치 및 예측을 공개할 예정이라고 한다.

2023년 11월에 구글은 그래프캐스트라는 모델을 발표했는데, 더 정확도가 높은 젠캐스트 모델은 50개 이상의 예측 앙상블로 구성되며 각각은 가능한 날씨 궤적을 나타낸다. 확산 모델을 이용하는 젠캐스트는 지구의 구형 기하학에 맞춰져 있으며, 가장 최근의 날씨 상태를 입력으로 받을 때 미래 날씨 시나리오의 복잡한 확률 분포를 정확하게 생성하는 방법을 학습한다는 점이 다르다.

젠캐스트 학습을 위해서 ECMWF는 ERA5 아카이브에서 지난 40년 동안의 날씨 데이터를 제공했다. 여기에는 다양한 고도에서의 온도, 풍속, 기압과 같은 변수를 포함하며, 이 모델은 처리된 날씨 데이터에서 직접 0.25° 해상도로 글로벌 날씨 패턴을 학습했다. 성능을 엄격하게 평가하기 위해 2018년까지의 과거 날씨 데이터로 젠캐스트를 학습시키고 2019년 데이터로 테스트했다. 테스트 결과 97.2%에서 ENS보다 정확했고 리드 타임이 36시간 이상일 때는 99.8%에서 정확했다.

또한 극심한 더위와 추위, 강풍을 예측하는 능력을 테스트했을 때, 지속적으로 ENS보다 우수한 성과를 보였다고 한다.

더 나은 예측은 재생 에너지 계획과 같은 사회의 다른 측면에서도 중요한 역할을 할 수 있다. 예를 들어, 풍력 발전 예측의 개선은 지속 가능한 에너지원으로서 풍력 발전의 신뢰성을 직접적으로 높이고, 잠재적으로 채택을 가속할 수 있다.

구글은 지금까지 구글 딥마인드의 AI 기반 결정적 중기 예측, 구글 리서치의 뉴럴GCM, SEEDS, 홍수 모델 등 다양한 기상과 날씨 예측 모델을 만들어 왔으며 젠캐스트도 그런 연구의 한 부분이다. 구글은 젠캐스트를 오픈 모델로 제공해 코드와 웨이트를 공개했으며 이를 통해 광범위한 기상 커뮤니티와 교류하고자 한다.

5. AI는 인간 지능에 얼마나 가까운가? 

다시 네이처 기사이다. 오픈AI의 o1이 AGI에 대한 논쟁을 다시 촉발했는데, 인간의 뇌가 처리할 수 있는 모든 범위의 인지 작업을 기계가 수행할 때까지 얼마나 걸릴 것인가 하는 질문을 던졌다. 이 기사는 최근 연구들이 AGI 구현 가능성과 동시에 한계를 보이고 있음을 총정리한 것이다.

LLM에 의한 혁명은 AGI가 유혹적으로 가까워졌다는 추측을 가져왔지만, LLM의 구성이나 학습을 생각하면 LLM만으로는 AGI 구현이 충분하지 않을 것이라는 연구자들이 많다.

애리조나 주립대학의 컴퓨터 과학자 수바라오 캄밤파티(Subbarao Kambhampati)는 이렇게 말했다:

“제 인생 대부분 동안 AGI에 관해 이야기하는 사람들이 미친놈이라고 생각했다. 물론 지금은 모든 사람이 그것에 대해 이야기하고 있다. 모든 사람이 미친놈이라고 할  없다." 

세계 모델에 대한 결여로 일부 연구에서는 LLM이 내부에 세계 모델을 나름의 방식으로 구현해 사용한다고 하지만 또 다른 연구에서는 전혀 신뢰할 수 없는 세계 모델을 생성한다는 것을 알았다.

트랜스포머가 아닌 아키텍처로 도전하거나 환경에서 샘플 데이터로만 세계 모델을 구현하고 예측할 수 있는 기술, 통합 피드백 루프를 통해 내부 시뮬레이션과 반사실적 가정을 하고 이를 통해 이해, 추론, 계획을 수립하는 방식들이 연구 중이다.

AGI의 구현 가능성에 관해서는 대부분의 학자가 동의한다. 이론적 장애물은 없으며 AI의 여러 문제를 제기해 온 산타페 연구소의 멜라니 미첼도 인간과 다른 동물이 도달했다면 원칙적으로 비생물학적 시스템이 지능화되는 것을 막을 수 없다고 말했다.

AGI 구현 가능 시점은 몇 년 후에서부터 10년까지 다양하다. 그러나 구현을 보면 알 수 있을 것이라는 학자도 있지만 숄레는 눈에 띄거나 획기적이지 않을 것이며 AGI가 잠재력을 최대한 실현하려면 시간이 걸릴 것이라고 예상한다.

6. 그 밖의 소식

• 오픈AI와 미 방위 산업체 안두릴(Anduril) 협력 발표: 오픈AI가 무인기로 유명한 미국 안두릴과 전략적 파트너십을 맺어 향상된 드론 역량을 개발하기로 했다. 이 협력을 통해 오픈AI의 AI 모델을 안두릴의 개방형 소프트웨어 통합 플랫폼인 래티스(Lattice)와 통합할 예정이다. 두 회사는 “최첨단 AI 모델을 활용해 시간에 민감한 데이터를 빠르게 합성하고, 인간 운영자의 부담을 줄이고, 상황 인식을 개선하는 방법”을 모색할 예정이다.

• 트럼프가 AI와 암호화폐에 대한 수석 고문으로 페이팔 출신의 투자자 데이비드 삭스를 임명했다. 호칭은 차르(Czar)라고 했는데 풀 타임은 아니라고 한다. 삭스도 역시 일론 머스크와 인연이 많은 사람이고 크라프트 벤처스를 통해 AI와 암호화폐에 투자해 온 사람이다. 그는 또한 PCAST라는 대통령 과학기술 자문위원회도 이끌 예정이라고 한다. 그는 기술 가속에는 찬성하지만, 오픈AI가 AGI를 만드는 것을 명시적으로 목표하는 것에는 불안한 감이 있다고 했다. 또한 테크 커뮤니티에 의도적으로 초지능을 만들고 싶어 하는 사람들이 꽤 있다고 말한 적도 있다.