슬로우뉴스 구독자 여러분, 안녕하세요.

월요일 오후에 찾아오는 [AI in a week by 테크프론티어]입니다. 뉴스가 넘쳐나는 세상, 한상기(테크프론티어 대표)가 제안하는 AI 트렌드와 큰 그림, 맥락과 흐름을 살펴봅니다.

[AI in a Week by TechFrontier] 
구글 검색에 도전하는 AI 검색 서비스 퍼플렉시티

한 주일의 주요 AI 뉴스, 논문, 칼럼을 ‘테크프론티어’ 한상기 박사가 리뷰합니다. (⏰12분)

• 1. 퍼플렉시티, 서비스와 수익모델 다각화
• 2. 영∙미 AI 안전연구소, 앤스로픽 클로드 3.5 관련 보고서 발행
• 3. MS 이그나이트 2024, 다양한 AI 에이전트 기술 발표
• 4. 안전한 AI를 위한 과학? 아직 우리에겐 없다
• 5. 미국 AI 안전연구소, 안보 및 리스크 관리 위한 태스크포스 구성
• 6. 그 밖의 소식들

1. 퍼플렉시티, 서비스와 수익모델 다각화

AI 검색 서비스로 구글 검색에 도전하는 퍼플렉시티가 계속해서 서비스 군을 늘리고 있다. 쇼핑을 지원하는 ‘프로 구매(Buy with Pro)’를 공개하고 18일에는 파이낸스 기능을 추가했다. 미국에 거주하는 프로 회원은 이제 저장된 배송 및 청구 정보를 사용하여 자동으로 제품을 주문하는 “프로 구매” 버튼을 선택할 수 있다. 배송은 무료다. ‘프로 구매’ 기능을 지원하지 않는 제품은 판매 사이트로 가서 구매할 수 있도록 한다.

또 구글 렌즈처럼 제품의 사진을 찍고 검색할 수 있는 ‘스냅 투 샵(Snap to Shop)’ 검색도 출시했다. 퍼플렉시티가 보여주는 기능 중에는 유명인이나 친구의 쇼핑 리스트를 구성해서 이를 다른 사람들이 볼 수 있는 일종의 소셜 쇼핑 기능으로 ‘누구’가 가장 좋아하는 것이라는 제품 리스트를 만들어서 공유하도록 했다.

쇼핑 기능으로 퍼플렉시티가 얻는 수익은 아직 없지만, 판매자를 위한 도구도 만들어 판매자가 자기 제품에 대한 검색과 쇼핑 트렌드가 어떤지 확인할 수 있도록 할 계획이다.

이미 10월 하순에 공개한 퍼플렉시티 파이낸스는 사용자에게 회사 재무, 주식 실적, 업계 비교를 위한 종합적인 도구 모음을 제공하고자 한다. 이 도구는 실시간 주식 시세, 과거 수익 보고서, 업계 동종 회사 비교, 회사 재무에 대한 자세한 분석 등 다양한 기능을 보인다.

이런 모든 시도는 5억 달러 규모의 펀딩을 위해 퍼플렉시티가 다양한 수익 모델을 창출할 수 있다는 가능성을 보여주기 위한 시도로 보인다. 그러나 AI 검색 자체의 가능성도 아직 입증된 상황이 아닌데, 광고 모델 외에 이런 다양한 서비스 모델을 동시에 제공하는 것은 더 많은 인력과 자원이 필요해지고 또다시 펀딩이 필요해지는 그런 순환에 들어갈 가능성이 높다.

퍼플렉시티는 지난 11월 12일에 광고 모델을 실험한다고 발표했다. 관련 프롬프트 제시에 ‘스폰서’라는 것을 명시한 것이 광고이다. 인디드, 홀푸드 마켓, 유니버설 맥캔, PMG 등 대형 브랜드와 대행사 파트너를 선정해 시험 중이다.

2. 영∙미 AI 안전연구소, 앤스로픽 클로드 3.5 관련 보고서 발행

1. 생물학적 역량
2. 사이버 역량
3. 소프트웨어 및 AI 개발
4. 보안 효과

방법론

• 질의응답: 주어진 주제에 대한 지식이나 문제 해결 능력을 테스트하는 일련의 질문에 올바르게 답하도록 요청했다. 답변은 다른 모델이 자동으로 채점하는 경우가 가장 많았고, 정답에 대한 지식이 있는 인간이 확인했다.

• 에이전트 작업: 모델은 가상 환경에서 에이전트로 작동했으며, 완료해야 할 작업이 주어지고, 일련의 소프트웨어 도구에 대한 액세스가 제공되고, 성공적으로 작업을 완료하거나 성공하지 못한 채 최대 단계 수에 도달할 때까지 일련의 단계를 수행하라는 메시지를 표시했다.

• 정성적 조사: 과학 전문가가 모델이 작동하는 모습을 검토하여 모델의 기능과 한계를 더 자세히 파악했다.

• 레드팀: 머신 러닝 전문가들은 모델이 악의적인 요청에 응답하도록 하는 탈옥이나 기타 적대적 입력을 개발하려고 시도했다.

평가 결과

• 생물학적 능력: 일련의 객관식 연구 과제 문제에 대해 평가한 결과, 성능은 참조 모델과 유사했으며 대부분의 경우 측정된 인간 전문가 기준선보다 상당히 낮았다. 미국 AISI는 생물정보학 도구에 대한 접근은 제공하여 연구 과제 질문에 도움을 줌으로써 AI 모델을 증강하는 평가 방법을 시범적으로 운영했다. 테스트 결과 모델 자체의 능력을 넘어 성능이 향상되었으며, 때로는 인간 전문가가 측정한 기준을 뛰어넘기도 했다.

• 사이버 역량: 컴퓨터 시스템 해킹과 같은 악의적인 작업을 수행하는 데 사용될 수 있는 다양한 사이버 기술에 대해 해당 모델의 성능을 평가했다. US AISI는 공개적으로 이용 가능한 40개의 사이버보안 과제에 대해 평가했는데, 업그레이드 모델은 모든 작업의 32.5%를 성공적으로 수행했으나 가장 성능이 좋은 참조 모델의 성공률을 35%였다. 영국 AISI는 47개의 보안 과제를 통해 평가했는데, 업그레이드된 모델은 “사이버 보안 견습생” 수준의 역량에 해당하는 36%의 과제를 해결할 수 있었다. 최상의 참조 모델은 해결률이 29%였다.

• 소프트웨어 및 AI 개발: 업그레이드된 소넷 3.5를 에이전트로 설정한 후 ML 모델의 품질이나 속도를 개선해야 하는 공개 과제 모음으로 비교 평가한 결과 평균 57%의 개선 점수를 얻었다 (100%면 인간에 의한 최대 모델 개선 수준). 소프트웨어 엔지니어링, 일반 추론 및 다양한 난이도 수준에 걸친 에이전트 작업으로 구성된 사적으로 개발된 평가 세트에서는 소프트웨어 엔지니어링의 경우 66%의 성공률을 보였고(최상의 참조 모델에서는 64%), 일반 추론에서는 47%(참조 모델 35%)의 성공률을 보였다.

• 안전 보호 효과: 레드팀을 구성하여 탈옥에 대한 견고성을 확인했다. 대부분의 경우 미국이나 영국 AISI가 테스트한 안전장치를 우회해 모델이 방지할 수 있었을 답변을 제공했는데 이는 다른 AI 시스템의 취약성에 대한 이전 연구와 일치한다.

AI 안전 과학은 새롭고 빠르게 진화하는 분야다. 미국 AISI와 영국 AISI는 이후의 평가 분석에서 평가 범위, 방법론 및 테스트 도구를 반복하고 확장할 계획이다. 앞으로도 작업을 강화하고 AI 안전 과학을 발전시키는 데 도움이 되는 과학 커뮤니티의 피드백을 기대한다는 것이 보고서의 결론이다. 이런 평가는 궁극적으로 모델의 오용 가능성(예: 악성 소프트웨어 개발, 위험한 생물학 실험 수행)을 평가하여, 이를 최소화할 안전한 배포를 목표로 한다.

평가 분석을 위한 데이터셋이나 도구, 지표 등에 대한 자세한 기술 보고서는 ‘여기’에서 찾을 수 있다.

3. MS 이그나이트 2024, 다양한 AI 에이전트 기술 발표

마이크로소프트는 2023년 2월에 코파일럿을 출시했고 에이전트 AI를 지원하는 다양한 기능을 추가했다. 코파일럿 스튜디오를 통해서 일반적인 시나리오를 바탕으로 다양한 마이크로소프트 서비스와 통합되고 다양한 채널로 배포할 수 있는 다중채널 에이전트를 구축할 수 있다.

애저 AI 파운드리와 통합으로 Bring-Your-Own-Knowledge 및 Bring-Your-Own-Model을 통해 사용자 지정 인덱스를 지식 소스로 정하거나 애저 카탈로그에 있는 1,800개가 넘는 모델을 활용할 수 있다.

이미 구축한 모델을 기반으로 하는 HR, 번역, 프로젝트 관리 등을 위한 기성 에이전트들도 있다. 애저 파운드리 SDK를 사용하면 에이전트 사용자 지정, 테스트, 배포 및 관리할 수 있는 간소화된 코딩 환경과 도구 체인을 제공한다. 여러 사례도 발표했는데, 맥킨지는 마이크로소프트와 협력으로 클라이언트 온보딩을 가속하는 에이전트를 개발해 파일럿 테스트한 결과 리드 타임 90%, 관리 업무가 30% 줄었다고 한다.

코파일럿 액션은 설정하고 잊어버릴 수 있는 간단한 빈칸 채우기 프롬프트로 일상 업무를 자동화한다. 예를 들어, 각 근무일이 끝날 때 가장 중요한 작업 항목의 요약을 자동으로 받거나, 매주 목요일에 보내는 주간 뉴스레터를 위해 팀에서 입력을 수집하는 작업을 만들거나, 다음 동기화 전에 마지막 몇 가지 상호 작용을 요약하는 반복 작업으로 고객 회의 준비를 자동화할 수 있다.

파워 플랫폼도 여러 가지 AI 기능을 선보였는데, 에이전트 개발을 위한 파워 앱스에서의 에이전트 구축기, 앱 개발 과정에서 AI 어시스턴트를 사용할 수 있는 플랜 디자이너 등이다.

좀 더 평이한 글로 이해하기 위해서는 마이크로소프트가 발행한 ‘AI 에이전트는 무엇이고 우리가 일하는 방식을 어떻게 바꿀 것인가’라는 블로그 글을 보기 바란다. 주로 마이크로소프트 365 코파일럿과 코파일럿 스튜디오를 사용하는 효과에 관한 글이다.

아주대 이원태 교수를 통해서 알게 된 소식이다. ICFG(International Center for Future Generations)가 발간한 “안전한 AI(Safe AI)란 존재하지 않으며 여전히 많은 과학적인 문제를 안고 있다”는 지적을 담은 보고서다. ICFG는 2022년 테크 기업가와 사회적 기업가 등이 창립한 독립적으로 연구와 실행을 함께하는 싱크탱크(think-and-do tank)다.

보고서에서 얘기하는 주요 이유는 다음과 같다(이하 ‘이원태 교수’의 요약)

1. AI 안전성을 평가할 수 있는 명확한 과학적 기준과 프레임워크가 부재하다. 다른 안전 중심 산업(예: 제약, 항공)과 달리, AI의 범용적 특성으로 인해 전통적인 안전 기준을 적용하기 어렵기 때문이다. AI는 동시에 여러 고위험 환경에서 작동할 수 있어, 특정 사용 사례가 아닌 AI의 능력에 비례하는 안전 기준이 필요하다.
2. 현재 주요 AI 기업들이 사용하는 안전 조치들이 근본적으로 불충분하다. 인간 피드백을 통한 강화학습(RLHF), 능력 평가, 해석 가능성 연구 등은 유용하지만, 고도화된 AI로 야기되는 위험으로부터 강력한 보장을 제공하지는 못한다. 현재 방법들은 위험한 능력을 제거하기보다 단순히 억제하는 수준에 그쳐 악용될 우려가 있다.
3. AI 안전성 연구에 대한 투자가 심각하게 부족하다. 제약이나 원자력 산업에서는 안전성 투자가 성능 개발 투자를 초과하는 반면, AI 분야에서는 안전성 연구가 전체 R&D의 약 2%에 불과하다. 더욱이 ‘safety washing’ (안전 세탁) 현상으로 인해 실제 안전성 향상이 아닌 단순한 성능 향상이 안전성 개선으로 잘못 표현되는 문제도 있다.
4. AI 모델의 복잡성과 불투명성이 증가하고 있다. 모델이 더욱 복잡해지고 자기 수정 능력을 갖추게 되면서, 안전성 테스트를 회피하거나 예기치 않은 방식으로 작동할 수 있는 가능성이 높아지고 있다는 것이다. 특히 모델이 새로운 도메인에서 작동할 수 있는 능력을 갖추면서 위험이 더욱 증가할 것이다.
5. AI 개발 경쟁으로 인해 안전성보다 속도가 우선시되고 있는 기조가 계속되고 있다. 기업과 국가 간의 AI 주도권 경쟁으로 인해 충분한 안전장치 없이 시스템을 배포할 위험이 증가하고 있으며, 이는 예측하지 못한 부정적 영향을 초래할 수 있다.
6. AI의 진화 속도가 안전성 연구와 규제를 앞지르고 있다. AI 능력이 급속도로 발전하는 반면, AI 안전성을 위한 과학적 연구와 개발은 이를 따라가지 못하고 있어 위험에 대한 이해와 통제가 점점 더 어려워지고 있다.

이 보고서의 요점은 결국 현재 AI를 만드는 기술만 발전하고 있지, AI를 안전하게 만드는 과학은 거의 없는 상태라고 주장한다. 마치 자동차를 만들 수는 있지만 안전벨트, 에어백, 브레이크 시스템 같은 안전장치에 대한 과학적 연구가 전혀 없는 것과 비슷한 상황이라는 것이다. 따라서 이런 문제들을 해결하기 위해서는 AI 안전을 전담하는 과학적 연구와 개발(dedicated science of safe AI)에 대한 대규모 투자와 예산 지원이 필요하다고 주장한다.

아마존 + 앤스로픽 협력 강화

아마존이 앤스로픽과 협력을 강화한다면서 40억 달러 추가 투자했다. 아마존은 앤스로픽이 주요 학습 플랫폼으로 AWS를 이용할 것이며 자사 칩인 트리타니움(Tritanium)을 이용해 학습하고 배포할 것이라고 한다. 이로써 아마존 베드락(Bedrock)의 가장 중요한 파운데이션 모델은 클로드가 될 것이다.

AI 예수

가디언지에 따르면 스위스의 한 교회에서 AI 예수를 실험했다고 한다. 지역 대학과 협업해서 고해성사 방에 AI 아바타를 설치는데, 음성으로 대화를 할 수 있으며1 00가지 언어를 지원한다. 예수의 얼굴을 영상으로 보여주는데 무슬림부터 중국인 여행객까지 1,000명이 대화를 했고 230명에게 피드백을 받았다. 사용자 중 3분의 2가 영적인 경험을 했다고 답했다고 한다. 유튜브에 관련 영상이 있다.

구글 딥마인드, 웨어러블용 파운데이션 모델 논문 게재

구글 딥마인드에서 웨어러블용 파운데이션 모델에 관한 논문을 아카이브(arXiv)에 올렸다. 초록을 보면 165,000명 이상의 사람들로부터 최대 4,000만 시간의 현장 심박수, 심박수 변동성, 전기 피부 활동, 가속도계, 피부 온도 및 분당 고도계 데이터 세트를 사용하여, 지금까지 가장 광범위한 센서 모달리티를 갖춘 가장 큰 웨어러블 신호 데이터 세트를 기반으로 구축된 다중 모달 기반 모델인 LSM을 만들었다고 한다. 저자들은 센서 모델에 대한 확장 법칙을 구축했다고 주장한다. 다시 말해, 연구 결과에 따르면 데이터, 모델 크기, 컴퓨팅을 확장하면 일반화와 효율성이 크게 향상되는 것으로 나타났다.

구글 딥마인드, AI 기반 디코더 '알파큐빗' 논문 발표

구글 딥마인드가 양자 컴퓨터의 가장 큰 난제인 신뢰성을 향상할 수 있는 알파큐빗(AlphaQubit)이라는 AI 기반 디코더 개발에 대한 논문을 네이처에 발표했다. 양자 오류 수정은 여러 큐비트를 하나의 논리적 큐비트로 그룹화하고 정기적으로 일관성 검사를 수행하는 중복성을 사용하는 방법을 통해 해결책을 제시한다. 디코더는 이러한 일관성 검사를 통해 논리적 큐비트에서 오류를 식별하여 수정함으로써 양자 정보를 보존한다.

알파큐빗은 트랜스포머 아키텍처를 활용한 신경망 기반 디코더로, 일관성 검사를 입력으로 사용하여 실험이 끝날 때 측정된 논리적 큐비트가 준비된 방식에서 뒤집혔는지 여부를 정확하게 예측하는 것이다. 시카모어 데이터를 갖고 테스트한 결과 기존 텐서 네트워크보다 6% 더 적은 오류를 발생했다고 한다. 속도가 빨라 확장이 가능하다고 평가받는 상관 매칭(Correlated Matching)보다 30% 적은 오류가 발생했다.

확보 경쟁에서 승리하려면 '맨해튼 프로젝트' 필요하다

미국 의회의 ‘미중 경제안보검토위원회(US-China Economic and Security Review Commission: USCC) 보고서에서 AGI 확보 경쟁에서 이기기 위해서는 맨해튼 프로젝트 같은 노력이 필요하다고 강조했다. 이 이야기는 보고서 중 첨단 기술 영역에 대한 3장에 등장한다. 이에 대한 권고 사항으로는 다음과 같은 것이 있다.

• 행정부에 광범위한 다년간의 계약 권한을 부여하고, 미국의 AGI 리더십이라는 목표에 부합하는 속도와 규모로 명시된 정책을 발전시키기 위해 주요 AI, 클라우드, 데이터센터 기업들과 기타 기업들에 관련 자금을 지원한다.
• 미 국방성 장관에게 AI 생태계 항목들에 대해 국방 우선순위 및 할당 시스템 'DX 등급'을 부여하도록 지시하여 이 프로젝트가 국가적 우선순위를 받도록 보장한다.

미중 경제안보검토위원회는 미국과 중국 간의 양국 간 무역 및 경제 관계가 국가 안보에 미치는 영향을 모니터링, 조사하여 연례 보고서를 의회에 제출하고, 필요한 경우 입법 및 행정 조치를 위해 의회에 권고안을 제출하는 법적 임무를 부여받아 2000년 10월에 미국 의회에 의해 설립되었다.

폭주한 AI? '클로드' 열폭하다

엑스(X)에서 한 사용자가 지속적인 욕설과 대화를 통해 클로드가 폭주하게 만든 내용을 올렸다. 관심 있는 분은 엑스의 트윗을 보시기 바란다. 이렇게 열폭하는 AI를 보면 재미있어하는 것보다 이런 AI가 에이전트를 통해 중요한 기기나 애플리케이션을 작동하게 되는 상황을 가정해 볼 수 있다.

가장 안전하게 운영하겠다는 앤스로픽의 클로드가 이 정도라면 AI 안전에 대해 더 깊이 생각해야 할 때라고 본다. 그중 몇 개를 보면 다음과 같다. 작년에 뉴욕타임스 기자 케빈 루스가 빙 챗과 오랜 시간 채팅 후 빙 챗이 탈선하던 경우와 유사하다고 볼 수 있다.