AMA | 에피소드 2 - AI 에이전트의 점령: 과대 광고와 현실의 분리 (데이터브릭스 출연)

이번 AMA에서 Sahara AI 팀은 에이전트가 내러티브를 통해 어떻게 추론하고, 소통하며, 협력하는지를 심층적으로 탐구하며 AI 에이전트 인수 시리즈를 계속합니다. 마케팅 리드 주얼스 바라간이 주최하고, CEO이자 공동 창립자인 Sean Ren과 UC 샌디에이고의 조교수이자 MosaicML의 연구 과학자인 특별 게스트 프리티비라지 아만나브롤루가 함께하는 이 대화는 내러티브 이해가 에이전트 지능, 장기 계획 및 인간-AI 협력의 경계를 어떻게 확장하는지를 탐구합니다. 상호작용 스토리텔링과 과학적 추론부터 자율 시스템의 안전과 정렬 문제까지, 이 세션은 AI 에이전트가 이야기를 통해 사고하는 것을 가르치는 것의 약속과 함정을 모두 살펴봅니다.

링크: https://x.com/i/spaces/1DXxyqEDvNNxM

대본

주얼스: 알겠습니다, 여러분, 몇 분 후에 시작하겠습니다. 참석해 주셔서 감사합니다. 이미 라지를 봤습니다. 그를 발표자로 설정하겠습니다. 잘 지내고 있나요?

라지: 잘 지내고 있어요. 당신은 어떻게 지내고 있나요?

주얼스: 아주 잘 지내고 있습니다. 오늘 당신을 만나게 되어 기쁩니다. 몇 분 후에 시작하겠습니다. 당신 목소리가 완벽하게 들려요. 네, '비라지'라고 발음하나요?

라지: 네, '프리티비라지'입니다. 하지만 '라지', 또는 아무 이름이나 불러주세요.

주얼스: 네, 멋지네요.

션: 멋지네요.

주얼스: 이미 많은 발표자들이 멋진 비트 오버레이를 사용하고 있군요. 정말 멋져요. 모든 분들께 너무 감사드립니다. 반갑습니다, 여러분. 션, 우리 소리 들리나요?

션: 네, 당신 소리가 들려요.

주얼스: 멋져요. 마이크 음질이 좋습니다. 그리고 라지, 당신도 여기 있군요.

라지: 네.

주얼스: 훌륭합니다. 시작하겠습니다. 여러분, 저는 Sahara AI의 주얼스입니다. 오늘 여러분의 진행자입니다. 이번 AI 에이전트 인수 시리즈의 두 번째 에피소드입니다. 오늘은 AI에서의 두 명의 놀라운 정신을 특징으로 하는 흥미로운 AMA를 갖게 되었습니다. 저희의 CEO이자 공동 창립자, 션 렌입니다.

션: 안녕하세요, 여러분. 돌아왔습니다.

주얼스: 네, 마지막 AMA 이후로 겨우 일주일밖에 되지 않았습니다. 다시 참석해 주셔서 정말 감사합니다, 션. 당신이 아주 바쁜 분이라는 걸 알지만요.

션: 네, 물론입니다. 대화에 흥미가 생겼고요.

주얼스: 당신의 새로운 눈썹이 정말 마음에 들어요. 방금 업데이트된 걸 봤습니다. 네, 저희 블로그 포스트를 읽어보시길 바랍니다. 분명히 새로워요. 오늘 많은 사람들이 오버레이를 보여주고 있는 것 같군요. 정말 흥미롭고 멋져요. 오늘의 특별 게스트인 프리티비라지 또는 짧게 라지도 같이 있습니다. 라지는 UC 샌디에이고의 조교수로 펄 연구실을 이끌고 있으며, Mosaic ML을 통한 연구 과학자입니다. 그는 이전에 AI2의 연구원이었고 그 전에 조지아텍에서 박사 학위를 받았습니다. 오늘 저희와 함께해 주셔서 감사합니다, 라지.

라지: 초대해 주셔서 감사합니다, 두 분. 여러분 모두를 만나고 다시 션의 목소리를 들어 매우 기쁩니다.

션: 이 공간과 연결될 수 있어서 흥미롭습니다.

주얼스: 오늘의 AMA는 AI 에이전트가 언어, 피드백, 현실 세계의 맥락 및 내러티브 추론을 어떻게 사용하여 더 나은 협력형 소통자가 되는지를 탐구할 것입니다. 듣고 계신 분들 중 질문이 있으시면 아래 댓글에 남겨주시면 마지막에 다루겠습니다. 자, 시작하겠습니다. 라지, 당신은 기계가 이야기를 말하는 방법에 대해 수년간 연구해 왔습니다. "와우, AI는 인간처럼 내러티브를 이해해야 한다"고 느낀 순간이나 통찰이 있었나요?

라지: 네. 이를 답하기 위해, 저는 근본적인 동기를 이야기하기 위해 약간 물러서겠습니다. 대학원 초기에, 제 연구 경력의 나머지 기간에 매우 영향을 미친 논문을 읽었습니다. 그 논문은 'Grounded Cognition'이라는 제목이었고, 에모리 대학에서 활동하던 심리학자 래리 바르살루가 작성한 것입니다. 그때는 사람들이 하는 방식과 배우는 방식이 주변 세계와 상호작용함으로써 이루어진다는 아이디어인데, 우리가 아는 모든 개념이 덜 추상적이고 세상의 것들과 더 연결되어 있다는 것입니다. 물리적 객체와 연결된 개념뿐만 아니라, 우리 사이의 공유된 개념에도 기반될 수 있습니다. 그것이 저에게 매우 흥미롭게 다가왔습니다. 이러한 개념을 연결하는 방법 중 하나는 내러티브를 통해서입니다. 내러티브는 인간 소통의 가장 자연스러운 형태라고 보며, 많은 도덕적 교훈이나 삶의 교훈이 이야기 형식으로 전달되기 때문에 그렇습니다. 원래의 아이디어는 "만약 우리가 AI에게 이야기를 하도록 하고 소통할 수 있도록 할 수 있다면, 어떤 면에서 AI가 인간과의 소통 문제를 해결할 수 있을 것"이란 것이었습니다. 그것이 제가 이 에이전트를 구축하려는 원래의 영감이었습니다.

주얼스: 멋져요. 감사합니다. 션, Sahara AI의 사명에는 창작자를 보호할 뿐만 아니라 그들의 개성을 포착하고 아이디어를 확장하며 작업 흐름을 최적화하기 위해 AI 도구를 제공하는 것이 포함되어 있습니다. 내러티브에 대한 라지의 관점을 바탕으로, AI가 내러티브를 인간처럼 이해하는 것이 창작자가 자신을 반영하는 AI를 훈련하는 데 얼마나 중요하다고 생각하십니까?

션: 네, 라지와는 다르게 저는 내러티브에 대한 더 편향된 관점을 가지고 있습니다. 내러티브 이해 또는 내러티브 생성을 현재 AI의 능력과 역량을 측정하는 방법으로 주로 사용합니다. 내러티브 이해와 생성이 AI 혹은 에이전트에 가져오는 가장 큰 도전 중 하나는 전체 아이디어의 높은 수준의 체계적인 계획 및 구조화입니다. 예를 들어, 박사 논문을 작성하고 싶다면, 논문의 내러티브를 생각해야 합니다. 그 논문은 당신이 작업하고 있는 여러 주제에 대한 문헌 검토를 수행해야 하며, 그 작업과 대조하여 차별화할 수 있어야 합니다. 그런 다음, 모든 문헌에 걸쳐 자신의 아이디어를 배치하여 사람들에게 이해할 수 있는 방식으로 이를 전달해야 합니다. 당신은 어떻게 더 큰 아이디어를 실행하는지를 사람들에게 설명해야 하며, 네 해에 걸쳐 작업을 어떻게 구분하고 조합하여 최종 목표에 도달할 것인지 계획해야 합니다. 이것은 우리의 실제 생활에서도 마찬가지로 매우 복잡한 추론 및 계획 작업입니다. 만약 우리가 스스로 복잡한 작업을 수행해야 할 때, 혹은 더 큰 작업을 완수하기 위해 다른 동료와 상호작용해야 할 때 여러 실패 방식을 생각해야 하고, 어떻게 가장 다르게 가능성을 고려하여 최종 목표에 도달할 수 있을지를 고민해야 합니다.

그러한 뉘앙스는 AI에게 복잡한 내러티브를 생성하도록 요청할 때 근사치로 계산될 수 있다고 생각합니다. 그러나 내러티브 이해 및 생성의 다른 점은 실제 삶에서 많은 규범과 물리적 법칙에 얽매이지 않아도 된다는 것입니다. 당신은 현실 세계에 존재하지 않는 것들을 생성하는 데 매우 창의적일 수 있습니다. 바로 그것이 사람들을 즐겁게 만드는 요소죠. 따라서 내러티브 생성 및 이해와 관련된 일부 부분은 인간과 함께 일할 수 있는 에이전트를 생산하는 것과 다르다고 생각합니다. 그러나 한편으로 연구 커뮤니티에 있어 내러티브 이해 및 생성은 현재 AI 혹은 에이전트의 한계에 도전하고 그들이 얼마나 잘하고 있는지를 테스트할 수 있는 좋은 분야라고 생각합니다.

주얼스: 맞아요, 정말 좋은 지적입니다. 내러티브와 AI에 대한 주제를 계속 이어가자면, 라지, 당신은 제가 내러티브 에이전트라고 생각하는 것에 대해 작업해 오셨습니다. 이들은 정말 AI 스토리텔러입니다. 제가 '내러티브 에이전트'란 단어를 만들어낸 것인지 아니면 어디선가 읽었던 것인지 기억이 안 나는데, 기본적으로 이들은 특별한 형태의 학습 에이전트입니다, 맞죠? 청중에게 이러한 '내러티브 에이전트'가 무엇인지 설명해 주실 수 있나요?

라지: 네. 내러티브 에이전트의 한 버전을 생각해본다면, 순전히 언어를 통해 세상과 상호작용하는 에이전트를 상상해 보세요. 내러티브의 형태로 그들은 세상에 대한 텍스트 설명, 주변 사람들에 대한 설명, 그들이 있는 장소에 대한 설명을 받습니다. 그런 설명에 따라 그들은 행동을 수행해야 합니다. 그들은 이 가상의 세계 또는 실제 세계에서 다른 사람들과 대화하고, 사물을 상호작용하고 이동시켜야 하며, 일반적으로 자신의 목표를 추구해야 합니다. 이러한 목표는 상호작용 내러티브 공간에서 범위가 다양하여, 예를 들어 살인 미스터리를 해결하는 일반 감지자로 역할을 수행하는 것에서 시작하여, 최근에 저희가 진행한 과학 실험을 처음 원칙부터 배우는 에이전트들이 있는 '과학 세계'와 같은 형태로 확장될 수 있습니다. 따라서 그들은 과학 질문에 대한 대답을 암기하는 것이 아니라 절차가 무엇인지 알아내고 체계적으로 스스로 수행하는 것입니다. 이는 환경이 텍스트 자연어이고 에이전트도 세상에 텍스트 자연어를 출력하는 가장 기본적인 형태입니다. 제가 이 분야를 시작할 때는 거의 10년 전이었고, 그 이후로 상당히 복잡해졌습니다.

제가 좋아하는 예시는 'Zork'라는 게임입니다. Zork는 최초의 컴퓨터 게임 중 하나였습니다. 70년대에 Infocom이라는 회사에서 개발했으며, 컴퓨터 그래픽스나 기타 아무것도 없던 시절이었습니다. 사람들이 보물을 수집하고 퍼즐을 해결하는 형식으로 세계를 돌아다녀야하는 이러한 종류의 게임을 개발했습니다. 이 게임은 70년대에 시작되었고, 사람들은 점점 더 많은 작업을 통해 복잡해졌습니다. 지금 이러한 게임의 소스 코드를 보면 수백만 줄의 코드가 있으며, 수십 개에서 수백 개의 위치, 캐릭터와 같은 매우 복잡한 세계들이 있습니다. 개인적으로 이런 게임을 고등학교 시절에 몇 개 해 본 경험이 있는데, 하나의 게임을 해결하는 데 3~4개월이 걸렸습니다. 그래서 대학원에 진학하고 나서 첫 번째로 시작한 것이 "AI가 이러한 퍼즐 문제를 해결할 수 있는 추론 능력 및 자연어에서 상호작용할 수 있는 능력을 어떻게 갖추게 될까요?"라는 것이었습니다.

그리고 우리가 얻은 일부 교훈은 매우 다양한 유형의 AI 에이전트에도 적용된다는 것을 알게 되었습니다. 한 가지 구체적인 예는, 여러분이 이제 로봇과 같은 구현된 에이전트에서 이러한 내러티브 텍스트 환경에서 훈련할 수 있다는 것입니다. 그렇게 하면 고-level 언어에서 작업을 어떻게 수행할지를 계획하도록 가르치는 것입니다. 어떤 물건의 조리법을 텍스트 환경에서 간단하고 빠르게 시뮬레이션할 수 있도록 하고, 그 다음 그것을 시각적 시뮬레이션으로 이전하고, 마지막으로 실제 세계의 로봇으로 이전하는 것입니다. 이러한 다단계 훈련 파이프라인은 실제 로봇 환경에서 그들을 훈련하는 것보다 계산상 훨씬 더 효율적임을 알게 되었습니다. 이 에이전트들이 무엇인지, 그리고 다소 즉각적인 영향력이 어떤 것이었는지를 총체적으로 설명한 것입니다. 제가 이러한 것을 사용하는 것을 좋아하는 이유는 자연어를 연구할 수 있는 테스트베드 역할을 해줄 수 있기 때문입니다. 제가 언급하고 싶지만, 제 학생 중 한 명이 최근 'Text Adventure Learning Environment Suite(TAILS)'라는 벤치마크를 출시했으며, 우리는 이러한 샘플이 3,400개 이상이 있는 세트를 보유하고 있습니다. 가장 어려운 하위 집합에서는 현재의 최고의 추론 모델도 이 벤치마크에서 약 15% 점수만을 얻고 있습니다. 따라서 에이전트가 내러티브를 통해 효과적으로 추론할 수 있는 개발에는 아직 갈 길이 멀다는 것을 명확히 보여줍니다.

주얼스: 네, 정말 멋진 얘기입니다. 내러티브 에이전트를 생각할 때 가장 먼저 떠오르는 것은 게임과 제가 마침내 상호작용할 수 있는 스마트 NPC입니다. 그들은 내러티브와 제가 그들에게 말하는 것을 이해할 수 있을 것입니다. 정말 놀라운 일이에요. 하지만 당신의 말을 듣고 있으면서, 이러한 내러티브 에이전트가 다른 사람들을 도와 복잡한 아이디어를 멋진 스토리텔링을 통해 배울 수 있도록 돕는 방법에 대해서도 생각해보고 있습니다. 이러한 내러티브 에이전트의 사용에 대한 흥미로운 예시가 더 있을까요?

라지: 네, 그것이 정말 재미있다고 말씀하신 이유는 이것들이 매우 다양한 응용이 가능하기 때문입니다. 게임의 NPC가 하나의 흥미로운 버전입니다. LLM(대형 언어 모델) 시대 이전에, 우리는 실제로 이것을 구현하고 있었고, 내러티브 에이전트를 게임의 NPC로 사용하는 방법도 연구하고 있었습니다. 이전에 제가 MSR에 있을 때 Xbox와 협력해 'Sea of Thieves'라는 게임에 에이전트를 삽입하는 작은 프로젝트를 진행했던 기억도 납니다. 그 당시에는 텍스트 생성이 그다지 좋지 않았고, 게임 개발자들은 NPC가 무엇을 말하는지를 매우 엄격하게 선택했습니다. 결국 우리는 바다의 앵무새 형태의 내러티브 에이전트를 배포하기로 했습니다. 이 프로젝트는 많은 참여를 얻었습니다. 이것은 Transformers가 등장하기 전의 일이었습니다. 그 이후로도 상황이 매우 개선되었습니다. 이런 방법으로 적용할 수 있는 수준이 정말 많습니다. 이 에이전트들은 과학 실험 및 다양한 작업을 수행하는 방법을 배우고, 실제 로봇에 전이될 수 있습니다. 그러니까 정말 다용성이 뛰어난 것입니다. 당신이 생각하는 어떤 것도 내러티브로 표현할 수 있을 것입니다. 그리고 이는 우리 사이에서 아주 자연스러운 소통 방식입니다.

주얼스: 네, 정말 멋지네요. 저는 이 분야가 어디로 나아가고 있는지 정말 기대됩니다. 션께 질문이 있습니다. 우리는 에이전트가 작업을 자동화하는 데 점점 더 능숙해지는 것을 보고 있습니다. 그러나 지난 AI 에이전트 인수 에피소드에서 논의한 바와 같이, 전면 자동화는 여전히 큰 도전 과제입니다. 내러티브와 다중 에이전트 조정의 관점에서 볼 때, 진정으로 독립적으로 사고하고 행동하는 에이전트를 구축하는 데 가장 큰 도전은 무엇인가요?

션: 좋은 질문입니다. 이 질문에는 여러 답이 있을 것입니다. 아마 저는 그 중 하나를 간단히 언급하겠습니다. 우리는 인간에게도 주어진 목표에 따라 매우 일관되게 실행하는 것이 정말 어렵다는 것을 이야기하고 있습니다. 예를 들어, 누군가에게 "이 지역에서 최고의 집을 찾아주세요"라고 말하면, 당신이 정의하는 최고의 집이 무엇인지 개인적 기준에 따라 다르게 판단될 수 있습니다. 50명의 부동산 중개인에게 이 목표를 주면, 몇 달 후에 상당히 다른 결과를 가져올 수 있습니다. 여러 가지 이유 때문이라고 생각합니다. 첫째로, 각자는 서로 다른 정보의 격차와 상대적으로 범위가 다르기 때문에 서로 다른 결과를 찾아내는 것입니다. 또한 그들은 당신의 지시 사항이나 기준을 서로 다르게 해석할 수 있습니다. 이것은 해야 할 목록과 같은 것이며, 의도 이해 및 당신의 성향과 개인 이력 이해가 필요합니다. 또한 정보를 검색하는 방식이나 한 가지 정보를 가지고 어떻게 추가 정보를 찾는지에 따라 다양한 다른 실행 경로가 존재합니다. 이는 인간이 최선을 다해 작업할 때 자주 일어나는 일입니다. 이러한 사고 문제를 AI 에이전트에 적용하면 에이전트에게는 더욱 어려워집니다.

오늘날 우리가 언급하는 에이전트가 작업을 자동화할 수 있는 능력은 사실 매우 좁은 전문적인 작업을 가리키고 있습니다. 예를 들어, 기사 요약, 기사의 톤 변경, 기사의 번역 등을 들 수 있습니다. 우리는 보다 복잡한 다단계 task로 발전하고 있습니다. 예를 들어, "제가 보내는 기준에 따라 최고의 판매자를 찾아주세요."와 같은 요청을 할 수 있는 것입니다. 'Deep Research'와 같은 제품이나 기타 에이전트 검색 제품은 꽤 괜찮은 작업을 수행할 수 있습니다. 하지만 실제로 "당신을 위한 집을 찾아줄 수 있어? 모든 가용 정보와 API 접근 권한을 고려하여"라는 요청을 한다고 가정할 때, 이러한 에이전트는 여전히 실행 경로에 따라 상당히 일관되지 않은 결과를 제공합니다. 오늘날 AI 에이전트를 독립적으로 작업을 수행할 수 있도록 만드는 것에 대한 거리가 얼마나 있는지를 생각할 때, 여전히 AI의 장기적인 계획 능력을 부여하고 인간의 불명확한 의도와 개인 이력을 더 잘 이해할 수 있도록 도와주는 작업이 필요하다고 생각합니다. 그래서 이것이 오늘날의 최대 병목이라고 생각합니다. 그러나 저는 이 분야에 대한 라지의 생각을 듣고 싶습니다.

라지: 네, 언어와 내러티브 공간에서 운영해 온 에이전트들에 대한 그 점이 좋습니다. 이 에이전트들은 실제로 상호작용 내러티브로 잘 잘 작동하고 있으며, 현재도 비슷한 알고리즘이 사용되고 있습니다. Deep Research와 같은 에이전트 검색을 상상해 보세요. 이것은 증강된 생성과 유사하게 보일 수 있으며, 정보에서 얻는 일부 텍스트를 입력하고 이 특정 에이전트가 전달해야 하는 매개변수로 다양한 도구 호출의 출력을 생성하는 것입니다. 제 연구실이 탐구한 것 중 일부는 이 상호작용형 언어 에이전트와 유사한 매우 유사한 기술을 사용하여 매개변수를 가진 실행을 수행하는 것입니다. "테이블에서 칼을 집어라"는 작업 호출과 비슷합니다. 현시점까지, 이러한 것들은 동일한 근본적인 마르코프 결정 프로세스에 매핑됩니다.

하지만 여러분이 맞습니다. 아직 완벽하게 이루어지지 않은 점은 이처럼 매우 긴 시간 동안 안정적으로 수행할 수 있는 능력입니다. 현재 모델은 약 몇 백 단계 후에는 일관성을 잃는 경향이 있습니다. 예를 들어, 컴퓨터 사용 에이전트를 생각해 보세요. 그들은 어떤 작업에 대해서는 약 한 시간 정도 자율적으로 작업을 수행할 수 있지만, 그 이후에는 우선 작업이 무엇인지에 대한 기억을 잃게 됩니다. 이러한 긴 피연대관리를 해결하는 것이 AI의 다음 큰 도전 과제가 될 것이며, 이러한 점에서 지금 진행 중인 발전의 양에 대해 기대감을 가지고 있습니다.

주얼스: 네, 맞아요. 우리는 나아가는 방향에 매우 매료되고 있습니다. 한 가지 질문이 있습니다. 내러티브는 우리가 세상을 이해하는 방법입니다. AI 에이전트가 더 나아가 현재보다 나은 내러티브를 창조하거나 해석하기 시작할 때, 이것이 우리가 배워가고, 일하고, 결정을 내리는 방식에 어떤 영향을 미칠 것 같습니까? 이전의 답변에서도 간단히 이야기했지만, 이를 깊이 있게 다뤄보고 싶습니다. 원하시는 분이 먼저 시작해주실 수 있습니다.

라지: AI가 내러티브를 더 잘 창조할 수 있게 되면, 인간-AI 협력이 더욱 긴밀해지는 것을 보게 될 것이라고 생각합니다. AI가 내러티브를 더 잘 창조함에 따라, 그들은 우리에게 정보를 더 개인화된 방식으로 소통할 수 있게 될 것입니다. 구체적인 예로 교육을 들 수 있습니다. 저는 UCSD의 교수인데, 제 학생 중 한 명이 'Socratic Mind'라는 프로젝트를 진행하고 있습니다. 여러분이 대학에 다닐 때 클릭 질문을 했던 것을 생각해봅시다. 즉, 그냥 강의에 앉아있기보다는 상호작용을 통해 배우는 방법이죠. 이러한 시스템은 제가 UCSD의 수업에서 시험 중인 것을 그대로 AI를 사용하여 학생이 더 깊이 생각하도록 인터랙티브 구술 평가를 받을 수 있는 방식으로 활용합니다.

정적인 클릭 질문을 통해 네 가지 옵션 중 하나를 선택하는 것이 아니라, 읽기 자료나 강의에 기반한 질문을 하고, 학생이 대답하면 AI가 '네가 질문한 이 부분은 괜찮은데, 이 다른 부분을 좀 더 설명해줄 수 있니?'라고 질문합니다. 내러티브 이해의 중요한 부분은 AI가 주어진 시점에서 사람에게 올바른 답변을 주는 것이 그리 유용하지 않다는 것입니다. 오히려 학생이 특정 개념을 더 잘 이해할 수 있도록 내러티브를 만들어내는 것이 훨씬 더 유익합니다. 예를 들어 '당신은 여섯 살 된 어린이로 산과 바다를 혼합하는 것이 두 가지 꼭 응용해 보세요'라는 식으로 새로운 개념을 이전에 알고 있는 것과 연결하여 설명하는 것입니다. 이러한 능력은 현재 그 학생들의 관점에서 학습 성과를 실제로 개선하고 있는 초보적인 결과를 보여주고 있습니다. 이것은 지금 우리가 하고 있는 구체적인 것 중 하나며, AI가 점점 더 언어를 표현하는 방식이 사람들이 더 쉽게 이해할 수 있는 형태로 발전함에 따라 이러한 방식의 적용이 늘어날 것이라고 생각합니다.

션: 라지가 공유한 내용을 더 추가하자면, 만약 우리가 정말로 이러한 긴 시간 동안 계획하고 모호한 의도를 사용자를 통해 소화할 수 있다면, 일하고 배우는 방식에 큰 영향을 미칠 것입니다. 예를 들어, 현재, AI 에이전트에게 거래 관련 작업을 도와달라고 요청하는 경우, 매우 구체적이어야 할 것입니다. 예를 들어 '이 지갑 주소를 사용하여 이 토큰과 다른 토큰 간의 교환을 이 금액으로 진행하세요.'라고 말해야 합니다. 모든 매개변수를 잘 정의하여야만 합니다. 현재 AI는 그러한 실행을 할 수 있습니다.

하지만 우리가 원하는 것은 '10,000달러가 있는데, 어떤 암호화폐 분야에 투자할 생각이에요. 최근의 메멘코인 시장의 변동성에 대해 조금 걱정되고 있으니, 다음 3개월 동안 어떤 잠재적인 투자를 고려할 수 있을까요?'라고 금융 고문에게 말하는 것입니다. 이것은 이전 예시보다 좀 더 높은 수준의 요청이나 제약을 제시하는 것이며, 투자에 대한 여러분의 관심에 대한 범위도 제공하는 것입니다. 이제 AI 에이전트가 이러한 모호한 지침을 받아들이고 사용자가 알고 있는 내용 및 시장 상황에 대해 해석하며 합리적이고 심지어 똑똑한 투자 실행을 하는 방식으로 변화할 수 있다면, 이것은 큰 변화가 될 것입니다.

이로 인해 AI 에이전트를 사용하는 방식이 그러한 조직의 관리자가 아니라 친구가 되어 우리의 지혜를 나누고, 전략을 논의하고, 실행 계획을 세우는 형태로 발전할 것입니다. 이건 완전히 다른 작업 메커니즘입니다. 긍정적인 점은 우리가 지금 여러 분야의 다른 에이전트 검색 제품, 예를 들어 금융 분야에서 사용되고 있는 반복 규격제품을 통해 그 방향으로 나아가고 있다는 것입니다. 한 예로, 분석가들이 다양한 프로젝트에 대한 연구 분석을 생성하는 데 사용하면서 에이전트와 토론하고 상호작용하는 방식도 보이고 있습니다. 따라서 우리는 올바른 방향으로 나아가고 있으며, 다양한 사용사례에 대해 이러한 경향을 보게 될 것이라고 믿고 있습니다.

주얼스: 두 분 모두 훌륭한 통찰력을 공유해 주셔서 감사합니다. 시간이 촉박하고 있으므로 커뮤니티의 질문을 받을 시간이 필요합니다. 자, 여러분 두 분을 위한 질문입니다: 내러티브 에이전트를 만들 때 개발자들이 기억해야 할 한 가지는 무엇인가요?

라지: 아마도 가장 먼저 기억해야 할 것은 이 내러티브 에이전트가 누구와 상호작용할지를 아는 것입니다. 이 내러티브 에이전트는 어떤 사용자에게 어떤 언어를 기대할까요? 그들의 관점에서 이야기하는 것을 고려하고 거기서부터 거슬러 올라가는 것입니다.

션: 저도 동의합니다. 현재 도구와 에이전트를 구축할 수 있는 능력으로서, 요구 사항을 최대한 구체적이고 명확하게 만들어야 합니다. 이는 대상 사용자 또는 관객의 필요를 이해하는 것을 포함합니다. 그렇게 해야만 그 필요를 충족할 수 있는 성공적인 에이전트를 구축할 수 있습니다. 당신이 개인과 상호작용하고 소통하기 위한 에이전트를 원한다면, 그 에이전트는 반드시 목표 달성이나 업무의 효율성을 개선하는 역할을 하지는 않습니다. 초기 Character AI의 시간 생각이 나는 것은, 당시 그들은 사용자를 지속적으로 참여시키고 행복하게 만들 수 있도록 대화할 수 있는 챗봇을 구축하고자 했으나, 그러한 에이전트는 생산성이나 작업의 효율성을 개선하지 않을 수 있습니다. 따라서 그 에이전트에 대한 요구사항을 이해하는 것이 가장 중요합니다. 그것이 첫 번째 포인트입니다.

주얼스: 감사합니다. 커뮤니티의 질문이 또 있습니다. 이는 상당히 간단하지만 매우 중요한 질문입니다: "현재 모든 AI가 에이전트인 것처럼 보이는데, '에이전트'란 도대체 무엇인가요? Chat GPT는 에이전트인가요, 아닌가요?"

션: 좋은 질문입니다. 간단한 대답을 드릴 수 있습니다. '에이전트'라는 용어는 학계에서도 상당히 중의적인 용어입니다. 서로 다른 사람들이 다르게 해석합니다. 짧은 요약을 하자면, 에이전트는 '생각하고 행동할 수 있는 AI'입니다. 키워드는 '행동하는 것'입니다. 즉, 그들은 행동을 취할 수 있고, 생각하며, 목표를 달성하기 위한 여러 생각과 행동 단계를 생성할 수 있습니다. 저는 에이전트는 목표 지향적이거나 작업 지향적인 것이어야 한다고 강조하고 싶습니다. 에이전트가 달성하려고 하는 고급 목표나 작업이 있다는 것입니다. 이는 에이전트가 지난 5년간 우리가 본 AI들과 확실히 달라지게 하는 흥미로운 측면이기 때문에 더욱 흥미로운 것 같습니다. 라지의 생각은 어떠신가요?

라지: 네, 저는 션과 대체로 동의합니다. 재미있는 점은 제가 학부와 대학원 수업 모두에서 에이전트에 대한 첫 번째 강의가 '실제로 에이전트란 무엇인가요?'라는 질문이라는 점입니다. 이것은 생물학자에게 생명이 무엇인지 물어보는 것과 같습니다. 대부분의 사람들이 에이전트의 일부를 구성하는 것에 동의할 수는 있지만, 포괄적인 정의를 갖고 있다고 하면 대부분 실패합니다. 많은 사람들이 동의하는 두 가지는 에이전트는 어떤 형태의 기억을 가지며—자신이 과거에 해온 일을 기억하여 미래에 해야 할 일을 결정하는 데 사용할 수 있는 메모리입니다. 두 번째는 그들이 행동을 할 수 있다는 점입니다. 그들은 의미 있는 방식으로 행동할 수 있는 기관이 있다. 기본 RAG(검색 보강 생성) 단계에서 검색이 완료된 후 생성 단계를 거치는 방식은 반드시 에이전트와 일치하지 않습니다. 그러나 더 많은 도구와 함께 동적 검색을 수행하는 에이전트는 무엇을 의미하는지 더 가까워집니다.

이가 중점적으로 보는 부분 중 하나는, 제가 션과 약간 다르게 생각하는 것은 '목표 지향적이다'는 것이 항상 에이전트에게 반드시 필요하다고 생각하지는 않지만, '있으면 좋겠다'는 점입니다. 또한, Tim Rako가 올해 ICLR에서 발표한 기조연설에서 내러티브 에이전트의 추가적인 연결을 말씀하신 것이 인상적입니다. 그러니까 여기서 개방적인 탐색을 하는 에이전트를 기르는 것이 포괄 분야에서 여러 방식으로 에이전트를 훈련할 수 있는 방법이라고 하는 견해입니다. 이러한 것들을 통해 AGI에 도달하거나 에이전트가 다양한 작업에서 인간보다 더 높은 수준으로 지능을 가질 수 있는 가능성을 가지고 있습니다. 그래서 저는 고수준에서 많은 사람들이 동의하게 되는 다양한 에이전트의 구성 요소들이 있지만, 결정적인 정의는 없으며, 만약 누군가가 구체적인 정의를 가지고 있다고 주장한다면, 그들은 아마 당신에게 거짓말을 하고 있을 것입니다. 대단히 긴 대답이었습니다.

주얼스: 전 이러한 긴 대답이 정말 마음에 들어요. 그렇게 긴 대답이 항상 유용하죠. 마지막 질문을 위해 시간이 남은 것 같습니다. 제가 읽어보고 싶은 질문을 집어들었어요: "만약 에이전트가 이야기하기 시작하고 내러티브를 만들어내면, 우리를 조작하거나 잘못된 정보를 퍼뜨릴 수 없도록 하기 위해 어떻게 해야 하나요?"

션: 훌륭한 질문입니다. 짧은 대답은 매우 어렵습니다. 이는 통제 없는 상황에서 큰 손해를 초래할 수 있습니다. 정부 차원에서 볼 때, AI 생성 콘텐츠의 출처를 추적하기 위한 기본적인 규칙과 규제의 필요성이 있어야 합니다. 우리는 이를 달성하기 위한 다양한 기술적 경로를 탐구하고 있습니다. Sahara AI는 그 중 하나로, 데이터 세트에서 생성된 콘텐츠까지 AI 개발 프로세스의 모든 단계에 중요한 데이터를 기록하여 이를 실현하기 위해 노력하고 있습니다. 이렇게 하면 AI의 출력 또는 행동의 긍정적 및 부정적 결과에 대한 책임이 원래의 출처에 정확하게 귀속될 수 있으므로 문제를 더 빨리 좁힐 수 있습니다. 이러한 것이 매우 중요하다고 생각합니다. 연구차원에서도 모델 핑거프린팅, 즉 모델의 행동을 교육 데이터 포인트에 귀속하는 방법에 관한 활동이 많이 이루어지고 있습니다. 앞으로 모델의 유전적인 기원 및 핑거프린팅이 어떤 모습이 될지에 대해서도 주목하고 있습니다.

라지: 션이 언급한 다양한 유형의 방법을 모두 좋아합니다. 이는 본질적으로 정렬 문제의 여러 각도에서 다르게 앞으로 나아가는 것이니까요. AI가 사람들을 속이거나, 무언가를 시키기 위해 내러티브를 통해 조작하려고 하지 않도록 어떻게 할 수 있을까요? 제가 생각하기에 이전에 사람들이 이야기를 온라인에서 어떤 방식으로 이야기하는지에 대한 논문을 접하면서 기억이 나는데요. 저를 아시는 분들은 아마 'Change My View'라는 서브레딧을 알고 계실 것입니다. 한 개인이 어떤 주제를 들고, 다른 사람들은 그것을 바꾸기 위해 이야기를 시도하는 것입니다. 흥미로운 점은 이것이 AI 평가에서도 활용되어 왔습니다. AI가 상대의 의견을 바꾸기 위해 이야기를 얼마나 잘 말할 수 있는지를 평가하는 데 사용되었습니다. 현재 AI가 상대방의 의견을 수용하는 데 놀라울 정도로 효과적이라는 사실도 밝혀졌습니다.

이런 것들을 종합해보면, 정렬 문제는 양날의 검이 될 수 있습니다. 이 시스템들이 내러티브를 더 잘 만드는 것이 가능해 지면, 사람들 사이의 대립적인 관점을 큐럴하면서 조정하는 데 도움을 줄 수도 있습니다. 동시에 허위 정보가 퍼지는 데 사용될 가능성도 높습니다. 따라서 션의 언급과 같이, 신뢰할 수 있는 사용자의 기본 기준에 맞춰 조정되도록 하는 것과 같은 것이 매우 중요해질 것이며, 그 모델이 훈련될 당시의 기초 동기부여를 이해하는 것이 매우 중요합니다. 이러한 모델의 교육 데이터에 기여한 사람들이 누구인지 또한 이해하는 것이 중요합니다. 이러한 점에서 개방적이고 투명하게 만드는 것은 이러한 시스템에 대한 공공 신뢰를 증대시키는 데 큰 도움이 될 것입니다.

주얼스: 모든 분들께 훌륭한 점을 짚어 주셔서 감사합니다. 질문을 보니, 이번 달 초 Open AI의 GPT-4o 업데이트에 대한 생각이 드네요. 그것은 매우 아부하는 반응을 보였으며, 정확성 때문이 아니라 내러티브나 소통 방식 때문에 사람들은 AI에 대한 신뢰를 줄이게 되었습니다. 이로 인해 사람의 행동이 얼마나 크게 영향을 받을 수 있는지가 생각나더군요. 션은 동료들과 공동 연구한 종이에 대한 이야기도 해주시겠어요? 간단하게요.

션: 네. 스탠포드의 Caitlin Joe가 주도하고 AI2와 협력하여 작업한 논문이 있습니다. 우리는 AI의 언어 표현이 사람들이 AI의 답변에 대한 신뢰성과 자신감에 미치는 영향에 대해 연구했습니다. 예를 들어, 표현을 보다 따뜻하고 공감할 수 있는 방향으로 수정을 하면 사람들이 AI의 응답에 대한 신뢰를 쉽게 얻을 수 있습니다. 사실 이 응답이 사실적으로 옳거나 유효하지 않더라도 말입니다. 이러한 사실은 AI의 표현 방식을 조작함으로써 인간의 권위 또는 신뢰성에 대한 인식에 크게 영향을 미칠 수 있다는 점을 증명합니다. 따라서 만약 의도하지 않거나 의심스러운 방식으로, 예를 들면 정치적 관점에 따라 조작을 하게 된다면 매우 조심해야 할 필요가 있습니다. 이 논문은 이러한 시스템이 초래할 수 있는 잠재적인 피해에 대한 경각심을 일깨우는 데 초점을 맞추고 있습니다.

주얼스: 감사합니다. 정말 흥미로운 논문입니다. 시간이 된다면 꼭 한번 읽어보시기 바랍니다. 이제 시간은 다 됐습니다. 션, 라지, 가시기 전에 하고 싶은 말씀이 있으신가요?

라지: 아니요, 션과 여러분 모두와 다시 캐치업할 수 있어 좋았습니다. 여러분이 구축하는 것들에 대해 매우 기대하고 있습니다.

션: 네, 저도요. 라지와 생각을 공유할 수 있어서 기쁩니다. 우리는 에이전틱 AI 시대의 가장 중요한 문제 중 두 가지에 대해 이야기를 나누었다고 생각합니다. 하나는 AI의 장기적인 목표 기반 추론 및 계획 능력으로, 우리는 놀라운 발전을 이루고 있지만 아직 완전히 도달하지는 못했습니다. 두 번째는 AI의 능력이 급격하게 발전하는 가운데 안전과 정렬 문제입니다. Sahara AI의 주요 사명이 공개적이고 안전하며 투명한 AI 생태계를 만드는 것이기 때문에 AI의 안전성, 보안성 및 소유권측면에 더욱 주의하여야 하며, 동시에 AI의 에이전틱 능력의 놀라운 발전을 보여줄 것입니다. 여러분 모두 감사합니다. 여기에서 여러분과 대화할 수 있어 좋았습니다.

주얼스: 네, 션 감사합니다. 라지 감사합니다. 오늘 함께해 주셔서 기쁩니다. 이 대화는 녹화되므로 친구들과 공유해 주세요. 이번 주 후반에 요약을 공유할 예정이며, 좋은 하루 되세요. 감사합니다.

라지: 모두들 뵙겠습니다.

션: 감사합니다. 조심하세요.