본문 바로가기
카테고리 없음

AI 에이전트, ‘자비스’가 온다. (LG 경영연구소)

by 대구전부장 2024. 10. 18.

AI 에이전트, ‘자비스’

1. 소프트웨어 산업의 Next Step, ‘AI 에이전트

소프트웨어 산업에서 AI 에이전트는 차세대 혁신 기술로서 많은 주목을 받고 있습니다. 'AI 에이전트', 인간의 개입 없이도 자율적으로 작업을 실행하는 지능형 시스템을 말합니다. 이러한 AI는 단순한 대화형 AI와는 달리 실제로 다양한 도구를 사용해 일을 수행할 수 있습니다. 대규모 언어 모델(LLM)을 기반으로 하는 이 AI는 사용자의 의도를 깊이 이해하고, 필요한 작업을 자율적으로 처리하는 능력을 보유하고 있습니다.

 

AI 에이전트의 주요 특징은 크게 세 가지입니다.

첫째, 자율 실행 능력입니다. 사용자의 지시에 따라 필요한 계획을 수립하고, 이를 스스로 실행할 수 있습니다. 예를 들어, “다음 주 출장 준비해줘라는 명령에 대해 AI는 일정 확인, 항공권 예약, 호텔 예약, 필요한 준비물 목록 작성까지 알아서 처리할 수 있습니다.

 

둘째, 도구와 리소스를 조합해 작업을 수행할 수 있는 능력입니다. AI 에이전트는 단순히 명령을 처리하는 것이 아니라, 여러 도구를 활용하여 복잡한 작업을 완수합니다. 예를 들어, “최근 5년간 회사의 재무 상태를 분석해줘라는 요청에 대해 AI는 데이터베이스 접근, 스프레드시트 작성, 그래프 생성, 보고서 작성 등을 조합하여 일련의 작업을 자동으로 진행합니다.

 

셋째, 재귀적 실행 능력입니다. AI는 작업을 반복적으로 실행하여 결과를 평가하고, 최적의 결과를 얻기 위해 개선할 수 있습니다. 예를 들어, 마케팅 캠페인을 기획할 때 AI는 초안을 작성하고 과거 사례와 비교 분석하며 개선점을 찾아내고, 이를 다시 수정하여 최상의 결과물을 만들어냅니다.

 

이러한 특성 덕분에 AI 에이전트는 단순히 질문에 대답하는 기존의 대화형 AI를 넘어, 실제로 다양한 업무를 수행할 수 있는 수준으로 발전하고 있습니다. 특히 스마트폰 산업에서 AI 에이전트의 활용이 두드러지는데, 애플, 삼성 등 주요 스마트폰 제조사들은 AI 기술을 내재화하며 경쟁력을 강화하고 있습니다.

AI 에이전트는 소프트웨어 산업 전반에 걸친 패러다임의 변화를 예고하며, 향후 다양한 분야에서 큰 영향을 미칠 것으로 기대됩니다.

2. 스마트폰 산업, 최전선으로 부상

최근 몇 년간 스마트폰 산업은 하드웨어 혁신의 한계와 기기 교체 주기의 장기화로 인해 수익성이 악화되었습니다. 이에 스마트폰 제조사들은 새로운 돌파구를 찾기 위해 AI 기술을 적극적으로 도입하고 있습니다. 그중에서도 'AI 에이전트'는 스마트폰 산업에서 중요한 역할을 하며, 시장 경쟁의 핵심 요소로 부상하고 있습니다.

 

특히 애플, 삼성, 화웨이와 같은 글로벌 스마트폰 제조사들은 AI 에이전트를 내재화하는 데 주력하고 있습니다. 이들은 기존의 AI 기능보다 훨씬 복잡한 작업을 수행할 수 있는 AI 에이전트를 통해, 스마트폰 사용 경험을 혁신적으로 변화시키고자 합니다. AI 에이전트는 단순히 음성 명령을 처리하는 것을 넘어서, 다양한 도구를 활용하여 자율적으로 작업을 실행하는 고도화된 AI 기술입니다.

 

애플의 경우, 소프트웨어(AI를 결합한 iOS)와 하드웨어(스마트폰 칩)를 모두 AI 중심으로 특화하여 AI 에이전트 기술을 선도하고 있습니다. 2024WWDC에서 애플은 '페럿-UI''ReALM'이라는 두 가지 핵심 AI 기술을 공개했는데, 페럿-UI는 화면의 모든 요소를 이해하고 조작할 수 있는 능력을 가지고 있으며, ReALM은 대화의 맥락과 백그라운드 작업을 모두 고려해 모호한 명령도 정확히 실행할 수 있는 기능을 제공합니다. 이러한 기술들은 새로운 AI 에이전트로 구현되었으며, 사용자의 음성 명령만으로 복잡한 작업을 자율적으로 처리할 수 있는 능력을 갖추고 있습니다.

 

예를 들어, 사용자가 친구에게서 이메일 주소가 포함된 스크린샷을 받았을 때, “시리, 이 주소를 연락처에 저장해줘라는 명령만으로도 시리는 화면의 내용을 인식하고 해당 정보를 연락처에 자동으로 저장할 수 있습니다. 이는 페럿-UIReALM 기술이 실생활에서 어떻게 적용되는지 보여주는 대표적인 사례입니다.

 

애플은 AI 에이전트 기능을 탑재하기 위해 하드웨어 기술 개발에도 심혈을 기울이고 있습니다. 특히, AI 에이전트는 수십억 개의 파라미터를 갖춘 생성형 AI 모델을 처리해야 하므로, 메모리 문제 해결이 필수적입니다. 이를 위해 애플은 RAM뿐만 아니라 플래시 메모리를 사용해 AI 모델 데이터를 저장하는 기술을 개발했으며, AI 모델이 실행될 때 발생하는 추론 지연 시간을 최소화하는 기술도 선보였습니다. 차세대 애플 프로세서인 'A18 프로'에는 6개의 GPU 코어가 탑재되어 AI 연산 성능이 크게 강화될 예정입니다.

 

AI 에이전트가 스마트폰 산업에 도입되면서, 사용자 경험은 더욱 진화하고 있습니다. 단순한 음성 비서 역할을 넘어, AI 에이전트는 사용자의 의도를 깊이 이해하고 복잡한 작업까지도 자율적으로 처리할 수 있게 되어 스마트폰의 활용 범위가 크게 확장되고 있습니다.

3. PC에서도 AI 에이전트 탑재 활발

최근 PC 산업에서도 AI 에이전트의 도입이 활발하게 진행되고 있습니다. 특히 마이크로소프트는 코파일럿+PC’ 프로젝트를 통해 PC 사용 경험을 근본적으로 변화시키는 데 앞장서고 있습니다. 이 프로젝트는 단순한 기능 추가를 넘어서, PC와의 상호작용 방식을 혁신하고 사용자에게 새로운 차원의 편리함을 제공하는 것을 목표로 하고 있습니다.

 

마이크로소프트의 AI 에이전트인 코파일럿은 다양한 기능을 제공하며, 그중에서도 실시간 번역을 지원하는 라이브 캡션기능이 돋보입니다. 이 기능은 PC에서 재생되는 모든 오디오와 비디오에 자막을 실시간으로 생성할 수 있습니다. 예를 들어, 외국어 동영상을 시청하거나 비디오 회의를 할 때 자동으로 자막을 제공하여 언어의 장벽을 허물고 있습니다. 또한, 코파일럿은 게임 플레이 중에는 가상 코치 역할을 하여 실시간으로 플레이어에게 조언을 제공하기도 합니다. 이처럼 사용자의 상황을 정확히 이해하고 맞춤형 지원을 제공하는 것이 코파일럿의 강점입니다.

 

마이크로소프트는 이러한 AI 기능을 PC에 결합하기 위해 하드웨어 성능 고도화에도 집중하고 있습니다. AI 에이전트가 원활하게 작동하기 위해서는 신경망 처리 장치(NPU, Neural Processing Unit)와 같은 하드웨어의 뒷받침이 필수적입니다. 마이크로소프트는 이를 통해 PCAI 에이전트의 결합을 추진하며, ‘Windows OSAI 에이전트를 결합하여 새로운 고객 경험을 제공하는 비전을 제시하고 있습니다.

 

이러한 움직임은 마이크로소프트뿐만 아니라 여러 스타트업들도 적극적으로 참여하고 있습니다. 대표적으로, Adept AIPC 화면을 이해하고 작업을 수행하는 AI 에이전트 ‘ACT-1’을 개발해 주목받고 있습니다. ACT-12022PC 에이전트의 데모 영상을 공개하며 그 성능을 입증했습니다. AI"새 고객 정보를 CRM에 추가하고 예상 매출을 계산해줘"와 같은 복잡한 명령도 처리할 수 있으며, 사용자가 요구하는 작업을 정확하게 수행합니다.

 

ACT-1의 비결은 재귀적 실행 능력에 있습니다. AI 에이전트는 주어진 명령을 완수하기 위해 작업을 반복적으로 평가하고 개선합니다. 예를 들어, 엑셀 파일에서 새로운 열을 생성하는 작업을 요청받았을 때, 새로운 열이 사용자의 요구에 맞지 않다면 자동으로 수정을 반복하며 작업을 완료합니다. 이러한 재귀적 실행은 사용자의 개입 없이도 원하는 결과를 도출하는 핵심적인 기능입니다.

 

PC에서의 AI 에이전트 도입은 사람과 기기 간의 상호작용 방식을 혁신하고, 사용자가 더욱 편리하고 효율적으로 작업을 처리할 수 있게 도와줍니다. 이를 통해 AI 에이전트는 단순히 명령을 수행하는 도구가 아닌, 실제로 PC 환경에서 다양한 작업을 자율적으로 처리하며 사용자의 생산성을 극대화할 수 있는 강력한 도구로 자리 잡아가고 있습니다.

4. 새로운 플랫폼 생태계 형성 가능성도 제기

AI 에이전트의 발전은 단순한 기술 혁신을 넘어서 새로운 플랫폼 생태계를 형성할 가능성을 열고 있습니다. AI 에이전트는 사람과 기기 간의 상호작용 방식을 근본적으로 바꾸고 있으며, 이에 따라 AI 기반의 새로운 운영체제가 등장할 수 있다는 전망도 나오고 있습니다.

 

오픈AI의 연구원이었던 안드레 카파시(Andrej Karpathy)‘LLM OS’라는 개념을 제시했는데, 이는 대규모 언어 모델(LLM)을 기반으로 하는 운영체제가 PC의 전통적인 OS를 대체할 수 있다는 아이디어입니다. 이 개념에 따르면, AI 에이전트가 PC의 운영체제를 대신하여 사용자의 명령을 더욱 종합적이고 효율적으로 처리할 수 있습니다. 그러나 단기적으로는 기존 운영체제를 완전히 대체하기보다는 사용자와 운영체제 사이에서 명령을 중개하는 새로운 계층으로서 작동할 가능성이 큽니다.

 

국내에서도 이러한 흐름을 주목하고 있는 기업들이 있습니다. 국내 AI 기업 업스테이지의 김성훈 CEOAI 에이전트가 기존 OS 상위에 ‘Intelligent Layer(지능 계층)’로 자리 잡아, 복잡한 작업을 단순한 명령어로 처리할 수 있는 새로운 경험을 제공할 것이라고 예측하고 있습니다. '지능 계층'은 다양한 기술과 결합하여 사람과 AI 간의 상호작용을 한층 더 자연스럽고 효율적으로 만들어 줄 것입니다.

 

AI 에이전트가 주도하는 새로운 플랫폼 생태계에서는 AI가 활용할 수 있는 도구와 서비스, 데이터 소스가 핵심적인 요소로 자리잡을 것입니다. 예를 들어, 의료 분야에서는 특화된 데이터베이스가, 금융 거래에서는 AI 에이전트의 안전한 운영을 위한 보안 시스템이 중요해질 수 있습니다. 또한 개인의 취향에 맞춘 맞춤형 디자인 도구나 기타 특화된 서비스들도 이 생태계의 중요한 부분을 차지할 것입니다.

 

나아가, AI 에이전트와의 상호작용 방식도 혁신적으로 변화할 수 있습니다. 애플의 비전 프로처럼 손짓만으로 AI 에이전트를 제어하거나, 일론 머스크의 뉴럴링크프로젝트가 현실화되면 생각만으로 명령을 내리는 날도 올지 모릅니다. 이러한 변화는 단순한 기술적 진보를 넘어, 인간과 AI가 공존하는 새로운 디지털 생태계를 만들어 나갈 것입니다.

 

이와 같은 AI 에이전트의 발전은 소프트웨어 개발자, 하드웨어 제조사, 서비스 제공자 모두에게 새로운 도전과 기회를 제공합니다. 특히 AI 에이전트가 다양한 기술을 통합하여 사용하는 특성상 여러 기술 분야의 발전을 촉진할 수 있습니다. 이를 통해 완전히 새로운 비즈니스 모델과 서비스가 탄생할 가능성이 크며, 디지털 라이프는 더욱 진화하게 될 것입니다.

5. 인공지능이 로봇을 만날 때

AI 에이전트의 발전은 이제 가상 공간을 넘어 물리적 세계로 확장되고 있습니다. 특히 AI와 로봇의 결합은 새로운 혁신을 일으키고 있으며, 이로 인해 스마트홈, 모빌리티 등 다양한 산업 분야에서 획기적인 변화를 가져올 전망입니다. '인공지능이 로봇을 만날 때'라는 주제는 바로 이러한 AI와 로봇의 결합을 다루고 있습니다.

 

20233, 휴머노이드 로봇 스타트업 ‘Figure AI’는 인공지능과 로봇의 결합을 실현한 사례로 큰 주목을 받았습니다. 이 회사의 로봇 ‘Figure-1’은 오픈AIGPT-4와 결합되어 놀라운 능력을 보여주었는데, 단순히 명령을 이해하는 수준을 넘어, 물리적 환경을 분석하고 이에 맞춰 행동을 계획하고 실행할 수 있습니다. Figure-1GPT-4(V)의 멀티모달 기능을 활용하여, 음성, 텍스트 등 다양한 입력을 종합적으로 처리하며, 주변 상황을 파악하고 적절한 행동을 결정합니다. 예를 들어, 연구원이 "먹을 것 좀 있을까?"라고 질문하면, Figure-1은 음성을 텍스트로 변환하고, 주변 환경을 시각적으로 인식하여 적합한 행동을 취합니다.

 

이러한 기술은 AI 에이전트가 휴머노이드 로봇과 결합했을 때 실현 가능한 높은 수준의 자율적 작업 수행 능력을 보여줍니다. Figure-1은 사용자의 명령을 이해하고, 이를 실제 물리적 움직임으로 전환하여 완벽한 작업을 수행할 수 있는 능력을 갖추고 있습니다. 이는 AI 에이전트가 단순히 가상 환경에서만 기능하는 것이 아니라, 물리적 세계에서도 사람의 개입 없이 자율적으로 동작할 수 있음을 입증하는 중요한 사례입니다.

 

스마트홈 분야에서도 AI와 로봇의 결합이 빠르게 적용되고 있습니다. LG전자의 'Q9'은 복합적인 상황을 판단하고, 다양한 명령을 처리할 수 있는 능력을 갖춘 AI 에이전트가 내장된 기기입니다. 예를 들어, "오늘 날씨를 알려주고 날씨에 맞게 에어컨 온도를 조절해줘"와 같은 복잡한 명령도 AI 에이전트가 능숙하게 처리합니다. 이는 단순한 기기 제어를 넘어서, 집 안의 환경을 실시간으로 모니터링하고, 상황에 맞춘 맞춤형 서비스를 제공하는 디지털 집사역할을 수행하는 AI 기술의 대표적인 예입니다.

 

모빌리티 산업에서도 AI 에이전트의 결합 시도가 활발히 이루어지고 있습니다. 독일의 자동차 제조사 폭스바겐은 오픈AIChatGPT와 엔비디아의 드라이브 IX 기술을 결합하여 차량에 탑재된 AI 에이전트 ‘IDA’를 개발했습니다. IDA는 차량 내 인포테인먼트 시스템이나 내비게이션, 실내 온도 조절 등을 관리할 수 있을 뿐만 아니라, 사용자와 일상적인 대화도 가능합니다. 이와 같은 AI 에이전트는 BMW, 벤츠, 푸조 등 다양한 자동차 브랜드에서도 적용되고 있으며, 현대차 역시 AI 인포테인먼트 시스템을 개발하며 차세대 AI 모빌리티 기술을 준비하고 있습니다.

 

AI와 로봇의 결합은 자동차를 바퀴 달린 생활 공간으로 만들고 있습니다. 이러한 변화는 자동차가 단순한 이동 수단에서 벗어나, AI 에이전트와 함께 새로운 경험을 제공하는 혁신적인 공간으로 진화하고 있음을 보여줍니다. 완성차 업계는 SDV(Software Defined Vehicle)를 넘어, AIDV(AI Defined Vehicle) 시대로의 전환을 준비하며, 차량 내 AI 에이전트의 역할을 확대하고 있습니다.

 

AI 에이전트와 로봇의 결합은 단순히 기술적인 발전을 넘어서, 실생활에서 인간의 삶을 더욱 편리하게 하고 효율성을 높이는 데 기여하고 있습니다. 앞으로 AI 에이전트가 물리적 환경에서 더 많은 역할을 하게 될 것이며, 다양한 산업에서 이 기술의 가능성이 계속 확장될 것입니다​.

6. AI 에이전트, 넘어야 할 장애물도 많아

AI 에이전트는 빠르게 발전하고 있지만, 상용화와 대중화까지는 여전히 해결해야 할 장애물이 많습니다. 기술의 혁신이 가져다주는 혜택은 분명하지만, AI 에이전트가 널리 사용되기 위해서는 비용 문제와 안전성 문제를 해결하는 것이 필수적입니다.

 

먼저, 비용 문제가 큰 걸림돌입니다. AI 에이전트는 단순히 질문에 답하는 대화형 AI와 달리, 복잡한 작업을 자율적으로 처리하기 위해 다수의 모델을 반복 실행해야 합니다. 예를 들어, AI가 작업을 계획하고 실행하기 위해 다양한 도구를 활용하고, 재귀적으로 결과를 개선하는 과정에서 막대한 처리 비용이 발생합니다. 기존 대화형 AI보다 몇 배에서 몇십 배 이상의 비용이 소요될 수 있습니다. 이를 해결하기 위해 AI 모델 개발 기업들은 경량화 모델을 출시하는 데 집중하고 있습니다. 예를 들어, 오픈AIGPT-4 모델을 경량화한 GPT-4o Mini를 선보였고, 구글도 Gemini-1.5 Flash를 출시하여 기존보다 속도와 비용을 크게 줄였습니다. 이러한 경량화 모델들은 AI 에이전트의 운영 비용을 낮추는 중요한 해결책이 될 수 있습니다.

 

다음으로, 안전성 문제가 있습니다. AI 에이전트는 자율적으로 작업을 수행하기 때문에, 사용자의 개입이 적어지면서 AI가 잘못된 판단을 할 위험이 커집니다. 이는 특히 AI'환각 현상'이나 '정렬 문제'와 연관이 있습니다. '환각 현상'이란 AI가 실제로 존재하지 않는 정보를 사실인 것처럼 생성하는 현상을 말하며, '정렬 문제'AI가 인간이 의도한 목표나 윤리적 원칙과 일치하게 행동하지 않을 때 발생합니다. AI가 자율적으로 일을 처리하는 과정에서 잘못된 판단을 하게 되면, 심각한 문제가 발생할 수 있습니다.

 

예를 들어, AI 에이전트가 폭력적이거나 비윤리적인 행동을 실행에 옮기게 된다면, 큰 사회적 혼란을 야기할 수 있습니다. 이러한 문제를 해결하기 위해 AI 학계와 업계는 '정렬 연구'에 박차를 가하고 있습니다. 정렬 연구는 AI가 인간의 가치와 목표에 맞게 행동하도록 시스템을 조정하는 것을 목표로 합니다. 현재 AI가 어떻게 사고하는지 완벽하게 이해하지는 못하고 있지만, 이를 해결하기 위한 연구가 활발히 진행되고 있습니다.

 

결국, AI 에이전트의 상용화와 대중화는 비용 절감과 안전성 확보라는 두 가지 과제가 해결될 때 가능할 것입니다. 비용 문제는 경량화 모델과 같은 기술적 개선을 통해 어느 정도 해결될 가능성이 있지만, 안전성 문제는 좀 더 근본적인 연구와 해결책이 필요합니다. 이러한 과제를 극복하면, AI 에이전트는 다양한 산업 분야에서 혁신을 이끌며, 우리의 삶을 더욱 편리하고 효율적으로 변화시킬 수 있을 것입니다.

AI 에이전트 자비스가 온다.pdf
0.50MB