OpenAI의 ChatGPT가 사용자의 컴퓨터에 설치된 다른 애플리케이션과 연동되는 기능을 시작했습니다.
지난 목요일, 이 스타트업은 macOS용 ChatGPT 데스크톱 앱이 VS Code, Xcode, TextEdit, Terminal, iTerm2 등 개발자 중심의 코딩 앱 내에서 코드를 읽어 들일 수 있게 되었다고 발표했습니다.
이는 개발자들이 코드를 ChatGPT에 수동으로 복사하여 붙여넣을 필요가 없어졌음을 의미합니다. 이전까지는 코드를 복사-붙여넣기 하는 것이 챗봇 사용의 일반적인 방법이었습니다. 이제 이 기능이 활성화되면, OpenAI는 사용자가 입력한 프롬프트와 함께 현재 작업 중인 코드 섹션을 컨텍스트로 자동 전송합니다.
다만, Cursor나 GitHub Copilot 같은 인기 AI 코딩 도구와 달리, ChatGPT는 현재 개발자 앱 내부로 코드를 직접 작성하는 것은 불가능합니다.
'Work with Apps'라는 이름의 이 기능은 진정한 의미의 AI 에이전트와는 거리가 있습니다. 하지만 OpenAI는 ChatGPT가 다른 앱을 이해하도록 하는 과정 자체가 에이전트 시스템을 구축하는 데 "핵심적인 기반 기술(key building block)"이 될 것이라고 강조합니다. 오늘날 AI 에이전트가 직면한 가장 큰 과제 중 하나는 단순히 프롬프트나 자체 응답뿐만 아니라 사용자의 컴퓨터 화면 전체를 이해하는 것입니다.
OpenAI는 우선 이 기능을 코딩 앱에 집중하고 있다고 밝히며, 이는 AI 코딩 어시스턴트가 대규모 언어 모델(LLM)의 가장 인기 있는 사용 사례 중 하나로 부상했기 때문일 가능성이 높다고 설명했습니다. 해당 기능은 오늘 Plus 및 Teams 사용자에게 제공되며, 앞으로 몇 주에 걸쳐 Enterprise 및 Edu 사용자에게 순차적으로 확대될 예정입니다. OpenAI는 향후 ChatGPT가 글쓰기 등 텍스트 기반 작업에 사용될 수 있는 다른 유형의 앱과도 연동될 수 있을 것이라고 덧붙였습니다.
사용자는 이제 ChatGPT가 연동할 몇 가지 코딩 앱을 선택할 수 있습니다.
OpenAI
TechCrunch와의 데모에서, OpenAI 직원은 ChatGPT 앱과 태양계를 모델링한 간단한 프로젝트가 담긴 Xcode 환경을 실행했습니다 (다만 지구는 제외된 상태였습니다). 직원은 ChatGPT 내에서 Xcode 탭을 선택하여 AI 챗봇에게 해당 앱의 내용에 주목하도록 지시한 뒤, 챗봇에게 "누락된 행성을 추가해 달라"고 요청했습니다. 챗봇은 프로젝트의 나머지 형식과 일치하는 지구를 나타내는 코드 한 줄을 작성하며 작업을 성공적으로 수행했습니다. 다만, 이 결과를 여전히 사용자가 직접 환경에 붙여넣어야 했습니다.
OpenAI 데스크톱 제품 책임자인 알렉산더 엠비리코스(Alexander Embiricos)에 따르면, 다양한 앱을 읽기 위해 OpenAI는 주로 macOS 접근성 API를 활용하여 텍스트를 읽어내고 이를 ChatGPT에 전달합니다. 화면 리더기(Screen Reader)는 거의 20년 동안 사용되어 온 macOS의 기능입니다. 이 기능은 대부분의 일반적인 앱에서는 높은 신뢰도를 보이지만, 모든 상황에 완벽하게 대응하는 것은 아닙니다.
Microsoft의 VS Code와 같은 일부 앱의 경우, 'Work with Apps' 기능을 사용하려면 사용자에게 별도의 콘텐츠 쿼리용 확장 프로그램 설치가 필요합니다. 또한, 이름에서 알 수 있듯이 Apple의 화면 리더기는 텍스트만 인식할 수 있기 때문에 사진, 사물의 방향, 또는 비디오와 같은 시각적 요소를 ChatGPT가 이해하는 데는 한계가 있습니다.
'Work with Apps'는 특정 앱의 경우 사용자 프롬프트와 함께 마지막 코드 200줄을 ChatGPT에 전송합니다. 다른 앱의 경우에는 가장 앞쪽에 보이는 창의 모든 코드가 챗봇의 입력으로 사용됩니다. 사용자가 코드나 텍스트를 강조 표시하여 ChatGPT가 프로젝트의 특정 부분에 집중하도록 도울 수는 있지만, 이때 주변의 텍스트 역시 포함된다는 점을 유의해야 합니다. 이 과정은 많은 입력 토큰을 소모할 것으로 예상됩니다.
Chatgpt가 xcode와 연동되는 모습.
OpenAI
OpenAI는 이 기능을 Apple의 화면 리더기와 호환되지 않는 다른 앱으로 어떻게 확장할 계획인지 명확히 밝히지 않았습니다.
한 에이전트가 TechCrunch에서 연설하며 "이 모든 것의 궁극적인 목표는 사용자와 AI 사이의 장벽을 없애는 것"이라고 강조했습니다.
이러한 구조화된 과정을 거쳐 애플리케이션 개발을 자동화할 수 있다는 점을 강조하는 등, OpenAI는 소프트웨어 개발 프로세스 전체를 AI가 주도하는 방향으로 나아가고 있음을 보여주었습니다.
Anthropic의 샘 알트만은 "AI는 단순히 코드를 작성하는 도구가 아닙니다. AI는 엔지니어링 팀 전체를 재구성할 잠재력을 가지고 있습니다"라고 발언했습니다.
이러한 방향성은 AI가 단순한 생산성 도구를 넘어, 복잡한 시스템 구축과 사용자 경험 디자인까지 포괄하는 엔지니어링 파트너로 자리매김하고 있음을 시사합니다.
OpenAI가 제시한 이러한 로드맵은 AI가 단순한 생산성 도구를 넘어선, 엔지니어링 전반을 재구성할 잠재력을 가짐을 보여줍니다. 애플리케이션의 구조화된 개발 과정 자동화부터, 복잡한 시스템 구축까지 AI가 주도하는 방향으로 기술이 나아가고 있습니다.
이러한 변화는 AI가 코드를 작성하는 단계를 넘어, 전체 엔지니어링 팀을 재구성하는 핵심 요소가 될 것임을 시사합니다. 개발 프로세스 전체를 AI가 주도하는 거대한 변화의 물결 속에서, AI는 단순한 보조 도구가 아닌 필수적인 '엔지니어링 파트너'로 자리매김하고 있습니다.
[출처:] https://techcrunch.com/2024/11/14/chatgpt-can-now-read-some-of-your-macs-desktop-apps