최근 인공지능(AI) 기술이 발전하면서, 마치 모든 직업을 대체할 것처럼 느껴지는 분위기가 팽배합니다.
특히 변호사, 회계사, 컨설턴트 등 전문 지식을 활용하는 '지식 노동(knowledge work)' 분야가 가장 큰 관심사였죠.
마이크로소프트의 사티아 나델라 CEO 같은 분들이 AI가 이 영역을 바꿀 것이라고 예측하면서, 많은 분들이 "이제 AI가 우리 직장까지 오나?"라는 기대를 품게 되었습니다.
실제로 AI 모델들이 엄청나게 발전해서, 복잡한 질문에 답하고 계획을 세우는 '에이전트적 계획(agentic planning)' 능력도 보여주고 있습니다.
하지만 막상 실제 현장에 적용해 보니, 기대했던 만큼의 드라마틱한 변화는 아직 나타나지 않고 있습니다.
AI가 아무리 똑똑해졌다고 해도, 실제 화이트칼라 업무 영역, 즉 전문적인 판단과 깊은 맥락 이해가 필요한 곳에서는 여전히 미스터리한 벽에 부딪히는 모습입니다.
이 간극을 해소하기 위해, 데이터 학습 분야의 거대 기업인 Mercor가 새로운 연구를 진행했고, 그 결과물로 'APEX-Agents'라는 새로운 기준(벤치마크)을 제시했습니다.
이 벤치마크는 단순한 지식 테스트가 아니라, 컨설팅, 법률, 투자은행 등 실제 전문가들이 수행하는 복잡한 업무 과제들로 구성되어 있습니다.
이 테스트를 거친 결과는 다소 충격적이었습니다.
현재 시장을 선도한다고 알려진 최상급 AI 모델들조차도, 이 전문적인 질문들에 대해 높은 정답률을 확보하기가 매우 어려웠다고 합니다.
많은 경우, 모델들은 틀린 답변을 내놓거나 아예 응답을 하지 못하는 상황이 발생했습니다.
이 연구를 주도한 전문가들은 AI가 가장 어려움을 겪는 지점이 바로 '여러 도메리에 걸쳐 분산된 정보를 추적하는 능력'이라고 지적했습니다.
우리가 일상적으로 하는 지식 노동은 한 사람이 모든 정보를 한곳에 모아놓고 작업하는 방식이 아닙니다.
실제 업무 환경에서는 슬랙(Slack) 같은 협업 툴, 구글 드라이브 같은 문서 저장소, 그리고 수많은 외부 시스템을 넘나들며 정보를 조합해야 하죠.
이러한 '다중 도메인 추론 능력(multi-domain reasoning)'이 현재 AI 에이전트들에게는 여전히 가장 불안정한 영역으로 남아있다는 것이 핵심적인 시사점입니다.
그렇다면 AI가 이 복잡한 전문 영역에 진입하기 위해 어떤 능력을 갖춰야 할까요?
단순히 방대한 양의 지식을 외우거나, 정답을 찾아내는 수준을 넘어서야 합니다.
가장 중요한 것은 '연결적 사고(connective thinking)' 능력입니다.
이는 여러 전문 분야의 경계를 넘나들며, 서로 관련 없어 보이는 지식들을 연결하여 종합적인 문제 해결책을 제시하는 능력을 의미합니다.
예를 들어, 법률 문제와 기술적 사안, 그리고 회사의 내부 정책이라는 세 가지 영역이 얽힌 복잡한 상황이 주어졌을 때, 이 세 가지 요소를 모두 고려하여 가장 적절한 판단을 내리는 것이죠.
이러한 전문적이고 미묘한 판단을 요구하는 질문들은, 실제 전문가들이 직접 질문을 만들고 성공적인 답변의 기준을 설정했습니다.
예를 들어, 특정 국가의 법적 규정, 회사의 내부 운영 정책, 그리고 기술적인 이벤트 로그가 얽힌 시나리오를 가정해 봅시다.
이 경우, AI는 단순히 법 조항을 검색하는 것을 넘어, '이 로그 전송이 회사 정책상 문제가 되는지'라는 맥락적 난해함까지 이해하고 판단해야 합니다.
이처럼 전문 지식의 깊이와 맥락적 판단이 결합된 영역이 바로 현재 AI가 가장 큰 숙제를 안고 있는 부분입니다.
한편, AI의 기술적 성능을 한 단계 끌어올린 또 다른 중요한 축이 바로 '설명 가능한 AI(Explainable AI, XAI)'입니다.
이전의 AI는 마치 블랙박스처럼 '정답'만 제시하는 경우가 많았습니다.
하지만 XAI는 AI가 단순한 답변을 제시하는 것에 그치지 않고, 그 답변에 도달하기까지의 모든 과정과 추론 과정을 사람처럼 명확하게 설명하고 증명할 수 있게 만듭니다.
즉, "왜 이 답이 나왔는지"에 대한 논리적 근거를 제시하는 것이죠.
결론적으로, AI의 미래는 단순히 '얼마나 많은 지식을 알고 있느냐'의 양적 싸움이 아닙니다.
지식을 얼마나 깊이 있게 이해하고, 서로 다른 분야와 연결 지어 종합적으로 사고할 수 있는 '연결 능력'과, 그 사고 과정을 투명하게 증명할 수 있는 '설명 능력'이 핵심 경쟁력이 될 것입니다.
AI가 진정한 지식 노동의 파트너가 되기 위해서는, 이처럼 인간의 고차원적인 사고 과정을 모방하고 보완하는 방향으로 진화해야 합니다.
AI가 단순한 정보 검색을 넘어 전문 영역에서 실질적인 역할을 하려면, '다양한 지식을 연결하고 논리적으로 설명하는 능력'을 갖추는 것이 가장 중요한 과제입니다.