🚀 [Project] AI 내 직원 만들기: 실전 투입과 멀티모달 통합 (Last Vol.)

🛠️ 실전 업무를 위한 '연장' 챙기기 (Function Calling & MCP)

인프라가 갖춰졌으니 이제 '내 직원'이 실제로 휘두를 연장을 쥐여줄 차례입니다. 이번 작업을 통해 TradeNPU_AI는 단순한 대화 상대를 넘어 실무 집행자로 거듭났습니다.

 

1. 추가된 주요 도구들

• Knowledge Basket 조회: 특정 기간(Days) 또는 검색어를 바탕으로 Knowledge Basket 컨텐츠를 일괄 조회합니다.

• EmailHandler (Gmail API): 수신자, 제목, 내용을 파라미터로 받아 실제 이메일을 발송합니다. 직원의 가장 기본인 '보고와 소통'을 자동화했습니다.

 

2. 다단계 연쇄 동작 (Sequential Function Calling)의 완성

가장 뿌듯한 성과는 연쇄 Function Calling의 성공입니다. 예를 들어 "어제 발행된 Knowledge Basket 컨텐츠를 요약해서 메일로 보내줘"라고 시키면 AI는 다음과 같이 움직입니다.

1. Knowledge Basket 조회 도구 선택 및 데이터 확보

2. 확보된 데이터를 기반으로 메일 발송 도구의 파라미터 구성

3. 최종 발송 및 결과 보고

이를 위해 기존의 단발성 호출 로직을 While문으로 감싸 AI가 "더 이상 필요한 도구가 없다"고 판단할 때까지 루프를 돌도록 설계하여 안정성을 확보했습니다.

---

 

🤯 개발자를 괴롭힌 4가지 기술적 허들

구현 과정은 결코 순탄치 않았습니다. 특히 라이브러리 간의 충돌과 세션 관리에서 폭넓은 삽질(?)이 필요했습니다.

1. 도구의 병합 (Local + MCP): 사용자가 도구의 출처를 신경 쓰지 않게 하려고 로컬 도구와 MCP 도구를 하나의 리스트로 통합했습니다. Python SDK의 Tool() 클래스를 활용해 양측의 JSON 스키마를 일치시키는 정교한 작업이 필요했습니다.

2. 대화 기억의 증발: Chat() 객체를 사용하며 연쇄 호출을 수행할 때 세션이 끊기거나 기억이 소실되는 문제가 있었습니다. 이를 해결하기 위해 모델 스위칭 시에도 대화 내용이 보존되도록 Session 기반의 기억 저장소를 구축했습니다.

3. MCP 클라이언트 헤더 오류: JSON-RPC 통신 시 X-Session-ID, X-User-ID 누락으로 인한 에러는 전 세계 개발자들의 공통된 고통이더군요. 헤더에 해당 값들과 함께 Accept: application/json, text/event-stream을 명시적으로 추가하여 해결했습니다.

4. Google Search의 독점성: Gemini API에서 Google Search(Grounding)는 다른 Function Calling 도구와 병용이 불가능했습니다. 구글 AI 스튜디오가 검색 모드 시 새로운 채팅창을 여는 이유를 기술적으로 체감하게 된 계기였습니다.

---

 

🎭 Gemini 모드 벤치마킹: TradeNPU_AI의 변신

구글 Gemini의 UI를 벤치마킹하여 TradeNPU_AI에도 모드 선택 인터페이스를 이식했습니다.

• 일반 대화: 로컬/MCP 도구를 자유자재로 쓰는 모드.

• 구글 검색: 실시간 웹 정보를 탐색하는 Low-level RAG 모드.

• 파일/이미지 인식: Gemini 2.5의 강력한 비전 기능을 활용한 분석 모드.

비즈니스 성격상 동영상 생성(Veo)이나 이미지 생성(Imagen)은 당장 도입하지 않았지만, 향후 모델 스위칭 로직을 통해 언제든 확장이 가능하도록 설계의 뼈대를 잡아두었습니다.

---

 

🚀 스위칭의 미학: Model vs Tool, 그리고 AGI의 꿈

현재 기술력으로 하나의 모델이 모든 것을 완벽히 처리하는 AGI(인공일반지능)는 아직 먼 이야기입니다. 동영상을 만들 때는 Veo가, 고도의 추론에는 Pro 모델이 필요하죠.

• Agent Orchestration: 단일 모델의 한계를 극복하기 위해 지휘자격인 Agent가 상황에 맞는 모델과 도구를 선택하는 '오케스트레이션'이 필수적입니다.

• 에너지와 비용: 하지만 모델과 도구를 스위칭할 때마다 발생하는 지연 시간과 막대한 전력 소모는 앞으로 우리가 해결해야 할 큰 숙제입니다. 웹3와 블록체인, 그리고 핵융합 발전까지 언급되는 이유를 이제야 조금 알 것 같습니다.

---

 

⏭ 마치며: '내 직원'의 첫 출근을 축하하며

직접 코드를 짜며 얻은 가장 큰 자산은 AI와 동등한 수준에서 대화할 수 있는 '기술적 상식'입니다. 이 프로젝트를 통해 다단계 워크플로우를 스스로 처리하는 든든한 AI 직원을 얻었고, 앞으로 이 직원은 TradeNPU의 핵심 인재로 거듭날 것입니다.

연말에는 AI와 궁합이 좋다는 dApp(탈중앙화 앱) 개발에 도전해 보려 합니다. '꾸역꾸역' 만드는 과정에서 쌓이는 지식재산의 힘을 믿으니까요.

 

---

💡 안내: 이 포스팅은 'AI 내 직원 만들기' 시리즈의 마지막 통합본입니다. 실질적인 업무 수행을 위한 도구 추가, Gemini 모드 벤치마킹, 그리고 모델 스위칭 알고리즘을 통한 기능 고도화 과정을 상세히 기록했습니다.

---

---

---