Agent Harness Engineering 기술 리포트 — 2026-05-02

참고: 본 리포트는 AI Agent Harness Engineering을 다룹니다. 이는 소프트웨어 스캐폴딩, 오케스트레이션 프레임워크(LangGraph, DSPy, CrewAI, AutoGen, Claude Agent SDK, OpenAI Agents SDK), 툴 사용 패턴, 가드레일, 메모리 시스템, 프로덕션 LLM 에이전트 평가 인프라를 포함합니다. 물리적 와이어 하네스나 자동차 전기 시스템과는 무관합니다.

이번 주 주요 뉴스

• AI 에이전트 보안 가드레일 비교 평가 논문 공개 — DKnownAI Guard를 AWS Bedrock Guardrails, Azure Content Safety, Lakera Guard와 벤치마킹한 첫 체계적 연구가 5일 전 arXiv에 공개되었습니다.
• TraceSafe-Bench 등장 — 단일 툴 호출을 넘어, 에이전트 실행 궤적 전체의 중간 단계에서 위험한 패턴을 차단하는 가드레일 평가 프레임워크가 발표되었습니다.
• awesome-harness-engineering GitHub 저장소 개설 — 에이전트 하네스 엔지니어링 전반을 다루는 어섬 리스트가 2일 전 생성되었습니다. 에이전트가 스스로 하네스를 진화시키는 메타-하네스 패턴까지 다룹니다.
• DEV 커뮤니티 비교 분석 — CrewAI vs LangGraph vs AutoGen을 실제 워크플로에서 구동한 엔지니어들의 솔직한 후기가 2일 전 공유되었습니다.

프레임워크 및 툴 업데이트

LangGraph + MCP + A2A — Full Book 공개 (freeCodeCamp)

• 핵심 내용: freeCodeCamp가 LangGraph, MCP(Model Context Protocol), A2A(Agent-to-Agent) 프로토콜을 활용해 멀티-에이전트 시스템을 구축하는 전체 과정을 2일 전 무료로 공개했습니다.
• 중요성: 단순 Q&A를 넘어 하네스 레이어에서 에이전트 간 통신 채널을 설계하고 MCP로 외부 툴을 연결하는 실무 아키텍처를 배울 수 있습니다. 특히 Google의 A2A 프로토콜 통합 예제는 이번이 처음입니다.
• 마이그레이션: MCP 기반 툴 레지스트리를 LangGraph에 붙일 때는 lazy-discovered 패턴을 사용하세요. 기존 동기식 툴과는 호환성 체크가 필요합니다.

LangGraph vs CrewAI vs Mastra 비교 분석

• 핵심 내용: Digital Applied가 그래프 제어, 내구성 실행(durable execution), MCP 지원 등을 기준으로 세 프레임워크를 분석하고 4가지 참조 아키텍처를 제시했습니다.
• 중요성: Mastra는 TypeScript 네이티브 환경에서 내구성 실행과 MCP 지원을 강점으로 내세우며 주목받고 있습니다.
• 마이그레이션: CrewAI에서 LangGraph로 이동 시 역할(Role)을 노드(Node)로 매핑하는 작업이 필수적이며, 상태 관리 로직도 완전히 새로 짜야 합니다.

연구 및 평가

AI 에이전트 보안 가드레일 비교 평가 (arXiv 2604.24826)

• 핵심: DKnownAI Guard를 포함한 주요 가드레일들의 탐지율, 오탐률, 레이턴시를 비교했습니다.
• 함의: 어떤 단일 솔루션도 모든 공격을 막지 못합니다. 프로덕션 하네스에는 프롬프트, 스키마, 런타임 단계의 다층적 가드레일 구성이 필수입니다.

TraceSafe: 멀티-스텝 툴 콜링 평가 (arXiv 2604.07223v1)

• 핵심: 개별 툴 호출이 아닌, 연속된 툴 실행 궤적 전체를 모니터링하여 위험 패턴을 조기에 차단하는 표준 테스트베드를 제공합니다.
• 함의: 에이전트가 상태 머신처럼 행동하도록 설계하고, 경로 수준(trajectory-level)에서 가드레일을 걸어야 합니다.

프로덕션 패턴 및 실무자 인사이트

CrewAI vs LangGraph vs AutoGen: 현장의 목소리

• 상황: DEV 커뮤니티 팀이 실제 운영 환경에서 겪은 문제들을 공유했습니다.
• 결론: LangGraph는 복잡한 조건 분기에 강력하지만 러닝 커브가 높습니다. CrewAI는 프로토타이핑에 좋고, AutoGen은 대화형 패턴에 강합니다. 결론은 "프레임워크와 상관없이 가드레일과 옵저버빌리티는 독립적으로 설계하라"는 것입니다.

PydanticAI + Mem0 메모리 주입 패턴

• 팁: 메모리를 시스템 프롬프트에 하드코딩하면 재시작 시 상태가 초기화됩니다. PydanticAI에서는 Mem0 클라이언트를 의존성으로 주입하고 @agent.system_prompt 데코레이터로 동적 주입하는 것이 프로덕션 베스트 프랙티스입니다.

읽어볼 만한 저장소

• ai-boost/awesome-harness-engineering: 에이전트 하네스의 모든 것을 망라한 필수 체크리스트.
• masamasa59/ai-agent-papers: 격주 업데이트되는 논문 컬렉션.
• VoltAgent/awesome-ai-agent-papers: 2026년 최신 연구 중심 큐레이션.

다음 주 체크포인트

• TraceSafe-Bench 데이터셋 공개: 궤적 수준의 취약점을 정량 평가할 표준 도구가 될지 지켜봐야 합니다.
• A2A 프로토콜 공식 지원: LangGraph와 Google ADK 간의 공식적인 통합 발표가 임박했는지 주목하세요.

실무자를 위한 액션 아이템

1. 다층 가드레일 감사: 프롬프트/출력 필터 외에 궤적 수준(trajectory-level) 모니터링 레이어를 추가하세요.
2. 단일 솔루션 탈피: 특정 가드레일 하나에 의존하지 말고, 다층 구조의 보안 표준을 세우세요.
3. PydanticAI 리팩토링: 메모리 주입 방식을 Mem0 클라이언트 의존성 주입 패턴으로 변경하세요.
4. 저장소 활용: 새 프로젝트 시작 전 awesome-harness-engineering에서 최신 아키텍처 패턴을 먼저 확인하세요.