Agent Harness Engineering Report — 2026-06-28

Scope note: This report covers AI Agent Harness Engineering — the software scaffolding, orchestration frameworks (LangGraph, DSPy, CrewAI, AutoGen, Claude Agent SDK, OpenAI Agents SDK), tool-use patterns, guardrails, memory systems, and evaluation infrastructure for production LLM agents. It is NOT about physical wire harnesses, cabling, or automotive electrical systems.

This Week's Headlines

• Harness-Bench: 하네스 효과의 정량적 측정 — AgentBench나 GAIA 같은 기존 벤치마크들은 하네스 자체를 고정하거나 추상화하는 한계가 있었습니다. Harness-Bench는 워크플로우 기반 평가에서 하네스 효과를 독립적으로 측정하는 새로운 프레임워크를 제시합니다.

• AgentTrust: 도구 실행 시점의 실시간 안전 보호 — 기존 사후 평가 방식(AgentHarm 등)을 넘어, 도구 호출 후 실제 실행 단계에서 해로운 작업을 탐지하고 차단하는 런타임 가드레일 시스템의 중요성을 다룹니다.

• OpenAI: Codex 기반 에이전트 개선 루프 — 트레이싱, 피드백, 평가를 결합하여 하네스 변경 사항을 지속적으로 개선하는 플라이휠 구축 방법론이 공개되었습니다.

• WorkBench 재평가: 2023-2026년 21개 모델 비교 — 최신 네이티브 도구 호출 하네스 아키텍처 환경에서 구형 모델과 신형 모델 간의 성능 차이를 다시 측정했습니다.

Framework & Tooling Updates

Requesty — 2026년 주요 에이전트 SDK 비교 (LangGraph, CrewAI, OpenAI, Anthropic, Google ADK)

• What's new: 6개 주요 SDK의 아키텍처, 토큰 효율성, 네이티브 도구 실행 능력을 비교 분석했습니다.
• Why it matters: 상태 제어에는 LangGraph, 빠른 프로토타이핑에는 CrewAI, 네이티브 도구 실행에는 벤더 SDK가 각각 강점을 보입니다.
• Migration notes: 네이티브 도구 호출 환경으로 마이그레이션할 경우 지연 시간과 오류율을 획기적으로 줄일 수 있습니다.

1 sources

requesty.ai

requesty.ai

Research & Evaluation

Harness-Bench: 하네스 설계가 에이전트 워크플로우에 미치는 영향 분석

• Authors / Org: 학술 연구팀 (arXiv 2605.27922v1)
• Core finding: 동일한 모델이라도 하네스 구현 방식에 따라 성능이 크게 달라집니다. Harness-Bench는 다양한 하네스 아키텍처를 비교하는 첫 프레임워크입니다.
• Implication: 성능 최적화는 모델 선택만큼이나 하네스 설계가 중요합니다.

AgentTrust: AI 에이전트 도구 사용을 위한 런타임 보안

• Authors / Org: 보안 연구팀 (arXiv 2605.04785)
• Core finding: DKnownAI Guard, AWS Bedrock Guardrails, Azure Content Safety, Lakera Guard 등 4개 솔루션을 테스트한 결과, 도구 실행 단계에서의 실시간 보호가 훨씬 효과적임을 입증했습니다.

AI Agent Systems: 아키텍처, 응용 및 평가

• Authors / Org: 학술 연구팀 (arXiv 2601.01743v1)
• Core finding: 도구 검증, 확장 가능한 메모리 관리, 결정의 해석 가능성이 시스템 구축의 핵심 과제로 꼽혔습니다.

Production Patterns & Practitioner Insights

DEV.to: 7가지 에이전트 프레임워크 실전 경험

• Context: 개발자가 LangGraph부터 Semantic Kernel까지 7개 프레임워크를 직접 사용하며 겪은 경험담입니다.
• Problem: 프로토타입과 프로덕션 환경 간의 전환 시 발생하는 복잡도와 비용 문제가 핵심입니다.
• Solution / Takeaway: 초기는 CrewAI로 빠르게 구축하고, 이후 LangGraph로 전환하여 상태 제어 및 오류 재시도 로직을 강화하는 전략을 추천합니다.

Trending OSS Repositories

• RUCAIBox/awesome-agent-harness: 에이전트 시스템 엔지니어링 함정과 코딩 에이전트 구축 가이드가 포함된 공식 저장소입니다.
• ARUNAGIRINATHAN-K/awesome-ai-agents-2026: 300개 이상의 에이전트와 비교 가이드가 큐레이션된 컬렉션입니다.
• tmgthb/Autonomous-Agents: 자율 에이전트 관련 논문을 매일 업데이트하는 저장소입니다.

Deep Dive: 하네스 측정의 새로운 표준, Harness-Bench

기존 벤치마크의 맹점: AgentBench 등은 하네스를 고정하거나 추상화하여, 정작 중요한 '하네스 설계 선택'이 성능에 미치는 영향을 파악하기 어려웠습니다.

Harness-Bench의 접근: 동일 모델 환경에서 도구 파싱 전략, 재시도 정책, 메모리 관리 등 하네스 변수를 독립적으로 측정합니다. 설계 선택만으로도 15~30%의 성능 차이가 발생함을 확인했습니다.

프로덕션 영향: 모델 업그레이드 전, 현재 하네스 구현 방식을 우선 점검하세요. 텍스트 파싱 방식에서 네이티브 도구 호출로 전환하는 것만으로도 큰 성능 향상을 기대할 수 있습니다.

What to Watch Next Week

• OpenAI Agents SDK 마이너 업데이트: 트레이싱 기반 개선 루프 통합 강화.
• Anthropic Opus 4.7 출시: 새로운 모델에 대한 Harness-Bench 성능 재평가.
• LangGraph 업데이트: 메모리 축약 및 인스트럭션 비용 최적화 API.

Reader Action Items

• 현재 하네스 감사: 텍스트 파싱 방식을 사용 중이라면 네이티브 도구 호출 마이그레이션 계획 수립.
• 실시간 보안 계층 추가: AgentTrust 패턴을 참고하여 도구 실행 후 결과 검증 로직 도입.
• 개선 루프 자동화: OpenAI Cookbook의 트레이싱 기반 피드백 패턴 적용.