Qwen 27B 다중 에이전트 팀이 코딩 벤치마크에서 Fable 5 능가

Memdoor 다중 에이전트 워크플로가 LiveCodeBench Hard 문제를 푸는 실험에서 Fable 5 단독 실행보다 높은 성능을 기록했습니다. 계획자, 아이디어 제안자 2명, 해결자, 관리자라는 5개 역할로 구성된 팀이 각자 새 컨텍스트에서 시작해 디스크 파일로만 소통하는 방식입니다. 50회 실행에 약 36달러가 들었고 실행 시간 중앙값은 40분이었습니다.

핵심 내용

• LiveCodeBench Hard의 첫 10개 문제를 5회씩 총 50회 실행해 49회 성공, 평균 9.8점 기록 (원 연구진 하네스 9.6점, Fable 5 단독 8.0점)
• 5개 에이전트가 각각 독립된 컨텍스트에서 작업하며 채팅 기록 없이 파일만으로 협업. 샘플 실행 결과로 통과 여부 결정
• 50회 실행에 출력 토큰 1,530만 개, 비용 35.79달러 소요. 모델 실행 시간 중앙값 40분, 최장 4시간
• 원 연구진의 프롬프트와 반복 절차를 재현했으나 평가 범위는 전체 100문제가 아닌 10문제이며, 학습 데이터 오염 가능성 존재
• 관리자의 잘못된 반례로 정답 코드가 덮어써지는 문제 발생. 검증 및 보존 개선책은 이번 점수에 미반영

써먹을 수 있는 점

• 다중 에이전트 구조에서 새 컨텍스트 + 파일 기반 소통 방식이 성능 향상 요인으로 제시됨. 비슷한 협업 구조 설계 시 참고 가능
• Memdoor 워크플로는 사용자 디렉터리나 프로젝트 .memdoor/workflows/에 두고 memdoor workflow run 명령으로 실행. OpenRouter, Anthropic, Ollama 등 다양한 런타임 연결 지원
• 실행 기록 전체(요청/응답, 비용, 호출별 처리 호스트)가 공개되어 재현 및 비용 분석 가능
• 모델 설정(temperature 0.2~0.4, top_p 0.95, top_k 20, 응답 상한 128K)과 최대 10회 반복 절차가 구체적으로 명시됨

작은 모델 여러 개로 구성한 팀 방식, 시도해 보신 분 있으신가요?