Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

# 메모리 에이전트 통합 예시 (의사코드)

memory_bank = {
    "status": "",          # 메모리 에이전트만 보는 진행 상황
    "knowledge": [],       # 안정적 사실 (요구사항, 경로, 제약)
    "procedural": []       # 시도 결과 (실패/성공 커맨드, 진단)
}

def memory_agent_step(task, recent_window, memory_bank):
    """
    Phase 1: memory bank 업데이트
    Phase 2: 개입 여부 결정
    """
    # Phase 1: 최근 k=8 스텝 윈도우를 보고 메모리 뱅크 업데이트
    updates = llm_call(
        system="You are a memory agent. Manage the memory bank.",
        messages=[
            {"role": "user", "content": f"""
            Task: {task}
            Recent trajectory (last 8 steps): {recent_window}
            Current memory bank: {memory_bank}
            
            Call memory tools as needed:
            - memory_update_status(content)
            - memory_save_knowledge(id, content, tags)
            - memory_save_procedural(id, content, outcome)
            - memory_delete(id)
            """}
        ]
    )
    apply_memory_tool_calls(memory_bank, updates)
    
    # Phase 2: 개입 여부 결정 (선택적 침묵이 핵심!)
    intervention = llm_call(
        system="You are a memory agent. Decide whether to intervene.",
        messages=[
            {"role": "user", "content": f"""
            Updated memory bank: {memory_bank}
            Recent trajectory: {recent_window}
            
            Should you remind the action agent of something?
            - If YES: output <context_for_action>specific, grounded reminder</context_for_action>
            - If NO: output <no_intervention/>
            
            Only intervene if a remembered item will affect the NEXT decision.
            Do NOT give general advice or repeat already-visible info.
            """}
        ]
    )
    return parse_intervention(intervention)  # None 또는 reminder 텍스트

# 메인 루프
for step in range(max_steps):
    # N 스텝마다 메모리 에이전트 실행
    if step % MEMORY_INTERVAL == 0:
        reminder = memory_agent_step(task, trajectory[-8:], memory_bank)
    else:
        reminder = None
    
    # 액션 에이전트 호출 (reminder가 있으면 주입)
    action_context = base_context
    if reminder:
        action_context += f"\n[MEMORY REMINDER]\n{reminder}"
    
    action = action_agent(task, trajectory, action_context)  # 액션 에이전트 무수정
    observation = env.step(action)
    trajectory.append((action, observation))