Bayesian Linguistic Forecaster: Sequential Bayesian Updating으로 미래 예측하는 Agentic 시스템

# BLF Bayesian Linguistic Belief State 구조 예시
# 매 Tool 호출 시 LLM이 이 JSON을 함께 생성하도록 프롬프트 구성

belief_state_schema = {
    "probability": 0.5,          # P(outcome=1 | evidence so far)
    "confidence": "low",         # low / medium / high
    "evidence_for": [],           # 결과 지지하는 근거 요약 리스트
    "evidence_against": [],       # 결과 반박하는 근거 요약 리스트
    "open_questions": [],         # 다음에 검색할 질문들
    "update_reasoning": ""        # 이번 스텝에서 왜 확률이 바뀌었는지
}

# 에이전트 루프 의사코드
def blf_agent(question: str, cutoff_date: str, max_steps: int = 10):
    belief = {"probability": 0.5, "confidence": "low", 
              "evidence_for": [], "evidence_against": [],
              "open_questions": [question], "update_reasoning": "Prior"}
    history = [{"role": "user", "content": question}]
    
    for step in range(max_steps):
        # LLM이 action + 업데이트된 belief를 한 번에 생성
        response = llm_call(
            messages=history,
            tools=[web_search, read_files, url_lookup, submit],
            # 핵심: tool call arguments에 updated_belief 필드 포함
            system_prompt=f"""After each action, update your belief state as JSON:
{belief_state_schema}
Current belief: {belief}
Cutoff date: {cutoff_date} - do not use information after this date."""
        )
        
        action = response.tool_call
        new_belief = response.updated_belief  # LLM이 함께 생성
        
        if action.name == "submit":
            return action.args["probability"]
        
        # 액션 실행 (날짜 필터링 포함)
        observation = execute_tool(action, cutoff_date=cutoff_date)
        
        # 히스토리 업데이트
        history.append({"role": "assistant", "tool_call": action, "belief": new_belief})
        history.append({"role": "tool", "content": observation})
        belief = new_belief
    
    return belief["probability"]  # max_steps 도달 시 마지막 belief 반환

# Multi-Trial Aggregation
import numpy as np

def aggregate_trials(forecasts: list[float], metric: str = "brier_score") -> float:
    """metric이 이차 손실이면 mean, 선형이면 median이 약간 유리"""
    if metric in ["brier_score", "log_score"]:
        return np.mean(forecasts)  # Jensen 부등식으로 이론적 보장
    else:  # brier_index (선형)
        return np.median(forecasts)  # +0.2 BI 개선

# 5개 독립 실행
K = 5
forecasts = [blf_agent(question, cutoff_date) for _ in range(K)]
final_forecast = aggregate_trials(forecasts)