EchoGen: Layout-Image 생성과 이해를 위한 Cycle-Consistent Learning 통합 프레임워크

Who Should Read

포스터 생성, 이미지 편집, 공간 레이아웃 제어가 필요한 멀티모달 AI 서비스를 개발 중인 ML 엔지니어. 특히 텍스트 프롬프트와 bounding box로 이미지를 정밀하게 제어하고 싶은 개발자.

Core Mechanics

• 레이아웃→이미지 생성(L2I)과 이미지→레이아웃 grounding(I2L) 두 태스크를 하나의 모델(Janus-Pro 1.5B 기반)에서 같이 학습시키면 서로 성능을 끌어올리는 시너지 효과가 생김
• 3단계 점진적 학습 전략 사용: ① 병렬 멀티태스크 사전학습(PMTP) → ② 생성 결과를 바로 grounding 입력으로 넣는 Dual Joint Optimization → ③ 시각 레이블 없이 레이아웃 불일치를 reward로 쓰는 Cycle RL
• Cycle RL 단계에서는 layout→image→layout 루프를 돌면서, 처음 레이아웃과 grounding으로 복원된 레이아웃의 차이(IoU, ℓ1)를 reward로 써서 자기지도학습(self-supervised RL) 수행 — 이미지 레이블 불필요
• RL 학습 데이터로 실제 데이터셋, 랜덤 bounding box, GPT-4o 생성 레이아웃을 비교했더니 성능 차이가 거의 없어서 데이터 의존성이 매우 낮음
• 단순히 두 태스크를 같이 학습하면 성능이 제한되는 문제가 있는데, 이를 Gumbel-Softmax로 비미분 샘플링 구간을 우회하고 온도 감소(annealing) 스케줄로 해결
• 기존 방법들(GLIGEN, MIGC 등)이 깊이(depth) 같은 공간적 관계를 헷갈리는 반면, grounding 태스크 덕분에 '앞에 있는 사과', '뒤에 있는 사과' 같은 복잡한 공간 표현을 정확히 구분함

Evidence

• MS-COCO에서 이전 최고 성능 대비 AP +3.22, AP50 +4.15, AP75 +3.92 절대 수치 향상 (PlanGen 51.39→EchoGen 54.61 AP)
• LayoutSAM-Eval에서 Spatial +4.11, Color +2.28, Texture +2.49, Shape +1.82 절대 수치 향상으로 모든 차원 SOTA 달성
• Image grounding 벤치마크 Ref-L4에서 Acc0.5 +1.50, Acc0.75 +4.65, mAcc +2.37 향상 (CogVLM-g. 대비, 파라미터 수는 더 적음)
• Ablation: Stage 1만 쓰면 AP 47.26이고, Stage 2 추가하면 52.38(+5.12), Stage 3 추가하면 54.61(+2.23)로 각 단계가 유의미하게 기여

How to Apply

• 포스터나 UI 레이아웃 기반 이미지 생성 서비스를 만들 때, grounding 태스크를 같이 학습시키는 것만으로 공간 제어 정확도를 높일 수 있음 — 별도의 spatial reasoning 모듈 없이도 '왼쪽 위 로고', '중앙 타이틀' 같은 지시를 잘 따름
• Cycle RL 아이디어를 응용해서, 생성 모델의 품질을 판단하는 reward를 별도 레이블 없이 만들 수 있음 — 생성 결과를 검증 모델로 다시 파싱해서 입력과 비교하는 방식으로 자기지도 파이프라인 구성 가능
• 학습 데이터가 부족한 경우 RL 단계에서 GPT-4o로 레이아웃 텍스트만 생성해도 실제 데이터와 거의 동일한 성능이 나오므로, 이미지 어노테이션 비용 없이 데이터를 증강할 수 있음

Code Example

# Cycle RL reward 계산 예시 (pseudocode)
# layout -> image -> layout 루프에서 bounding box 불일치를 reward로 사용

def compute_cycle_reward(input_layout, model, group_size=8):
    """
    input_layout: [{"expr": "red apple in front", "box": [x1,y1,x2,y2]}, ...]
    """
    rewards = []
    for _ in range(group_size):
        # Step 1: Layout -> Image 생성
        generated_image = model.layout_to_image(input_layout)
        
        # Step 2: Image -> Layout grounding (이미지에서 box 예측)
        predicted_boxes = model.image_grounding(
            image=generated_image,
            expressions=[item["expr"] for item in input_layout]
        )
        
        # Step 3: 원본 box와 예측 box의 차이를 reward로
        gt_boxes = [item["box"] for item in input_layout]
        iou_scores = [compute_iou(pred, gt) 
                      for pred, gt in zip(predicted_boxes, gt_boxes)]
        
        # reward = 1 - mean_IoU_discrepancy (낮을수록 좋음 → reward로 변환)
        r_bbox = 1.0 - (sum(iou_scores) / len(iou_scores))
        rewards.append(r_bbox)
    
    # GRPO: 그룹 상대적 advantage 계산
    mean_reward = sum(rewards) / len(rewards)
    advantages = [r - mean_reward for r in rewards]
    return rewards, advantages

# 핵심: 이미지 정답 레이블 없이 layout 텍스트만으로 self-supervised RL 가능

Terminology