Gemini Omni 1.1 Flash: 장면 연장·4K 업스케일·360p 초안 생성

Who Should Read

생성형 영상 API를 붙여 크리에이티브 툴이나 미디어 편집 서비스를 만드는 백엔드·프론트엔드 개발자

Core Mechanics

• 장면 연장이 10초 맥락을 본다
  • 이전 모델은 마지막 1초만 참조했는데 Omni 1.1은 직전 최대 10초를 분석한다.
  • 10초 단위로 이어 붙여 누적 최대 40초까지 연장할 수 있다.
• 첫·마지막 프레임을 지정할 수 있다
  • 두 키프레임 사이를 이어지는 영상으로 생성한다.
  • 카메라 궤도 이동, 줌 전환, 끊김 없는 루프 클립에 쓰라고 소개한다.
• 360p 초안은 빠르고 싸다
  • 표준 720p 대비 최대 60% 빠르고 비용은 3분의 1이다.
  • 60%는 360p와 720p의 시스템 처리량을 기준으로 한 수치다.
• 최종본은 1080p·4K로 뽑는다
  • 초안으로 방향을 잡고 마지막에 1080p 또는 4K 결과물을 만드는 흐름이다.
• 영상 참조를 멀티모달 입력에 넣을 수 있다
  • 최대 3초 분량의 영상을 참조해 시각적 맥락과 캐릭터 일관성을 유지한다.
  • 예시로 참조 영상 속 댄서를 제공한 캐릭터 이미지로 바꾸는 프롬프트를 보여준다.
• Gemini API와 Agent Platform API로 쓸 수 있다

Community Reactions

• 초안과 최종본 결과가 다르다는 경험
  • 360p로 돌려 마음에 들어 같은 프롬프트를 표준 해상도로 돌렸더니 다른 결과가 나와 실망했다는 댓글이 있다.
  • 비결정적(non-deterministic) 모델이라 그렇다는 설명이다.
• 오디오 동기화가 안 된다는 불만
  • 이전 Omni와 이번 버전 모두 기존 오디오에 맞춰 영상을 생성하지 못한다는 의견이 있다.
  • 이 댓글 작성자는 대신 12GB RTX 4070에서 Minimax H3를 로컬로 돌려 립싱크를 한다고 한다.
• 긴 영상은 여전히 어렵다는 경험
  • 튜토리얼 해설용 AI 아바타 영상을 30초까지 만들기도 힘들고 쉽게 드리프트(장면이 변해 어긋남)한다는 댓글이 있다.
  • 짧은 클립을 이어붙인 티가 난다며 연장·보간의 좋은 실제 사례를 물었다.
• 초안 해상도를 더 낮출 수 있는지 궁금하다는 의견
  • 240p나 144p도 쓸 만한지, 빠른 업스케일 모델로 올리면 되는지 궁금해하는 댓글이 있다.
• 실무 쓰임새에 의문을 제기한 의견
  • 광고와 미디어 사전 제작은 그럴듯하지만 그 외 용도는 모호하다는 댓글이 있다.
  • 함께 일하는 아티스트들은 빠른 반복과 중간 단계 제어에 관심이 있다고 한다.

How to Apply

• 오늘 AI Studio에서 360p 초안 3~4개 뽑기
  • Google AI Studio에서 같은 장면을 한 번에 한 요소만 바꿔 360p로 3~4개 생성한다.
  • 나란히 비교해 방향을 고른 뒤에만 고해상도로 돌린다.
• 초안과 최종본 결과 차이를 먼저 측정하기
  • 같은 프롬프트를 360p와 720p로 각각 돌려 구도가 얼마나 달라지는지 기록한다.
  • 차이가 크면 초안 승인 흐름에 재생성 비용을 포함한다.
• 장면 연장 호출을 파이프라인에 넣기
  • 이전 영상의 interaction id를 previous_interaction_id로 넘겨 10초씩 연장한다.
  • 누적 40초 상한을 넘지 않도록 연장 횟수를 코드에서 제한한다.
• 키프레임 전환 기능으로 루프·카메라 이동 만들기
  • 시작·끝 프레임에 같은 이미지를 넣어 끊김 없는 루프 클립을 시도한다.
  • 프롬프트에 One continuous shot, no jump cuts를 명시한다.

Try It

# Python 환경에서 실행 (원문 예시 코드 기반, 이전 영상 interaction이 있어야 함)
# pip install google-genai

from google import genai

client = genai.Client()

interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    previous_interaction_id=previous_video_interaction.id,
    input=[{"type": "text", "text": "Continue the scene."}],
    response_format={"resolution": "360p"},
)

# 이어서 해 볼 것: 같은 호출을 3번 반복해 40초 상한까지 연장하고, 마지막만 해상도를 올려 보기

Terminology

관련 논문

• Mercury 3: 규모를 키운 diffusion LLM, 초당 1,000토큰 이상

  Diffusion LLM을 40배 키웠더니 속도 4~8배, 품질은 속도 특화 모델 수준

• Timestral: Mistral의 시계열 파운데이션 모델

  209M 파라미터 시계열 모델이 3대 벤치마크 1위, CPU에서도 돌아간다

• DeepSeek V4.1 Flash 1017 (Max) 성능·속도·가격 분석

  DeepSeek V4.1 Flash 1017 Max는 지능 지수 45에 211 tok/s, 입력 $0.30

• LLM 프록시를 직접 안 돌리면 무슨 일이 벌어지는지 어떻게 아나

  자체 LLM 프록시를 세웠더니 키·모델·캐시 미스를 직접 볼 수 있다

• DeepSeek V4.1 Flash 1017: 싼 가격에 1M 컨텍스트를 주는 에이전트용 모델

  DeepSeek V4.1 Flash 1017은 입력 $0.05/M, 1M 컨텍스트의 에이전트용 모델

• DeepSeek-V4.1-Flash-1017 공개: 더 짧게 생각하고 더 빠르게 일하는 에이전트용 모델

  DeepSeek V4.1 Flash 마이너 업데이트로 코딩·에이전트 벤치 점수↑, 실행 시간·출력 길이↓

• Llmspeed: 로컬 LLM 속도를 하드웨어 구매 전에 체감해 보는 시뮬레이터

  GPU·모델을 고르면 로컬 LLM 속도를 미리 체감하게 해 주는 시뮬레이터

Related Resources

• https://blog.google/innovation-and-ai/technology/developers-tools/build-with-gemini-omni-1-1-flash/