AI Copilot은 그만, 이제 AI HUD가 필요하다

Who Should Read

AI 기능을 제품에 녹이는 방법을 고민하는 프로덕트 디자이너, 프론트엔드/풀스택 개발자. 특히 챗봇이나 에이전트 UI 외에 다른 AI UX 패턴을 찾고 있는 사람.

Core Mechanics

• 1992년 유비쿼터스 컴퓨팅 연구자 Mark Weiser가 이미 'Copilot' 메타포를 비판했다. 그의 핵심 주장은 AI가 '가상 인간처럼 대화하는 존재'가 아니라, 사용자가 자연스럽게 더 많은 것을 인지하게 해주는 '보이지 않는 컴퓨터'여야 한다는 것.
• 비행기 HUD(Head-Up Display)가 좋은 비유다. 조종사에게 말을 거는 게 아니라, 시야에 고도·수평선 정보를 겹쳐 보여줘서 마치 '마법의 눈'을 가진 것처럼 만들어준다. AI 인터페이스도 이렇게 설계할 수 있다.
• 맞춤법 검사(spellcheck)가 대표적인 HUD 패턴이다. '당신의 맞춤법이 틀렸습니다'라고 대화하는 게 아니라, 빨간 밑줄로 즉시 보여준다. 내부적으로는 퍼지 알고리즘이지만, 사용자 입장에선 새로운 '감각'이 생긴 것.
• 코딩에서의 HUD 예시로, 버그를 고칠 때 에이전트 채팅에 맡기는 대신 AI로 커스텀 디버거 UI를 만들어 프로그램 동작을 시각화하는 방법을 제안한다. 저자는 실제로 Prolog 인터프리터의 해커 테마 디버그 뷰를 만들었다.
• Copilot과 HUD의 적절한 사용 시점도 제시한다. 단순 반복 작업(비행기의 직진 수평 비행)은 자동화 에이전트에 위임하고, 비상 상황처럼 복잡한 판단이 필요한 경우엔 인간 전문가에게 '초능력 도구'를 쥐어주는 게 낫다.
• Jeffrey Heer의 'Agency plus Automation' 논문과 Michael Nielsen·Shan Carter의 'Using AI to Augment Human Intelligence'를 참고 문헌으로 제시하며, AI가 인간 지능을 대체하는 게 아니라 확장하는 방향을 강조한다.

Evidence

• Cursor의 탭 자동완성이 이미 HUD의 좋은 예라는 의견이 많았다. 변수명 리팩토링 시 첫 수정 후 나머지를 자동 제안해주는 경험이 HUD의 정의에 딱 맞고, 이 때문에 Claude Code 같은 순수 Copilot 방식이 무조건 우월하다는 주장은 틀렸다는 반론.
• AI가 코드를 작성하는 동안 실시간으로 테스트를 생성·실행해서 빨강/초록 점으로 보여주는 'AI 기반 실시간 TDD HUD' 아이디어가 제안됐다. 키 입력마다 10~100개 테스트를 돌리면 코드가 외부에서 어떻게 보이는지 즉시 알 수 있다는 것.
• HUD의 가장 큰 약점으로 '환각(hallucination)' 문제가 지적됐다. 모델 정확도가 80% 수준이면 HUD보다 Copilot이 낫다. 사람이 리뷰하고 수정할 수 있으니까. 정확도가 충분히 높아져야 HUD가 실용적이라는 반론.
• 소스 파일에서 모델이 '놀라운(surprising)' 토큰을 히트맵으로 보여주면 어떨까라는 아이디어가 나왔다. 빨간 토큰은 오류, 잘못된 이름, 틀린 주석일 가능성이 높으니 일종의 코드 품질 HUD가 되는 셈.
• Copilot을 끄고 rust_analyzer의 go-to-definition, hover만 써도 충분하다는 실사용 경험이 공유됐다. Copilot이 키 입력에 지연을 추가해서 오히려 방해가 되고, 정적 분석 도구가 더 나은 HUD 역할을 한다는 것.

How to Apply

• AI 기능을 제품에 추가할 때 '챗봇/에이전트' 먼저 떠올리지 말고, 기존 UI 위에 정보를 오버레이하는 HUD 패턴을 먼저 검토해보라. 예: 대시보드에 이상 징후를 빨간 하이라이트로 표시, 코드 에디터에 품질 히트맵 표시.
• 디버깅 시 AI 에이전트에게 '버그 고쳐줘' 대신, AI에게 '이 코드 경로의 메모리 할당/해제를 시각화하는 디버거 UI를 만들어줘'라고 요청해보라. 문제를 직접 '보는' 것이 위임하는 것보다 더 깊은 이해를 준다.
• IDE에서 Copilot 자동완성의 latency가 거슬린다면, 언어별 정적 분석 도구(rust_analyzer, TypeScript LSP 등)만으로도 충분한 '센스 확장'을 얻을 수 있다. Copilot을 일시 정지하고 LSP 기반 워크플로를 시도해보라.
• AI 기반 실시간 테스트 생성 워크플로를 실험해볼 수 있다. 코드 저장 시 AI가 테스트를 자동 생성하고 즉시 실행해서 패스/페일을 사이드 패널에 보여주는 구조를 만들면, 코드 품질을 '보면서' 작성할 수 있다.

Terminology

관련 논문

• adamsreview: Claude Code용 멀티 에이전트 PR 코드 리뷰 파이프라인

  Claude Code에서 최대 7개의 병렬 서브 에이전트가 각각 다른 관점으로 PR을 리뷰하고, 자동 수정까지 해주는 오픈소스 플러그인이다. 기존 /review나 CodeRabbit보다 실제 버그를 더 많이 잡는다고 주장하지만 커뮤니티에서는 복잡도와 실효성에 대한 회의론도 나왔다.

• Claude를 User Space IP Stack으로 써서 Ping에 응답시키면 얼마나 빠를까?

  Claude Code에게 IP 패킷을 직접 파싱하고 ICMP echo reply를 구성하도록 시켜서 실제로 ping에 응답하게 만든 실험으로, 'Markdown이 곧 코드이고 LLM이 프로세서'라는 아이디어를 네트워크 스택 수준까지 밀어붙인 재미있는 사례다.

• AI Agent를 위한 Git: re_gent

  AI 코딩 에이전트(Claude Code 등)가 수행한 모든 툴 호출을 자동으로 추적하고, 어떤 프롬프트가 어느 코드 줄을 작성했는지 blame까지 가능한 버전 관리 도구다.

• Agent-Native CLI를 위한 설계 원칙 10가지

  AI 에이전트가 CLI 도구를 더 잘 사용할 수 있도록 설계하는 원칙들을 정리한 글로, 에이전트가 CLI를 도구로 활용하는 빈도가 높아지면서 이 설계 방식이 실용적으로 중요해지고 있다.

• Agent-harness-kit: MCP 기반 멀티 에이전트 워크플로우 오케스트레이션 프레임워크

  여러 AI 에이전트가 서로 역할을 나눠 협업할 수 있도록 조율하는 scaffolding 도구로, Vite처럼 설정 없이 빠르게 멀티 에이전트 파이프라인을 구성할 수 있다.

• Tilde.run – AI Agent를 위한 트랜잭션 기반 버전 관리 파일시스템 샌드박스

  AI 에이전트가 실제 프로덕션 데이터를 건드려도 롤백할 수 있는 격리된 샌드박스 환경을 제공하는 도구로, GitHub/S3/Google Drive를 하나의 버전 관리 파일시스템으로 묶어준다.

Related Resources

• https://www.geoffreylitt.com/2025/07/27/enough-ai-copilots-we-need-ai-huds
• https://distill.pub/2017/aia/
• https://www.youtube.com/watch?v=PUv66718DII
• https://youtu.be/IdpD5QIVOKQ?si=roTcCcHHMqCPzqSh&t=1108
• https://marshallbrain.com/manna1