AI Copilot은 그만, 이제 AI HUD가 필요하다
Enough AI copilots, we need AI HUDs
TL;DR Highlight
AI를 '가상 동료'처럼 대화하는 Copilot 방식 대신, 사용자의 인지 능력을 확장하는 HUD(헤드업 디스플레이) 방식으로 설계해야 한다는 주장. AI 인터페이스 설계의 근본적 방향성을 재고하게 만드는 글.
Who Should Read
AI 기능을 제품에 녹이는 방법을 고민하는 프로덕트 디자이너, 프론트엔드/풀스택 개발자. 특히 챗봇이나 에이전트 UI 외에 다른 AI UX 패턴을 찾고 있는 사람.
Core Mechanics
- 1992년 유비쿼터스 컴퓨팅 연구자 Mark Weiser가 이미 'Copilot' 메타포를 비판했다. 그의 핵심 주장은 AI가 '가상 인간처럼 대화하는 존재'가 아니라, 사용자가 자연스럽게 더 많은 것을 인지하게 해주는 '보이지 않는 컴퓨터'여야 한다는 것.
- 비행기 HUD(Head-Up Display)가 좋은 비유다. 조종사에게 말을 거는 게 아니라, 시야에 고도·수평선 정보를 겹쳐 보여줘서 마치 '마법의 눈'을 가진 것처럼 만들어준다. AI 인터페이스도 이렇게 설계할 수 있다.
- 맞춤법 검사(spellcheck)가 대표적인 HUD 패턴이다. '당신의 맞춤법이 틀렸습니다'라고 대화하는 게 아니라, 빨간 밑줄로 즉시 보여준다. 내부적으로는 퍼지 알고리즘이지만, 사용자 입장에선 새로운 '감각'이 생긴 것.
- 코딩에서의 HUD 예시로, 버그를 고칠 때 에이전트 채팅에 맡기는 대신 AI로 커스텀 디버거 UI를 만들어 프로그램 동작을 시각화하는 방법을 제안한다. 저자는 실제로 Prolog 인터프리터의 해커 테마 디버그 뷰를 만들었다.
- Copilot과 HUD의 적절한 사용 시점도 제시한다. 단순 반복 작업(비행기의 직진 수평 비행)은 자동화 에이전트에 위임하고, 비상 상황처럼 복잡한 판단이 필요한 경우엔 인간 전문가에게 '초능력 도구'를 쥐어주는 게 낫다.
- Jeffrey Heer의 'Agency plus Automation' 논문과 Michael Nielsen·Shan Carter의 'Using AI to Augment Human Intelligence'를 참고 문헌으로 제시하며, AI가 인간 지능을 대체하는 게 아니라 확장하는 방향을 강조한다.
Evidence
- Cursor의 탭 자동완성이 이미 HUD의 좋은 예라는 의견이 많았다. 변수명 리팩토링 시 첫 수정 후 나머지를 자동 제안해주는 경험이 HUD의 정의에 딱 맞고, 이 때문에 Claude Code 같은 순수 Copilot 방식이 무조건 우월하다는 주장은 틀렸다는 반론.
- AI가 코드를 작성하는 동안 실시간으로 테스트를 생성·실행해서 빨강/초록 점으로 보여주는 'AI 기반 실시간 TDD HUD' 아이디어가 제안됐다. 키 입력마다 10~100개 테스트를 돌리면 코드가 외부에서 어떻게 보이는지 즉시 알 수 있다는 것.
- HUD의 가장 큰 약점으로 '환각(hallucination)' 문제가 지적됐다. 모델 정확도가 80% 수준이면 HUD보다 Copilot이 낫다. 사람이 리뷰하고 수정할 수 있으니까. 정확도가 충분히 높아져야 HUD가 실용적이라는 반론.
- 소스 파일에서 모델이 '놀라운(surprising)' 토큰을 히트맵으로 보여주면 어떨까라는 아이디어가 나왔다. 빨간 토큰은 오류, 잘못된 이름, 틀린 주석일 가능성이 높으니 일종의 코드 품질 HUD가 되는 셈.
- Copilot을 끄고 rust_analyzer의 go-to-definition, hover만 써도 충분하다는 실사용 경험이 공유됐다. Copilot이 키 입력에 지연을 추가해서 오히려 방해가 되고, 정적 분석 도구가 더 나은 HUD 역할을 한다는 것.
How to Apply
- AI 기능을 제품에 추가할 때 '챗봇/에이전트' 먼저 떠올리지 말고, 기존 UI 위에 정보를 오버레이하는 HUD 패턴을 먼저 검토해보라. 예: 대시보드에 이상 징후를 빨간 하이라이트로 표시, 코드 에디터에 품질 히트맵 표시.
- 디버깅 시 AI 에이전트에게 '버그 고쳐줘' 대신, AI에게 '이 코드 경로의 메모리 할당/해제를 시각화하는 디버거 UI를 만들어줘'라고 요청해보라. 문제를 직접 '보는' 것이 위임하는 것보다 더 깊은 이해를 준다.
- IDE에서 Copilot 자동완성의 latency가 거슬린다면, 언어별 정적 분석 도구(rust_analyzer, TypeScript LSP 등)만으로도 충분한 '센스 확장'을 얻을 수 있다. Copilot을 일시 정지하고 LSP 기반 워크플로를 시도해보라.
- AI 기반 실시간 테스트 생성 워크플로를 실험해볼 수 있다. 코드 저장 시 AI가 테스트를 자동 생성하고 즉시 실행해서 패스/페일을 사이드 패널에 보여주는 구조를 만들면, 코드 품질을 '보면서' 작성할 수 있다.
Terminology
HUD전투기 조종사가 고개를 숙이지 않고도 속도·고도를 볼 수 있게 유리에 정보를 띄워주는 장치. 여기선 AI가 별도 대화 없이 기존 화면 위에 정보를 겹쳐 보여주는 UI 패턴을 뜻한다.
CopilotAI가 가상의 동료처럼 채팅으로 대화하며 작업을 도와주는 방식. GitHub Copilot, ChatGPT 같은 대화형 인터페이스가 대표적.
Ubiquitous ComputingMark Weiser가 제안한 개념으로, 컴퓨터가 환경 속에 녹아들어 사용자가 의식하지 못하게 되는 것. 스마트홈 센서처럼 '보이지 않는 컴퓨터'를 지향한다.
Agency plus AutomationJeffrey Heer의 논문으로, AI 시스템 설계 시 '완전 자동화'와 '인간 주도' 사이의 스펙트럼을 분석한 프레임워크.
Token Heatmap댓글에서 제안된 개념. 소스코드의 각 토큰(단어)이 AI 모델에게 얼마나 '예상 밖'인지를 색상으로 표시하는 것. 빨간색일수록 오류 가능성이 높다.