AI Engineer Notebooks: 프레임워크 없이 RAG·에이전트·evals를 Colab에서 익히기

TL;DR Highlight

프레임워크 없이 무료 Groq API로 RAG·에이전트·evals를 직접 짜 보는 Colab 노트북 모음

Who Should Read

백엔드 개발자로서 AI Engineer나 FDE 역할로 넘어가려고 RAG·에이전트·evals를 처음부터 직접 짜 보고 싶은 사람

Core Mechanics

LangChain 없이 raw API로 짠다
- agent loop, RAG, evals를 raw API 호출로 먼저 직접 만든다.
- LangChain/LlamaIndex가 뭘 해 주는지 알고 나서 쓰자는 의도다.
evals가 전체의 척추다
- '튜닝 전에 측정하라'를 02번 섹션에서 일찍 심고 이후 모든 섹션에서 다시 쓴다.
- 04번에서는 golden set, LLM as judge, 프롬프트·모델 변경 시 회귀 평가(CI)를 다룬다.
RAG 실패는 보통 검색 탓이다
- 03번에서 RAG 오답을 진단하는데 병목은 보통 생성이 아니라 retrieval 품질이라고 한다.
- 임베딩, 하이브리드 검색, 리랭커, 청킹을 순서대로 다룬다.
에이전트 섹션은 도구·가드레일·MCP·Skills까지 간다
- 05번은 agent loop, tool design, 중단 조건과 비용·지연 예산을 다룬다.
- MCP, SKILL.md 패턴, harness engineering(컨텍스트 조립·압축, 툴 결과 정리, 검증 루프)도 포함한다.
전부 무료 Groq API에서 돌아간다
- 카드 등록 없이 키를 받아 Colab secrets에 GROQ_API_KEY로 넣으면 된다.
- OpenAI 호환이라 base URL만 바꾸면 OpenAI에도 적용되고 Anthropic은 약간 수정이 필요하다고 한다.

Community Reactions

evals를 처음부터 둔 점이 좋다는 반응
- RAG 파이프라인을 대충 만들고 터미널 응답 세 개를 눈으로 훑어 지표를 판단하는 경우가 많다는 의견이 있었다.
음성 AI처럼 하네스가 제품인 경우도 evals가 중요하다는 의견
- 하네스와 모델 추론이 제품의 일부라면 테스트 하네스 구축이 첫 단계이고 사소하지 않다는 얘기다.
프레임워크·하네스를 일부러 뺀 것에 대한 반론
- 응용 AI의 일은 AI를 하네스로 다루는 것인데 왜 하네스를 배제하느냐는 의견이 있었다.
Claude가 쓴 글 같다는 지적
- em-dash가 많아 Claude로 쓴 듯하다는 댓글이 있었다.
- 작성자가 내용을 읽어 보지 않고 올렸다는 취지의 비판 댓글도 있었다.

How to Apply

기존 RAG에 골든 질문 10개 만들기
- 오늘 30분 안에 지금 쓰는 RAG 서비스의 실제 질문 10개와 기대 정답 문서를 파일로 만든다.
- 검색 결과에 정답 문서가 들어오는지부터 센다.
RAG 오답은 검색부터 확인하기
- 오답이 나오면 생성 프롬프트를 고치기 전에 retrieval 결과를 먼저 로그로 확인한다.
- 검색이 틀렸으면 하이브리드 검색이나 리랭커를 시험한다.
프롬프트·모델 변경에 회귀 평가 붙이기
- 프롬프트나 모델을 바꾸는 PR마다 골든셋을 CI에서 돌려 점수 하락을 잡는다.
에이전트 도입 전 파이프라인으로 먼저 풀어 보기
- 단계가 고정된 작업은 파이프라인과 에이전트를 둘 다 만들어 정확도와 토큰 비용을 비교한다.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 그대로 붙여넣기 (원문 노트북 방법의 간이 버전: 골든셋 만들기)

나는 RAG 서비스를 운영 중이다. 아래 문서 샘플을 보고 평가용 골든셋을 만들어 줘.

문서:
{{문서}}

지시:
1. 사용자가 실제로 물을 법한 질문 10개를 만들어 줘.
2. 각 질문마다 정답을 담은 문서 위치와 기대 정답을 한 줄로 적어 줘.
3. 문서에 답이 없는 질문 2개도 포함하고 '답 없음'으로 표시해 줘.
4. JSON 배열로 출력해 줘.

이어서 해 볼 것: 이 질문을 내 RAG에 던져 정답 문서가 검색 결과 상위에 들어오는지 세어 보자.

Terminology

FDEForward Deployed Engineer. 고객 현장에 붙어 요구를 정리하고 AI 시스템을 직접 만들어 배포하는 엔지니어다.

golden set정답을 미리 정해 둔 평가용 질문 모음이다. 시스템을 바꿀 때마다 돌리는 단위 테스트 같은 것이다.

LLM as judge다른 LLM이 답변을 채점하는 방식이다. 채점자 자체도 틀릴 수 있어서 사람 판단과 맞는지 확인해야 한다.

harness engineering모델 호출 둘레의 구조를 설계하는 일이다. 컨텍스트 조립·압축, 툴 결과 정리, 검증 루프가 여기에 들어간다.

progressive disclosure에이전트가 필요한 지식만 그때그때 불러오게 하는 방식이다. SKILL.md 패턴이 예이고 컨텍스트 예산을 아낀다.