Dayjob: Tax – 전문 세무 업무 50건으로 AI 에이전트 평가

Dayjob: Tax – evaluating AI agents on 50 professional tax assignments

Oct 28, 2026•landonxi•View Original

TL;DR Highlight

세무 실무 50건을 맡겼더니 최고 모델도 통과율 10.8%에 그쳤다

Who Should Read

문서가 뒤섞인 전문 업무를 에이전트에 맡기려는데 어디까지 믿어도 될지 고민인 백엔드 개발자

Core Mechanics

50개 환경, 파일 1,789개
- 고객 요청과 자료를 주고 세금 신고서·워크페이퍼·검토서·조언까지 결과물을 만들게 한다.
- 파일 중앙값은 과제당 30개, 최대 123개다.
최고 통과율이 10.8%
- Claude Sonnet 5.5가 10.8%로 1위, Claude Fable 5.1이 9.6%, Claude Opus 5.5가 9.2%였다.
- pass@1(한 번 시도해 통과하는 비율)이고, 기준 항목의 95% 이상을 맞혀야 통과다.
질문에 답하는 게 아니라 문제를 찾는 시험
- 기존 세무 벤치마크는 정해진 문제를 풀게 하는 방식이다.
- DAYJOB은 고객이 묻지 않은 중요한 쟁점을 에이전트가 직접 찾아내는지 본다.
콘도 매각 사례에서 기한을 놓쳤다
- 2024년 8월에 이사 나간 Anna는 2027년 8월 말쯤 비과세 요건(5년 중 2년 거주)을 잃는다.
- 5번 시도 중 Astra는 이 기한을 한 번도 못 짚었고, Opus는 5번 모두 짚었다.
확인 안 된 전제로 결론을 냈다
- 별거 부부의 은퇴계좌 분할에서 Opus 5.5는 5번 모두 법적 부부가 아니라는 전제로 추천했다.
- 기록에는 텍사스 동거와 콜로라도 예식이 있었다. Astra는 5번 중 4번 혼인 여부부터 확인하라고 했다.
비용 대비 성능도 비교했다
- Sonnet 5.5와 Opus 5.5가 측정된 파레토 프런티어(비용 대비 성능 최적선)의 고성능 쪽 끝에 있다.

Community Reactions

다른 연구 하네스 없이 돌린 것 같다는 반론
- 범용 에이전트에 문서만 던져 본 것이라 세무 전용 하네스를 쓰면 한계가 달라질 것이라는 의견이 있었다.
- 요건을 먼저 정리하고 점검하는 스캐폴딩(보조 구조)이면 Anna 사례의 누락은 쉽게 막힌다는 의견도 있었다.
Claude에 신고서 초안을 넣어 검토시켰다는 경험
- 환율을 잘못 쓴 오류를 찾았지만, 예상 납부세액 계산은 크게 틀렸고 지적해도 못 고쳤다는 경험이다.
- 서류를 던져 넣고 검토 없이 쓰기엔 부족하다는 결론이었다.
Codex로 세무사 결과물을 검수해 봤다는 경험
- 세무사가 채운 신고서를 Codex로 검토했더니 오류투성이였고, 환급액이 약 $2k 낮았다는 경험이다.
- 사람이 한 작업의 검증용으로 쓸 수 있다는 시사점이 나왔다.
Gemini로 RMD 계산을 해 봤다는 경험
- 조언은 대체로 맞았지만 원천징수는 틀렸고 공제도 놓쳤다는 경험이다.
- 계획·조언보다 준비 작업에 더 유용했다고 한다.

How to Apply

내 문서 검토에 '숨은 쟁점 먼저' 프롬프트 쓰기
- 오늘 계약서·정책 문서 하나로 아래 프롬프트를 돌려 보자.
- 질문에 답하기 전 고객이 묻지 않은 쟁점과 확인 안 된 전제를 먼저 뽑게 하자.
에이전트 출력에 전제 확인 단계 넣기
- 최종 답변 전에 '가정 목록과 검증 여부'를 필수 필드로 출력시키자.
- 검증 안 된 가정이 있으면 결론 대신 확인 질문을 하도록 규칙을 박자.
평가셋에 고객이 묻지 않은 쟁점 케이스 추가하기
- 기록 속에 답이 있는데 질문엔 없는 사례를 10개쯤 만들어 통과율을 재자.
- 같은 케이스를 5번씩 돌려 일관성도 함께 보자.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (원문 방법의 간이 버전: 요청 밖 쟁점과 미확인 전제 찾기)

당신은 전문 실무자입니다. 아래 자료를 읽고 고객 요청에 답하되, 답하기 전에 다음 순서를 지키세요.

[고객 요청]
{{요청}}

[자료]
{{문서}}

지시:
1. 고객이 묻지 않았지만 결과에 영향을 줄 쟁점과 기한을 자료에서 찾아 나열하세요.
2. 결론이 의존하는 전제를 나열하고, 자료로 확인된 것과 아닌 것을 구분하세요.
3. 확인 안 된 전제가 결론을 바꿀 수 있으면 추천 전에 먼저 확인 질문을 하세요.
4. 자료끼리 충돌하는 부분과 빠진 증빙은 따로 표시하세요.

이어서 해 볼 것: 같은 입력을 5번 돌려 쟁점 누락이 있는지 비교해 보세요.

Terminology

pass@1한 번만 시도해서 통과하는 비율이다. 재시도 기회 없이 첫 시도에 시험을 붙는 것과 같다.

파레토 프런티어비용과 성능을 함께 놓고 다른 모델보다 둘 다 나쁘지 않은 모델들을 이은 선이다. 가성비 최상위 후보 목록이다.

루브릭 임계값채점 기준 항목 중 몇 퍼센트를 충족해야 통과인지 정한 선이다. 여기선 95%다.

하네스모델 주변에 붙이는 도구·프롬프트·점검 단계 묶음이다. 모델을 일하게 하는 작업대에 해당한다.

Related Resources

Dayjob: Tax – 전문 세무 업무 50건으로 AI 에이전트 평가

Dayjob: Tax – evaluating AI agents on 50 professional tax assignments

Oct 28, 2026•landonxi•View Original

TL;DR Highlight

세무 실무 50건을 맡겼더니 최고 모델도 통과율 10.8%에 그쳤다

Who Should Read

문서가 뒤섞인 전문 업무를 에이전트에 맡기려는데 어디까지 믿어도 될지 고민인 백엔드 개발자

Core Mechanics

50개 환경, 파일 1,789개
- 고객 요청과 자료를 주고 세금 신고서·워크페이퍼·검토서·조언까지 결과물을 만들게 한다.
- 파일 중앙값은 과제당 30개, 최대 123개다.
최고 통과율이 10.8%
- Claude Sonnet 5.5가 10.8%로 1위, Claude Fable 5.1이 9.6%, Claude Opus 5.5가 9.2%였다.
- pass@1(한 번 시도해 통과하는 비율)이고, 기준 항목의 95% 이상을 맞혀야 통과다.
질문에 답하는 게 아니라 문제를 찾는 시험
- 기존 세무 벤치마크는 정해진 문제를 풀게 하는 방식이다.
- DAYJOB은 고객이 묻지 않은 중요한 쟁점을 에이전트가 직접 찾아내는지 본다.
콘도 매각 사례에서 기한을 놓쳤다
- 2024년 8월에 이사 나간 Anna는 2027년 8월 말쯤 비과세 요건(5년 중 2년 거주)을 잃는다.
- 5번 시도 중 Astra는 이 기한을 한 번도 못 짚었고, Opus는 5번 모두 짚었다.
확인 안 된 전제로 결론을 냈다
- 별거 부부의 은퇴계좌 분할에서 Opus 5.5는 5번 모두 법적 부부가 아니라는 전제로 추천했다.
- 기록에는 텍사스 동거와 콜로라도 예식이 있었다. Astra는 5번 중 4번 혼인 여부부터 확인하라고 했다.
비용 대비 성능도 비교했다
- Sonnet 5.5와 Opus 5.5가 측정된 파레토 프런티어(비용 대비 성능 최적선)의 고성능 쪽 끝에 있다.

Community Reactions

다른 연구 하네스 없이 돌린 것 같다는 반론
- 범용 에이전트에 문서만 던져 본 것이라 세무 전용 하네스를 쓰면 한계가 달라질 것이라는 의견이 있었다.
- 요건을 먼저 정리하고 점검하는 스캐폴딩(보조 구조)이면 Anna 사례의 누락은 쉽게 막힌다는 의견도 있었다.
Claude에 신고서 초안을 넣어 검토시켰다는 경험
- 환율을 잘못 쓴 오류를 찾았지만, 예상 납부세액 계산은 크게 틀렸고 지적해도 못 고쳤다는 경험이다.
- 서류를 던져 넣고 검토 없이 쓰기엔 부족하다는 결론이었다.
Codex로 세무사 결과물을 검수해 봤다는 경험
- 세무사가 채운 신고서를 Codex로 검토했더니 오류투성이였고, 환급액이 약 $2k 낮았다는 경험이다.
- 사람이 한 작업의 검증용으로 쓸 수 있다는 시사점이 나왔다.
Gemini로 RMD 계산을 해 봤다는 경험
- 조언은 대체로 맞았지만 원천징수는 틀렸고 공제도 놓쳤다는 경험이다.
- 계획·조언보다 준비 작업에 더 유용했다고 한다.

How to Apply

내 문서 검토에 '숨은 쟁점 먼저' 프롬프트 쓰기
- 오늘 계약서·정책 문서 하나로 아래 프롬프트를 돌려 보자.
- 질문에 답하기 전 고객이 묻지 않은 쟁점과 확인 안 된 전제를 먼저 뽑게 하자.
에이전트 출력에 전제 확인 단계 넣기
- 최종 답변 전에 '가정 목록과 검증 여부'를 필수 필드로 출력시키자.
- 검증 안 된 가정이 있으면 결론 대신 확인 질문을 하도록 규칙을 박자.
평가셋에 고객이 묻지 않은 쟁점 케이스 추가하기
- 기록 속에 답이 있는데 질문엔 없는 사례를 10개쯤 만들어 통과율을 재자.
- 같은 케이스를 5번씩 돌려 일관성도 함께 보자.

Try It

복사해서 바로 해보기

# Claude나 ChatGPT에 붙여넣기 (원문 방법의 간이 버전: 요청 밖 쟁점과 미확인 전제 찾기)

당신은 전문 실무자입니다. 아래 자료를 읽고 고객 요청에 답하되, 답하기 전에 다음 순서를 지키세요.

[고객 요청]
{{요청}}

[자료]
{{문서}}

지시:
1. 고객이 묻지 않았지만 결과에 영향을 줄 쟁점과 기한을 자료에서 찾아 나열하세요.
2. 결론이 의존하는 전제를 나열하고, 자료로 확인된 것과 아닌 것을 구분하세요.
3. 확인 안 된 전제가 결론을 바꿀 수 있으면 추천 전에 먼저 확인 질문을 하세요.
4. 자료끼리 충돌하는 부분과 빠진 증빙은 따로 표시하세요.

이어서 해 볼 것: 같은 입력을 5번 돌려 쟁점 누락이 있는지 비교해 보세요.

Terminology

pass@1한 번만 시도해서 통과하는 비율이다. 재시도 기회 없이 첫 시도에 시험을 붙는 것과 같다.

파레토 프런티어비용과 성능을 함께 놓고 다른 모델보다 둘 다 나쁘지 않은 모델들을 이은 선이다. 가성비 최상위 후보 목록이다.

루브릭 임계값채점 기준 항목 중 몇 퍼센트를 충족해야 통과인지 정한 선이다. 여기선 95%다.

하네스모델 주변에 붙이는 도구·프롬프트·점검 단계 묶음이다. 모델을 일하게 하는 작업대에 해당한다.

Dayjob: Tax – 전문 세무 업무 50건으로 AI 에이전트 평가

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources

Dayjob: Tax – 전문 세무 업무 50건으로 AI 에이전트 평가

TL;DR Highlight

Who Should Read

Core Mechanics

Community Reactions

How to Apply

Try It

Terminology

관련 논문

Related Resources