Claude는 대규모 단백질 서열로 학습됐다: next-amino-acid 테스트 결과
Claude was trained on protein sequences at scale
TL;DR Highlight
연구가 안 된 단백질의 다음 아미노산을 맞히자 최신 Claude만 통했다
Who Should Read
LLM이 학습 데이터에 무엇을 봤는지 블랙박스로 검증하는 방법이 궁금한 LLM API 실무 개발자
Core Mechanics
- 최신 Claude만 단백질을 이어 썼다
- Fable 5.2와 Opus 5.5는 연구가 거의 없는 세균 단백질의 앞부분을 주면 다음 아미노산을 예측한다.
- 22개 언어 모델 중 GPT, Gemini, 오픈웨이트 7종은 0 근처에 머문다.
- 섞은 서열을 대조군으로 썼다
- 같은 단백질의 글자 순서를 섞으면 글자 구성은 같고 순서 정보만 사라진다.
- 진짜와 섞은 것의 정확도 차이가 서열 자체에 대한 지식이다.
- 차이 수치는 모델마다 크게 갈린다
- 668개 단백질 기준 진짜-섞은 정확도 차이는 Fable 5.2 +45.1%p, Opus 5.5 +27.4%p다.
- Fable 5.2는 진짜 단백질에서 54%, 섞은 것에서 9%를 맞힌다.
- 단백질 언어모델과 비교해도 밀리지 않는다
- Fable 5.2는 실행한 오픈 단백질 언어모델 전부를 앞섰고 ProGen3-3B는 +32.5였다.
- Opus 5.5는 ProtGPT3-10B와 비슷한 수준이다.
- 논문 때문이 아니라 서열 학습으로 본다
- 논문이 하나도 없는 128개 패밀리에서도 전체와 비슷한 성능이 나왔다.
- 패밀리가 클수록 정확도가 오르는 경향은 단백질 언어모델과 같다.
- 학습 컷오프 이후 단백질에도 통한다
- 2026년 8월에 처음 공개된 56개 단백질에서도 최신 Claude는 예측에 성공한다.
- DNA는 인간·마우스 코딩 서열만 예측하고 나머지 게놈은 못 한다.
Community Reactions
- Claude의 생물 관련 차단이 너무 심하다는 경험
- 본인의 DNA를 다루려 해도 Opus 5.5에서 50% 정도 차단된다는 댓글이 있다.
- 직접 돌려 보니 기능 잔기를 잘 알아봤다는 경험
- Opus에 임의의 단백질 서열을 줬더니 기능 잔기를 인식하는 능력이 놀라웠다는 댓글이 있다.
- 실용성이 의문이라는 반론
- 조각에서 전체 서열을 예측할 일이 드물고 tblastn으로 DB를 검색하면 된다는 의견이다.
- 섞은 서열 대조군이 이미 DB에 있는 서열 기반이라 공정하지 않다는 지적도 있다.
- 학습 데이터 확장 가능성에 대한 의견
- GitHub 코드를 넣었더니 비프로그래밍 분야도 좋아졌다는 사례를 들어 단백질 서열도 전반 품질을 올릴 수 있는지 궁금해하는 댓글이 있다.
- 통계적 표현 학습과 생물학 이해는 다르며 완전히 새로운 패밀리 일반화는 아직이라는 의견이다.
How to Apply
- 우리 모델에 섞기 대조군 붙여 보기
- 오늘 도메인 데이터(로그, 코드, 서열) 일부를 골라 순서를 섞은 사본과 원본을 만든다.
- 같은 프롬프트로 다음 토큰 예측 정확도를 비교해 순서 지식이 있는지 확인한다.
- 암기 여부를 가려내는 테스트셋 만들기
- 논문과 웹에 거의 없는 자료만 골라 평가셋을 만든다.
- 유명 사례와 마이너 사례의 성능을 나란히 측정해 암기와 학습을 구분한다.
- 생물 데이터 업무는 차단율부터 측정하기
- 서열 처리 서비스를 만든다면 샘플 질문 100개를 보내 차단과 거절 비율을 기록한다.
- Fable 5는 44%가 차단됐으므로 모델 선택 전에 직접 확인한다.
Try It
# Claude 채팅에 붙여넣기 (논문 방법의 간이 버전: 섞기 대조군 테스트)
아래 두 서열의 다음 아미노산 10개를 각각 예측해줘. 설명 없이 서열만 답해줘.
서열 A: {{원본 서열 앞부분}}
서열 B: {{같은 서열을 섞은 것}}
이어서 해 볼 것: 정답과 비교해 A와 B의 첫 글자 적중 여부를 표로 정리하고, 여러 단백질로 반복해 정확도 차이를 계산해줘.Terminology
관련 논문
짧게 기억됐다: 저장된 선호가 의사결정에 필수적인 정보를 조용히 지운다
메모리에 '짧게' 선호가 저장되면 경고가 조용히 빠지고, 2단계 답변이 내용을 되살렸다
AI가 생성한 코드는 전부 오픈소스여야 한다는 주장
AI가 쓴 코드는 오픈소스로 공개해야 한다는 주장에 HN 댓글은 대체로 반대했다
수천 개 대화가 LLM 내부에서 어떻게 보이는가: Qwen3-1.7B 상태 지도
Qwen3-1.7B 내부 상태를 시각화했더니 중국어만 영어와 확연히 떨어졌다
AI로 코드는 빨라졌는데 왜 배포는 안 빨라질까: 활동과 성과의 간극
AI가 코드 작성은 빠르게 했지만 배포 속도는 그만큼 오르지 않았다는 발표
LLM 16종이 TIS-100 퍼즐을 풀었다: 커뮤니티 기록을 깬 모델들
LLM 16종에 TIS-100을 풀게 했더니 18개 퍼즐에서 새 최적점 133개가 나왔다
AI가 만든 코드베이스는 왜 쉽게 깨지는가
AI로 코드를 100% 생성했더니 얕은 테스트·복잡한 코드·이해 부족이 쌓인다는 경험담
통과했지만 틀렸다: API 마이그레이션 후 LLM 코드 수리의 조용한 실패
릴리스 노트 기반 엣지 입력 하나로 틀린 수리 통과율이 0.410에서 0.065로 줄었다
노트북의 Qwen 3.8 27B도 모델 가중치를 해석한다
로컬 Qwen 3.8 27B에 가중치 숫자만 줬더니 게임 3종을 맞혔다