LLM 기반 접근성 인터페이스: Model-Based 접근법
LLM-Driven Accessible Interface: A Model-Based Approach
TL;DR Highlight
UserProfile + 선언적 규칙 + LLM을 조합해 WCAG 준수 접근성 UI를 자동 생성하는 아키텍처 제안.
Who Should Read
의료·공공 서비스에서 장애 사용자를 위한 접근성 UI를 개발하는 프론트엔드/풀스택 개발자. LLM으로 콘텐츠 개인화 파이프라인을 설계하는 기술 아키텍트.
Core Mechanics
- UserProfile(접근성 속성) + 선언적 AdaptationRule + LLM을 레이어로 분리해서 WCAG 2.2·EN 301 549 준수 UI를 자동 생성하는 5계층 아키텍처 설계
- 인지장애·청각장애 프로파일을 읽어 Plain-Language 텍스트, 픽토그램, 고대비 레이아웃을 LLM이 자동 선택·적용
- 7가지 Derived Accessibility Requirements(DAR)로 '사용자 필요 → 적응 규칙 → normative 기준'을 1:1 추적 가능하게 연결
- LLM 출력 후 가독성·의미 충실도·사실 일관성을 자동 체크하는 Quality Gate 적용, 실패 시 재생성 또는 전문가 검토(HoTL) 트리거
- SysML v2(시스템 모델링 언어)로 전체 변환 과정을 감사 가능한 로그로 기록해 규제 준수 증거 생성
- React 기반 렌더러와 연동되는 단계별 의료 지시사항 UI 목업을 의료 사후 상담 시나리오로 구현·검증
Evidence
- 정량적 사용자 실험 없음 — 프로토타입 수준의 개념 검증 논문이며 사용자 평가는 향후 과제로 명시
- WCAG 2.2·EN 301 549·ISO 24495-1·W3C COGA 4개 국제 표준을 동시 충족하는 구조를 SysML v2 Requirement Diagram으로 공식화
- 7개 DAR 각각에 대해 조건 → 변환 함수(예: simplifyText(), attachPictograms()) → normative 기준 매핑 테이블을 완전히 제시
- 의료 사후 상담 시나리오에서 인지장애+청각장애 복합 프로파일에 맞는 UI를 파이프라인이 자동 생성하는 end-to-end 흐름 구현
How to Apply
- LLM 프롬프트에 UserProfile 속성(cognitiveSupport: true, auditoryExclusion: true 등)을 주입하고 활성화된 AdaptationRule에 따라 프롬프트를 동적 구성하면, 기존 콘텐츠 관리 시스템에 접근성 변환 레이어를 붙일 수 있음
- LLM 출력 직후 Flesch Reading Ease 같은 가독성 지표 + 원문과의 의미 유사도(코사인 유사도 등)를 체크하는 Quality Gate를 추가해서, 미달 시 재생성하는 fallback 루프 구현
- 의료·법률·공공 서비스 텍스트를 Plain-Language로 변환할 때 '픽토그램 설명 추가'와 '단계별 번호 구조'를 함께 요청하는 프롬프트 템플릿을 분리 관리하면 재사용성과 감사 가능성 동시 확보
Code Example
# 논문 4.4절 기반 — GenAIEngine 프롬프트 템플릿 예시
prompt_template = """
[Instruction]: Simplify this medical note using Plain-Language guidelines (ISO 24495-1).
Add pictogram descriptions for key medical actions.
Structure the output as numbered steps.
[UserProfile]:
cognitiveSupport: {cognitive_support}
auditoryExclusion: {auditory_exclusion}
contrastMode: high
[AdaptationRules]:
- simplifyText() # DAR-01: Plain Language
- structureAsSteps() # DAR-02: Step-wise
- attachPictograms() # DAR-03: Pictograms
- disableAudio() # DAR-04: Visual-only
- applyHighContrast() # DAR-05: Contrast
[InputText]: {medical_note}
[OutputFormat]:
plain_text: "..."
pictogram_descriptions: ["...", "..."]
steps: ["Step 1: ...", "Step 2: ..."]
"""
# 사용 예시
formatted_prompt = prompt_template.format(
cognitive_support=True,
auditory_exclusion=True,
medical_note="Take Ibuprofen 400mg every 8 hours unless you experience gastric discomfort."
)
# Quality Gate — 출력 검증
def quality_gate(output: dict, original: str) -> bool:
from textstat import flesch_reading_ease
from sentence_transformers import SentenceTransformer, util
# 가독성 체크 (Plain Language 기준: 60+ 권장)
readability = flesch_reading_ease(output["plain_text"])
if readability < 60:
return False # 재생성 트리거
# 의미 충실도 체크 (코사인 유사도 0.8 이상)
model = SentenceTransformer("all-MiniLM-L6-v2")
similarity = util.cos_sim(
model.encode(original),
model.encode(output["plain_text"])
).item()
return similarity >= 0.8Terminology
Related Resources
Original Abstract (Expand)
The integration of Large Language Models (LLMs) into interactive systems opens new opportunities for adaptive user experiences, yet it also raises challenges regarding accessibility, explainability, and normative compliance. This paper presents an implemented model-driven architecture for generating personalised, multimodal, and accessibility-aligned user interfaces. The approach combines structured user profiles, declarative adaptation rules, and validated prompt templates to refine baseline accessible UI templates that conform to WCAG 2.2 and EN 301 549, tailored to cognitive and sensory support needs. LLMs dynamically transform language complexity, modality, and visual structure, producing outputs such as Plain-Language text, pictograms, and high-contrast layouts aligned with ISO 24495-1 and W3C COGA guidance. A healthcare use case demonstrates how the system generates accessible post-consultation medication instructions tailored to a user profile comprising cognitive disability and hearing impairment. SysML v2 models provide explicit traceability between user needs, adaptation rules, and normative requirements, ensuring explainable and auditable transformations. Grounded in Human-Centered AI (HCAI), the framework incorporates co-design processes and structured feedback mechanisms to guide iterative refinement and support trustworthy generative behaviour.