2026.09 · DigitalPresso
서식 자동작성 정확도 평가
LLM 서식 자동작성 정확도를 재는 데이터셋 생성기·비교 하네스
MLOpsAIPythonpython-docxopenpyxlpdfminer.sixreportlabvLLMllama.cppQwen3-4BLoRAMLflowuv
- 평가 데이터
- 정답 없는 실제 서류→입력 서류와 정답 동시 생성
- 실험 방식
- 필드 단위 정확도 비교
- 기여
- 72커밋 단독
문제
- 실제 서류에는 정답이 없어 모델 개선 여부 판단 불가
구성
- 데이터셋 생성기(aipx): 사실값 → 입력 서류 N종 + 정답(gold), xlsx·docx·pdf 렌더링, 자동 검수
- 비교 하네스(kux): 파이프라인 × 모델 필드별 정확도 비교, 생성기와 코드 의존 없음
실험 방식
- 기본 파이프라인: 칸별 풀이 방법 결정(plan) → 채우기(act)
- 조작 변인은 모델 하나로 고정
- vLLM · llama.cpp 서빙 로컬 모델과 LoRA 어댑터 비교