2026.09 · DigitalPresso

서식 자동작성 정확도 평가

LLM 서식 자동작성 정확도를 재는 데이터셋 생성기·비교 하네스

MLOpsAIPythonpython-docxopenpyxlpdfminer.sixreportlabvLLMllama.cppQwen3-4BLoRAMLflowuv
평가 데이터
정답 없는 실제 서류→입력 서류와 정답 동시 생성
실험 방식
필드 단위 정확도 비교
기여
72커밋 단독

문제

  • 실제 서류에는 정답이 없어 모델 개선 여부 판단 불가

구성

  • 데이터셋 생성기(aipx): 사실값 → 입력 서류 N종 + 정답(gold), xlsx·docx·pdf 렌더링, 자동 검수
  • 비교 하네스(kux): 파이프라인 × 모델 필드별 정확도 비교, 생성기와 코드 의존 없음

실험 방식

  • 기본 파이프라인: 칸별 풀이 방법 결정(plan) → 채우기(act)
  • 조작 변인은 모델 하나로 고정
  • vLLM · llama.cpp 서빙 로컬 모델과 LoRA 어댑터 비교