외부 LLM API 없이 오픈소스 모델을 셀프 호스팅한 이유

문제: 편리한 외부 API를 사용할 수 없었습니다

RenameDP에 LLM 기능을 적용하려 했지만, 서비스가 다루는 데이터의 보안 요구 때문에 외부 상용 LLM API로 요청을 전송할 수 없었습니다.

처음에는 이 제약이 개발 속도를 늦추는 요소처럼 보였습니다. 하지만 모델 실행 환경과 데이터 흐름을 직접 통제해야 한다는 요구가 명확했기 때문에, 오픈소스 LLM을 AWS GPU EC2에 배포해 직접 운영하는 방향을 선택했습니다.

선택: 모델뿐 아니라 추론 경로까지 직접 관리했습니다

셀프 호스팅을 선택하면서 다음 영역을 직접 설계해야 했습니다.

• 모델과 GPU 인스턴스 구성
• 추론 서버의 실행 및 상태 확인
• 서비스 요청을 모델 서버로 전달하는 경로
• 구조화된 응답을 안정적으로 생성하는 방법
• 사용하지 않는 시간의 GPU 비용을 줄이는 운영 방식

단순히 오픈소스 모델을 실행하는 것보다, 실제 서비스가 안전하게 요청하고 예측 가능한 형태로 응답받을 수 있는 운영 구조를 만드는 일이 더 중요했습니다.

결과: 보안 제약을 시스템 설계 문제로 전환했습니다

외부 API를 사용하지 못한다는 조건을 우회하려 하기보다, 모델·서버·요청 경로를 내부에서 통제할 수 있는 구조를 만들었습니다.

덕분에 이후 vLLM 기반 서빙, XGrammar 제약 디코딩, GPU 인스턴스 자동 기동과 같은 개선도 하나의 운영 체계 안에서 이어갈 수 있었습니다.

배운 점

셀프 호스팅 LLM은 모델을 띄우는 작업만으로 끝나지 않았습니다. 보안, 출력 신뢰성, 비용, 장애 대응을 함께 고려해야 비로소 서비스 기능이 된다는 점을 배웠습니다.