2026-09-28

비용 제약 아래 키워드 필터와 Jev로 뉴스 적합도 개선

기존 AI 정렬의 품질·비용 문제를 과거 기사 재분석으로 풀고, 매체별 키워드 필터를 통과한 기사만 Jev 본문 채점으로 정렬했다. 9월 표본에서는 관련 기사 유실 0건을 확인했으며 운영 성과는 미확인이다.

경험 정보

사내 RSS 크롤러는 뉴스를 수집해 팀에 전달했지만, 제목 목록을 AI로 정렬하는 방식에는 적합하지 않은 기사가 상위에 올라오는 문제가 있었다.
모든 수집 기사에 모델 API를 적용하면 비용이 부담돼, 적합도 판별 개선을 이전부터 고민하고도 전체 기사 대상으로 바로 적용하지 못했다. 이 비용 제약과 평소 고민은 본인 진술이다.
본인이 다른 회사의 Jev 활용 사례를 보고, 긴 맥락이 필요하지 않은 '우리 제품과 관련 있는 뉴스인가' 판단에 적합하다고 보고 채택을 검토했다. 어떤 회사 사례였는지는 아직 확인되지 않았다.

Jev 단독 실험 스크립트로 실제 뉴스에 대한 응답과 과금 정보를 탐색했다.
과거 수집 기사 기록을 재분석해 제목 기반 1차 필터를 만들었다. 건설 전문 매체에는 명백한 무관 주제만 제외하는 규칙을, 일반 매체에는 건설 관련 신호가 있어야 통과하는 규칙을 적용했다.
필터를 중복 제거 뒤에 두어 원본 기사 기록을 남겼다. 후속 검증에서 빠진 기사 유형을 다시 찾을 수 있도록 한 선택이다.
필터 통과 기사는 Jev가 제목과 추출한 본문 일부를 한 건씩 판별하고 확률순으로 정렬하게 했다. 본문은 매체별 기사 영역에서만 추출하도록 수정했고, 판별 실패 시 기존 OpenAI 랭커로 돌아가도록 했다.
2026-09-28 커밋에서 게시 대상은 제품의 기존 기능과 연결되는 뉴스 유형 하나로 좁혔다.

전 기사에 Jev 적용: 이전 AI API보다 단가가 낮아도 전체 풀에 쓰기에는 비용 부담이 남아, 규칙 기반 1차 필터로 입력량을 줄였다.
더 강한 키워드 필터: 과거 제목 라벨에서는 더 많은 기사를 제외했지만 관련 기사 유실이 있어 채택하지 않았다.
제목만 묶어 AI가 먼저 선별: 한 달치 기사 실험에서 본문 판별의 관련 기사들을 모두 유지하려면 대부분을 다음 단계로 넘겨야 했다. 비용 절감 폭에 비해 유실 위험이 커 기본 흐름에서는 껐다.
본문을 더 짧게 자르기: 뒤쪽 문단에 판단 근거가 있는 사례가 떨어져, 본문 길이 제한은 1,500자로 뒀다.

2026-09-28 구현·설정 변경 커밋에 배포 완료 기록이 있다. 실제 운영 환경 상태는 별도 조회하지 않았다.
과거 제목 라벨 6,044건 가운데 도메인 기사 1,699건을 대상으로 채택한 필터를 다시 평가했을 때 유실 0건이었다. 503건의 별도 본문 판정 표본에서는 type1 후보 14건의 유실이 0건이었다. 같은 자료를 보고 규칙을 보강한 결과여서 미래 데이터의 재현율을 뜻하지 않는다.
필터의 기대 입력량은 당시 자료 기준 하루 약 200건에서 126건으로 약 38% 감소했다. 이는 과거 자료 재평가 수치이며 운영 비용 실측치는 아니다.
2026년 9월 판정 표본에서 Jev 본문 채점은 제품 관련 후보 14건과 홍보성 기사 59건 구분 AUC 1.00을 기록했다. 같은 표본의 기존 제목 랭커는 관련 후보 14건 중 4건을 선택했다. 작은 비교 표본의 실험 결과로 한정한다.
배포 후 팀이 실제로 검토·활용한 기사 수, 오탐·누락, 월 비용 절감은 아직 확인되지 않았다.

신기술 채택 속도는 출시 직후의 즉흥적 결정만으로 설명되지 않는다. 오래 고민한 문제와 비용·정확도 제약이 이미 분명했기에 적용 대상을 빠르게 정할 수 있었다. 이는 사용자 진술을 바탕으로 한 인터뷰 정리이며 본인 검토가 필요하다.
라벨과 규칙을 같은 기간 자료로 다듬었으므로, 이후 기간의 기사와 실제 사용자 반응으로 다시 검증해야 한다.

사용자 진술(2026-09-29): 기존부터 적합도 문제를 고민했고 API 비용 때문에 전체 기사 적용을 보류했음, 다른 회사 활용 사례를 보고 Jev를 선택함, 9월 15일 공개 후 약 2주 만에 반영함.
코드·커밋 확인(2026-09-29): automation-scripts 4a66dc4(2026-09-28), rss_crawler/README.md, src/handler.py, src/filters/keyword_filter.py, src/filters/jev_ranking.py, scripts/mine_keywords.py. 사내 저장소 원문과 자격 정보는 공개 본문에 포함하지 않았다.
재실행 확인(2026-09-29): python3 scripts/mine_keywords.py --skip-aws로 과거 라벨/본문 표본의 필터 유실 0건 확인. 비용·운영 성과는 재실행하지 않았다.
날짜 주의: Jev의 9월 15일 출시 사실과 정확한 제3자 활용 사례는 사용자 진술로만 남겼다.