사내 뉴스 크롤링 자동화

프로젝트 개요

사내에서 건설·산업 관련 뉴스를 매일 수집해 팀이 검토할 수 있도록 전달하는 RSS 기반 자동화 시스템이다. RSS 수집 → 게시 시각 확인 및 중복 제거 → 주제 필터 → 관련도 정렬 → Slack 게시로 이어지며, 관심 기사만 별도 지식 저장소에 남긴다. 2026년 9월에는 제목 목록을 정렬하던 방식에서 기사 본문을 활용한 단건 적합도 판별로 개선했다.

역할과 확인 범위

송지웅이 2026년 9월의 사전 필터, Jev 적합도 판별, 본문 추출, 장애 시 기존 랭커로 돌아가는 흐름을 구현한 커밋이 확인된다. 관련 판단 이유는 본인 인터뷰 진술이다. 배포 후 장기 운영 성과와 실비용은 아직 확인하지 못했다.

주요 경험

비용 제약 아래 뉴스 적합도 판별 개선

상세 경험. 이전부터 기사 적합도 판별을 더 정확하게 하고 싶었지만 전체 기사에 AI API를 적용하는 비용이 부담이었다. 9월 중순 Jev 활용 사례를 접한 뒤, 짧은 맥락으로도 판단할 수 있는 이 작업에 맞는지 실험하고 9월 28일 시스템에 반영했다. 과거 기사 기록으로 매체 성격에 따른 키워드 필터를 만들고, 통과한 기사만 제목과 본문으로 Jev가 채점하도록 구성했다. 약 6천 건의 과거 제목 라벨에서 채택한 필터의 도메인 기사 유실은 0건이었고, 별도 본문 판정 표본에서도 당시 type1 후보 유실은 0건이었다. 이는 과거 표본의 재검증 결과이며 배포 후 실사용 개선 수치는 아직 확인되지 않았다.