이 사이트의 지원사업 페이지 뒤에는 매일 자정 K-Startup 공공데이터에서 공고를 받아 오는 자동 수집 파이프라인이 돌고 있습니다. 2026년 7월 5일 기준 누적 377건, 모집 중 291건. 공고를 '훑는' 것과 '쌓는' 것은 다른 일이었습니다 — 쌓아 놓고 보니 공고 몇 건을 읽어서는 안 보이던 것들이 드러났습니다. 그 기록입니다.
- 1매일 자정 수집K-Startup 공공데이터 API
- 2원장에 쌓기삭제 없음 · 처음 본 날짜 기록
- 3정규화 · 집계표기 흔들림 정리 후 계산
- 4화면과 리포트지원사업 페이지 · 월간 집계
마감된 공고도 지우지 않고 이력으로 보존합니다 — "이번 달 신규가 몇 건인가" 같은 시계열 질문에 답하기 위한 규칙입니다.
구조: 모으고, 지우지 않는다
파이프라인의 규칙은 두 줄입니다. 매일 자정 API에서 모집 중인 공고 전체를 받아 저장하고, 마감된 공고도 지우지 않습니다. 처음에는 마감 공고를 30일 뒤 삭제했는데, 그 방식으로는 "이번 달 공고가 지난달보다 늘었나"라는 가장 기본적인 질문에 답할 수 없다는 걸 뒤늦게 알았습니다. 시계열 질문에 답하려면 각 공고를 처음 본 날짜를 기록하고 이력을 보존해야 합니다. 삭제는 되돌릴 수 없어서, 이 전환은 빠를수록 손실이 적습니다.
쌓아 보니 알게 된 것 셋
- 접수 기간이 생각보다 짧다 — 모집 중 291건의 접수 기간 중앙값은 29일. 절반 이상이 한 달을 안 주고, 53건(약 18%)은 2주 이하입니다. "월초에 한 번 확인"하는 성실한 습관으로도 다섯 건 중 한 건은 구조적으로 놓칩니다. 사람의 주기적 확인이 아니라 기계의 매일 확인이 필요한 이유입니다
- 같은 분류도 표기가 흔들린다 — 같은 '기술개발(R&D)' 유형이 HTML 엔티티가 섞인 값과 아닌 값, 두 가지 표기로 들어옵니다. 정규화 없이 그대로 세면 하나의 유형이 둘로 갈라져 집계가 틀어집니다. 공공데이터는 귀한 원천이지만, 받은 그대로 통계를 내면 안 된다는 것을 표기 하나가 가르쳐 줬습니다
- 자동화에는 감시가 따라붙어야 한다 — 7월 초 새벽 동기화가 한 번 소리 없이 누락됐고, 수동 복구로 11건을 메꿨습니다. 매일 도는 시스템의 진짜 완성은 '돌게 만드는 것'이 아니라 '안 돈 날을 알아채는 것'까지였습니다
이 데이터로 다음에 할 일
수집이 이력으로 쌓이면서 할 수 있게 된 일이 있습니다. 유형별 분포 분석이 첫 결과물이었고, 다음은 월간 집계입니다 — 신규 공고 수, 유형·지역 분포를 매달 초 확정치로 발행하는 리포트를 준비하고 있습니다. 집계 기준(무엇을 신규로 세는지, 이월 공고를 어떻게 빼는지)을 먼저 문서로 못 박는 것부터 시작했는데, 숫자를 내는 쪽이 기준을 공개하지 않으면 그 숫자는 인용할 수 없는 숫자가 되기 때문입니다.
공고를 찾는 입장이라면 이 파이프라인의 결론은 단순합니다 — 지원사업 페이지에서 지역·업력으로 거르고, 마감 임박 공고를 먼저 보는 것. 공고문을 읽는 요령은 신청 절차 가이드에 따로 정리해 두었습니다.