Trend Scouter는 Reddit, Product Hunt, Indie Hackers 등 글로벌 커뮤니티에서 비즈니스 트렌드를 자동으로 수집하고 분석하는 서비스입니다. 이 글에서는 데이터 수집 자동화 파이프라인을 어떻게 구축했는지 공유합니다.
문제 정의
글로벌 트렌드를 수동으로 모니터링하는 것은 시간이 너무 많이 걸립니다. 하루에도 수천 개의 게시물이 올라오는 커뮤니티에서 가치 있는 신호를 자동으로 추출하는 시스템이 필요했습니다.
파이프라인 구조
- 수집: Reddit API, Product Hunt API를 통한 실시간 데이터 수집
- 필터링: 키워드 및 인게이지먼트 기반 1차 필터
- 분석: Gemini API를 통한 수익성·난이도·한국 적합도 스코어링
- 저장: Supabase PostgreSQL에 구조화된 형태로 저장
핵심 인사이트
자동화의 핵심은 완벽한 필터링이 아니라 "좋은 신호를 놓치지 않는 것"이었습니다. 노이즈가 조금 있더라도 리콜(재현율)을 높이는 방향으로 설계했고, 이후 AI 스코어링으로 정밀도를 높였습니다.
현재 99개 이상의 트렌드를 분석 완료했으며, 그 중 다수가 실제 사업 아이디어로 발전 중입니다.