데이터 수집자동화
경쟁사 자동 크롤링 시스템
경쟁사 가격과 상품 정보를 자동으로 수집하여 비교 분석하는 시스템입니다.
역할
백엔드 + 데이터
기간
3개월
기술 스택
PythonSeleniumPostgreSQLFastAPIDocker
프로젝트 개요
수작업으로 경쟁사 정보를 확인하던 업무를 자동화했습니다. 매일 자동으로 데이터를 수집하고, 가격 변동 시 알림을 보내며, 히스토리 분석도 가능합니다.
주요 기능
지능형 크롤러
사이트 구조 변경에 대응하는 안정적인 크롤링 및 우회 로직 구현
가격 변동 알림
경쟁사 가격 변동 감지 시 실시간 알림 발송 (이메일, 슬랙)
트렌드 분석
수집된 히스토리 데이터를 기반으로 가격 추이 및 패턴 분석
성과
수작업 모니터링 시간 100% 절감
가격 대응 속도 24시간 → 1시간 이내
경쟁력 있는 가격 유지로 매출 15% 증가