🤖 CrawlerHub 자동 수집
CrawlerHub이 Qoo10 로그인 · 토큰 · reCAPTCHA · 재시도까지 다 처리합니다. 결과는 webhook으로 도착해 자동 저장됩니다.이 요청은 실제로 무엇을 하나요?
- nercelin-web →
…에 잡 enqueue (시크릿은 서버가 추가) - CrawlerHub Worker가 캐시된 Qoo10 토큰 사용 (없거나 만료면 자동 로그인)
- Qoo10 API 호출 후 결과를
/api/webhook/crawlerhub로 콜백 - nercelin-web이 HMAC 검증 후
store.saveTransaction/savePvupsert
⏰ 매일 5시 자동 잡
CrawlerHub의 cron이 매일 새벽 5시 (Asia/Seoul)에 거래 + PV를 각각 1잡씩 실행합니다. 기간은 이번 달 1일 ~ 어제. 아래 버튼은 그 잡을 지금 즉시 1회 트리거합니다.기간을 비우면 CrawlerHub이 자동으로 이번 달 1일 ~ 어제 (KST)를 사용합니다.
🆘 비상용: 수동 토큰으로 직접 수집
CrawlerHub이 reCAPTCHA로 막혔거나 죽었을 때만 사용. 브라우저 DevTools에서 Authorization 헤더 값을 복사해 붙여넣으세요.📡 최근 Webhook 이벤트
(5초마다 자동 갱신)| 수신 시각 | 종류 | 상태 | 기간 | 요약 | requestId |
|---|---|---|---|---|---|
| 아직 도착한 이벤트가 없습니다. | |||||
🔗 CrawlerHub 연결 정보 (.env)
이 값들은 nercelin-web 서버에서 읽혀 표시됩니다. 변경하려면.env 수정 후 서버 재기동.
- CrawlerHub URL
- …
- Webhook 수신 URL (CrawlerHub이 우리에게 콜백할 곳)
- …
- HMAC 시크릿 설정 여부
- …