고급기일하기 › 밖에서 가져오기·골라서 넣는 뭉치
준법 데이터 수집
작동 중수집 기능이 있을 때만 붙이고, 차단 우회 기능은 넣지 않습니다.
사이트에서 바로 보기
화면 대신 명령으로 돌려 봅니다 (스캐폴딩/core 폴더에서):
npm run 수집npm run 파이프라인
지키는 규칙
- robots.txt를 존중한다.
- 401, 403, 429, CAPTCHA는 중단 신호로 처리한다.
쓰는 부품
- Cheerio✓ 깔림
- axios✓ 깔림
- robots-parser✓ 깔림
- p-limit✓ 깔림
우리 뼈대 안의 자리: src/modules/4-collect · 10-pipeline
마법사에서 언제 들어가나
이 종류를 고르면: 데이터 수집 포함 · 해외 역직구·마켓 자동화
이 질문에 「예」 하면: 외부 자료를 가져와요
이 뭉치의 급
고급기특정 업무에서만 쓴다. 부품은 있으나 화면을 새로 만들어야 한다.