소싱처별 크롤링 가이드
행 클릭 → 상세 4단계 · 관리(이름·로고·숨김·삭제)는 행 끝에서. 추가는 위 ‘소싱처 추가·업데이트’ 카드.
➕ 신규 소싱처 추가
URL 1개만 주면 분석·검증은 Claude 가 자동으로 진행합니다.
①입력 사용자
1
샘플 URL 1개 제공
대표 상품 상세 페이지 주소
②수집·추출 Claude
2
어떻게 수집?
API 있나 / 로그인 필요한가 분류
3
항목별 위치 추출
6항목 셀렉터 / 엔드포인트 확정
4방식 보기 ▸
재고 점검
색×사이즈 실조합·실재고만 / 재고 3종(정상·한정수량·품절) 파싱
③검증·저장 Claude
5
매입가 로직 정리
혜택 순차 차감 규칙
6
검증 크롤·대조
최종가 / 옵션·재고 확인
7
가이드 카드 저장
정답 카드 완성 → 복제 가능
신규 소싱처 크롤링 — 상세 로직 (Claude 실행 SOP)
정식 절차: 라이브 크롤링 가이드 — /sourcing-guide/map (보기) · /sourcing-guide/map.md (원문)
지시 예시 — "신규 소싱처 추가 가이드 참고해서 SSF샵 추가해줘"
사용자는 URL 1개만 제공 · 2~7단계는 Claude 자동 수행
사용자는 URL 1개만 제공 · 2~7단계는 Claude 자동 수행
STEP 2 · 수집 방식 4분면 분류 (어떻게 긁나 × 로그인 필요한가)
| 비인증(공개) | 인증 필요(로그인) | |
|---|---|---|
| API 방식 | 가장 쉬움 — 로그인 없이 내부 API(JSON) 호출 | 로그인 세션 + 내부 API (예: 무신사 = 회원가·혜택형) |
| HTML 방식 | API 없음 — 공개 화면(DOM) 파싱 | 가장 까다로움 — 로그인 + 화면 파싱 |
→ API 크롤링(내부 요청 직접 호출)이 빠르고 안정적이라 우선. HTML 스크래핑은 화면 바뀌면 깨짐.
STEP 3 · 항목별 수집 양식 — 6항목을 2축(수집 방식 × 인증)으로 분류 (예: 무신사)
| 항목 | 수집 방식 | 인증 | 위치(셀렉터/엔드포인트) | 비고 |
|---|---|---|---|---|
| 썸네일 | HTML | 비인증 | .thumb img@src | 목록 |
| 상품명 | HTML | 비인증 | .goods_name | 상세 |
| 가격(표면가) | API | 인증 | /api/goods/{id} | 회원가 |
| 혜택 | API | 인증 | /api/benefit/{id} | 상품별·상세 |
| 옵션·재고 | API | 인증 | /api/goods/{id}/options | 색×사이즈 |
| 상세이미지 | HTML | 비인증 | .detail_area img | 다중 |
수집 방식 — HTML(화면 파싱) · API(데이터 주소 직접 호출) · 수동 · 없음
인증 — 비인증(로그인 없이 보임) · 인증(로그인 세션 필요)
️ 옵션·재고는 위치만 적고 끝내지 않는다 — 재고 3단계를 명시.
① 품절(마커 → 0) · ② 한정수량(잔여·N개 남음·마지막·품절임박 등 표기 전부 → 실수량 N) · ③ 표식없음(표식 정말 없을 때만 '재고있음').
②를 한 가지만 적고 다른 표기를 빠뜨리면 = 한정재고가 "재고있음"으로 둔갑하는 버그(실제 무신사 사례).
STEP 4 · 최종 매입가 로직 (혜택 순차 차감 · 소싱처마다 상이)
STEP 5 · 검증 체크리스트 — 수집 · 가공 · 전송 (무결성)
샘플 URL을 실제 크롤(로그인 세션/확장 경로)해서 사용자가 화면에서 본 값과 100% 일치하는지 대조.
"최종가만 맞으면 끝"이 아니라 수집 → 가공 → 전송 3단계를 항목별로 통과시킨다. 특히 재고는 한정수량 N이 매트릭스 표시까지 둔갑 없이 보존되는지 본다.
"최종가만 맞으면 끝"이 아니라 수집 → 가공 → 전송 3단계를 항목별로 통과시킨다. 특히 재고는 한정수량 N이 매트릭스 표시까지 둔갑 없이 보존되는지 본다.
동시·무결성 integrity
0/0
수집 collect
0/0
가공 process
0/0
전송 transmit
0/0
전체 0 / 0 통과
항목을 클릭하면 통과 체크 + 단계별 진행률이 채워집니다. ️ 전부 통과 전에는 "추가 완료" 선언 금지 (가격·재고 오류 = 금전 손실). 소싱처별 실제 통과/실패 상태는 각 소싱처 상세 ▸ ⑤ 체크리스트에서 저장. 단일 진실원천 =
crawl_guide.py의 _CHECKLIST_TEMPLATE.용어 사전 (사용자용 풀이)
크롤러 설치
본인 PC 크롬에 한 번만 설치하면 무신사·롯데온까지 긁어 모음전에 자동 저장됩니다.
무신사·롯데온은 로그인·SPA라 서버가 직접 못 긁어, 내 로그인 크롬 확장이 대신 긁습니다. 크롤 결과는 모두 www.mou-m.com에 저장돼 팀 전체가 함께 봅니다.
1설치 한 번만
1
2
️ 압축 풀기
받은 zip 우클릭 → "압축 풀기" →
moum-crawler 폴더가 생깁니다.3
크롬 확장 페이지 열기
주소창에
chrome://extensions 입력 → 오른쪽 위 「개발자 모드」 켜기.4
확장 불러오기
「압축해제된 확장 프로그램을 로드합니다」 → 방금 푼
moum-crawler 폴더 선택. 목록에 "모음전 크롤러"가 뜨면 완료.2로그인 & 크롤 매번
5
무신사·롯데온 로그인
같은 크롬에서 로그인해 둡니다. (회원가를 읽으려면 필수 — 로그아웃 상태면 비회원가로 긁힙니다.)
6
크롤 실행
www.mou-m.com 접속(IP 주소 ) → 상품에서 「전체 크롤」. 이제 무신사·롯데온 카드도 0% → 채워집니다.안 될 때 (펼치기 ▾)
Q. 설치했는데 계속 "확장 필요"가 떠요.
주소가 www.mou-m.com인지 확인하세요. IP 주소(54.x)에서는 작동하지 않습니다.
주소가 www.mou-m.com인지 확인하세요. IP 주소(54.x)에서는 작동하지 않습니다.
Q. 무신사 가격이 비싸게 나와요.
무신사에 로그인됐는지 확인하세요. 로그아웃 상태면 비회원가로 읽힙니다.
무신사에 로그인됐는지 확인하세요. 로그아웃 상태면 비회원가로 읽힙니다.
Q. 잘 깔렸는지 확인하고 싶어요.
www.mou-m.com 새로고침 → F12 → Console에
www.mou-m.com 새로고침 → F12 → Console에
document.documentElement.getAttribute('data-moum-ext') 입력 → 버전 번호가 나오면 성공.