경쟁사 가격 비교, 공고 모으기, 상품 정보 정리처럼 웹사이트의 정보를 자동으로 모으는 크롤링(스크래핑) 프로그램 의뢰가 많습니다. 기술적으로는 어렵지 않은 경우가 많지만, 무엇을 어떻게 모으느냐에 따라 법적 분쟁이나 접속 차단으로 이어질 수 있습니다. 이 글은 의뢰하기 전에 의뢰자가 먼저 확인하면 좋은 항목을 정리합니다. 법률 자문이 아니며, 상업적으로 크게 쓰거나 다툼의 여지가 있다면 반드시 전문가와 상의하세요.
1. 공식 API나 제공 파일이 있는지부터
많은 서비스가 데이터를 가져갈 수 있는 공식 API나 내려받기 파일을 제공합니다. 공공 데이터도 마찬가지입니다. 공식 경로가 있다면 크롤링보다 안정적이고, 사용 조건이 분명하며, 사이트 구조가 바뀌어도 프로그램이 덜 깨집니다. 의뢰 전에 “이 사이트에 API가 있는지”부터 확인하세요.
2. robots.txt는 무엇이고 무엇이 아닌가
웹사이트는 사이트 주소 뒤의 /robots.txt 파일로 자동 수집 프로그램이 어느 경로에 접근하지 않기를 바라는지 밝힙니다. 이 규칙은 국제 표준 문서 RFC 9309로 정리되어 있고, 크롤러는 이 규칙을 따르도록 요청받습니다. 동시에 같은 문서는 이 규칙이 접근 권한을 부여하는 수단이 아니라고 분명히 적고 있습니다. (RFC 9309: Robots Exclusion Protocol)
즉 robots.txt에서 막지 않았다고 해서 마음대로 가져가도 된다는 뜻은 아니고, 막아 둔 경로는 수집하지 않는 것이 기본 예의입니다.
3. 이용약관 확인하기
대부분의 사이트 이용약관에는 자동화된 수단으로 정보를 수집하는 것에 대한 조항이 있습니다. 로그인해야 볼 수 있는 정보라면 특히 주의해야 합니다. 로그인할 때 약관에 동의했기 때문입니다. 수집하려는 사이트의 약관에서 “자동”, “수집”, “크롤링”, “복제” 같은 단어를 찾아 읽어 보세요.
4. 개인정보가 섞여 있지 않은지
게시판 글쓴이, 연락처, 프로필처럼 사람을 알아볼 수 있는 정보가 섞여 있다면 공개된 정보라도 개인정보 보호 문제가 생길 수 있습니다. 필요한 것이 가격이나 상품명처럼 개인과 관계없는 정보라면, 수집 단계에서 개인정보가 들어오지 않도록 범위를 좁혀 달라고 요청하세요.
5. 서버 부담과 데이터 사용 범위
- 요청 간격: 짧은 시간에 많은 요청을 보내면 상대 서버에 부담을 주고 접속이 차단될 수 있습니다. 수집 간격과 시간대를 정해 두세요.
- 수집 주기: 실시간이 정말 필요한지 생각해 봅니다. 하루 한 번으로 충분한 일이 많습니다.
- 사용 범위: 모은 데이터를 내부 참고용으로만 쓰는지, 다시 공개하거나 판매하는지에 따라 문제의 크기가 달라집니다. 다른 사이트의 콘텐츠를 그대로 다시 게시하는 것은 저작권 문제로 이어질 수 있습니다.
자주 묻는 질문
Q. 공개된 웹페이지라면 모아도 괜찮지 않나요? 누구나 볼 수 있다는 것과 자동으로 대량 수집해도 된다는 것은 다른 문제입니다. 약관, 개인정보, 저작권, 서버 부담을 함께 따져야 하고, 판단이 어렵다면 전문가와 상의하는 편이 안전합니다.
Q. 사이트가 바뀌면 프로그램이 멈추나요? 그럴 수 있습니다. 크롤링 프로그램은 화면 구조를 읽어 정보를 찾기 때문에, 사이트가 디자인을 바꾸면 수정이 필요합니다. 그래서 공식 API가 있다면 그쪽이 오래 쓰기에 유리합니다.
Q. 로그인해야 보이는 정보도 모을 수 있나요? 기술적으로 가능한 경우가 있어도, 로그인할 때 동의한 약관이 자동 수집을 금지하는 경우가 많습니다. 내 계정 정보를 프로그램에 맡기는 보안 문제도 있으니 신중하게 판단하세요.
의뢰할 때 정리해 보낼 것
- 수집할 사이트 주소와 필요한 항목(예: 상품명, 가격, 등록일)
- 공식 API나 내려받기 제공 여부를 확인한 결과
- 수집 주기와 대상 페이지 수
- 결과를 받을 형식(엑셀, 데이터베이스 등)
- 데이터를 어디에, 누가 쓰는지
크롤링 프로그램은 상대 사이트 구조가 바뀌면 고쳐야 하므로, 유지보수 조건도 함께 정해 두는 것이 좋습니다. GyeokSang도 자동화 도구 개발 의뢰를 받을 때 위 항목을 먼저 확인하고, 공식 API가 있으면 그쪽을 우선 제안합니다. 업무 자동화를 어디서부터 시작할지는 업무 자동화 프로그램, 어떤 일부터 맡기면 좋을까를 참고하세요.