robots.txt

2020년 4월에 올렸던 네이버 이미지 크롤링 코드를 6년 만에 다시 펼쳐봤습니다. 그때는 코드 한 덩어리만 던지고 끝낸 글이었습니다. “크롤링을 할때는 항상 주의해주시구요”라는 한 줄이 주의사항의 전부였고요. 이 글은 두 가지를 함께 담습니다. 2020년 당시 코드는 그대로 보존하고, 지금 같은 작업을 다시 한다면 무엇이 달라지는지를 회고 형식으로 덧붙였습니다. 팩트(2020년 원본)와 분석(2026년 시점)은 섹션으로 분리해서 구별할 수…