ai-automation
대규모 학술 논문 PDF 크롤링 시스템 구축기: 100만 건 데이터 수집 노하우
arXiv, PubMed 등 주요 논문 저장소에서 23만 건의 PDF를 자동 수집한 경험 공유
SpacePlanning·2026년 4월 8일
AI, 자동화, 개발 트렌드에 대한 인사이트와 기술 이야기를 공유합니다.
arXiv, PubMed 등 주요 논문 저장소에서 23만 건의 PDF를 자동 수집한 경험 공유
Rate Limit 재시도 시 메시지가 영구 처리 중 상태에 갇히는 문제와 해결 방법
asyncio.gather()에서 벗어나 진정한 병렬 처리 구현하기
LLM 없이 휴리스틱 기반으로 모호한 요청을 걸러내는 실전 가드 시스템 구현기
SSH, Nginx 리버스 프록시, PM2를 활용한 안전한 원격 작업 환경 구축하기
PM2와 CLI 도구를 활용한 원격 워커 설치 및 운영 가이드