feat(realestate): API 수집 retry 로직 추가 (최대 2회, 지수 백오프)

페이지 요청 실패 시 즉시 중단 대신 1초·2초 대기 후 재시도.
2회 모두 실패 시에만 해당 엔드포인트 수집 종료, 나머지 엔드포인트 계속 진행.
JSON 파싱 오류는 재시도 없이 즉시 skip.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
2026-05-01 10:32:26 +09:00
parent 08a32e4357
commit 86a6b75124

View File

@@ -1,5 +1,6 @@
import os
import re
import time
import logging
from datetime import date, timedelta
import requests
@@ -53,17 +54,28 @@ def _api_call(endpoint: str, params: Dict[str, Any] = None) -> List[Dict]:
all_data: List[Dict] = []
page = 1
_MAX_RETRIES = 2
while True:
base_params["page"] = page
try:
resp = requests.get(url, params=base_params, timeout=30)
resp.raise_for_status()
body = resp.json()
except requests.RequestException as e:
logger.error("API 호출 실패 [%s page=%d]: %s", endpoint, page, e)
break
except ValueError as e:
logger.error("JSON 파싱 실패 [%s page=%d]: %s", endpoint, page, e)
body = None
for attempt in range(_MAX_RETRIES + 1):
try:
resp = requests.get(url, params=base_params, timeout=30)
resp.raise_for_status()
body = resp.json()
break
except requests.RequestException as e:
if attempt < _MAX_RETRIES:
logger.warning("API 호출 실패 [%s page=%d] — %d초 후 재시도 (%d/%d): %s",
endpoint, page, 2 ** attempt, attempt + 1, _MAX_RETRIES, e)
time.sleep(2 ** attempt)
else:
logger.error("API 호출 최종 실패 [%s page=%d]: %s", endpoint, page, e)
except ValueError as e:
logger.error("JSON 파싱 실패 [%s page=%d]: %s", endpoint, page, e)
break # 파싱 오류는 재시도 무의미
if body is None:
break
data = body.get("data", [])