feat(realestate): API 수집 retry 로직 추가 (최대 2회, 지수 백오프)
페이지 요청 실패 시 즉시 중단 대신 1초·2초 대기 후 재시도. 2회 모두 실패 시에만 해당 엔드포인트 수집 종료, 나머지 엔드포인트 계속 진행. JSON 파싱 오류는 재시도 없이 즉시 skip. Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
@@ -1,5 +1,6 @@
|
||||
import os
|
||||
import re
|
||||
import time
|
||||
import logging
|
||||
from datetime import date, timedelta
|
||||
import requests
|
||||
@@ -53,17 +54,28 @@ def _api_call(endpoint: str, params: Dict[str, Any] = None) -> List[Dict]:
|
||||
all_data: List[Dict] = []
|
||||
page = 1
|
||||
|
||||
_MAX_RETRIES = 2
|
||||
while True:
|
||||
base_params["page"] = page
|
||||
body = None
|
||||
for attempt in range(_MAX_RETRIES + 1):
|
||||
try:
|
||||
resp = requests.get(url, params=base_params, timeout=30)
|
||||
resp.raise_for_status()
|
||||
body = resp.json()
|
||||
except requests.RequestException as e:
|
||||
logger.error("API 호출 실패 [%s page=%d]: %s", endpoint, page, e)
|
||||
break
|
||||
except requests.RequestException as e:
|
||||
if attempt < _MAX_RETRIES:
|
||||
logger.warning("API 호출 실패 [%s page=%d] — %d초 후 재시도 (%d/%d): %s",
|
||||
endpoint, page, 2 ** attempt, attempt + 1, _MAX_RETRIES, e)
|
||||
time.sleep(2 ** attempt)
|
||||
else:
|
||||
logger.error("API 호출 최종 실패 [%s page=%d]: %s", endpoint, page, e)
|
||||
except ValueError as e:
|
||||
logger.error("JSON 파싱 실패 [%s page=%d]: %s", endpoint, page, e)
|
||||
break # 파싱 오류는 재시도 무의미
|
||||
|
||||
if body is None:
|
||||
break
|
||||
|
||||
data = body.get("data", [])
|
||||
|
||||
Reference in New Issue
Block a user