Compare commits
120 Commits
d9c39a0206
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
| 2e042e18c5 | |||
| 83e74ad1f4 | |||
| b70caddff1 | |||
| d6e34973a4 | |||
| 7007c90665 | |||
| ca7a502514 | |||
| dc471ecc60 | |||
| e91715bf2c | |||
| 1e4c1b42b7 | |||
| 0190a6c206 | |||
| 6ef4160da2 | |||
| 078c9f008a | |||
| 918151bda8 | |||
| 2ce6721c35 | |||
| c5303151c0 | |||
| ee61405ff1 | |||
| fef5f7a835 | |||
| e47ccdb762 | |||
| 4b6996b0f7 | |||
| 0f65aa53e4 | |||
| ea3485cde6 | |||
| d6366a38f3 | |||
| 0f8c71c552 | |||
| 1401c5703d | |||
| 92329f6fd5 | |||
| d0047c2b9d | |||
| 088944499c | |||
| a9fdbf8a93 | |||
| f46851d481 | |||
| 11b3700959 | |||
| 1db8a0063d | |||
| f017a61c79 | |||
| 1694823129 | |||
| a4614ebeae | |||
| 875e750f77 | |||
| 9cb40fb4e5 | |||
| 383f48c71e | |||
| 6be74737c2 | |||
| 3106716e70 | |||
| a126155948 | |||
| f509339cbb | |||
| e72a52a950 | |||
| eecaefc26d | |||
| b3c0683364 | |||
| 17321d948e | |||
| 8552cbc184 | |||
| b1c786e59d | |||
| b885d02ac4 | |||
| b35fab777e | |||
| 43081bea0e | |||
| bebe5797e7 | |||
| 9e1001b935 | |||
| e5465ad136 | |||
| 21d46d95dd | |||
| ac4a574ef2 | |||
| c985d2c605 | |||
| b4e873b5b0 | |||
| 6c5e93f64e | |||
| 6b7eb5a9c1 | |||
| 4b28ef3afa | |||
| 211aff1e45 | |||
| 37ca8e594e | |||
| c9a094969d | |||
| e8dbf8092a | |||
| 21cf0114f4 | |||
| 20f83cee33 | |||
| 1e77123394 | |||
| fbd8d26ec6 | |||
| 6f505b8cb1 | |||
| e1722e3963 | |||
| b1e28aa725 | |||
| 532b794c11 | |||
| e7f6edf7c5 | |||
| 42cf39d0da | |||
| 74196396c5 | |||
| 4393ba706b | |||
| 714224a9b4 | |||
| ea93dc522b | |||
| 408b6a3df7 | |||
| e6ff234031 | |||
| 912cd18e48 | |||
| a06cc424ca | |||
| e87c43a7a4 | |||
| 0c12c3527f | |||
| 5ed9d265f6 | |||
| 24229d00ae | |||
| 43f8b111ad | |||
| a9f38e1248 | |||
| 87651c9449 | |||
| a1a37ead9e | |||
| 978aa14f8b | |||
| 030365bed0 | |||
| 8c5bfa453f | |||
| 11d86450c3 | |||
| 90f6af6ab3 | |||
| 83113ab50c | |||
| 20514193e8 | |||
| 7a470aad44 | |||
| de8adaeadd | |||
| 5cde24115b | |||
| 318190c93f | |||
| c8684280af | |||
| 6895e2f8dc | |||
| 34619dc70b | |||
| 47cdc43aa5 | |||
| 2270072fe5 | |||
| 15f24dc890 | |||
| 2915f2b697 | |||
| 7640a2b4a8 | |||
| 427522bd1a | |||
| 0bddc5c607 | |||
| 54c677f75a | |||
| 01bb837525 | |||
| 8ceb0af736 | |||
| ecf1f643b2 | |||
| 077d411f83 | |||
| 6674755800 | |||
| d919c75ea7 | |||
| 3a71c91eeb | |||
| 9d0e9aa8aa |
@@ -124,5 +124,6 @@ PACK_DATA_PATH=./data/packs
|
||||
PACK_BASE_DIR=/app/data/packs
|
||||
|
||||
# DSM·Supabase에 노출되는 NAS 호스트 절대경로 (PACK_DATA_PATH와 같은 디렉토리를 호스트 시점에서 가리킴).
|
||||
# 운영 NAS는 반드시 /volume1/docker/webpage/media/packs 같은 절대경로 설정. 미설정 시 PACK_DATA_PATH로 fallback (로컬 개발용).
|
||||
PACK_HOST_DIR=/volume1/docker/webpage/media/packs
|
||||
# 운영 NAS는 반드시 /volume1/docker/webpage/media/packs 같은 절대경로 설정.
|
||||
# 미설정 시 PACK_DATA_PATH로 fallback (로컬 개발용).
|
||||
PACK_HOST_DIR=/docker/webpage/media/packs
|
||||
|
||||
209
CHECK_POINT.md
Normal file
@@ -0,0 +1,209 @@
|
||||
# web-backend CHECK_POINT
|
||||
|
||||
> NAS Docker 11 컨테이너(9 백엔드 + frontend + deployer). Synology Celeron J4025 (2C 2.0GHz) 18GB.
|
||||
> 2026-05-18 작성 — uvicorn CPU 폭주 진단 결과 정리.
|
||||
|
||||
## 🔴 즉시 (오늘, 총 1시간 5분)
|
||||
|
||||
### 1. 09:00 cron 5분 스태거링 ⭐ 가장 큰 효과
|
||||
|
||||
**파일**: `agent-office/app/scheduler.py:72-76`
|
||||
```python
|
||||
# 변경 전 — 09:00 동시 실행 (CPU 폭주 원인 #1)
|
||||
scheduler.add_job(_run_insta_trends_collect, "cron", hour=9, minute=0)
|
||||
scheduler.add_job(_run_lotto_schedule, "cron", day_of_week="mon", hour=9, minute=0)
|
||||
scheduler.add_job(_run_youtube_research, "cron", hour=9, minute=0)
|
||||
|
||||
# 변경 후 — 5분 스태거링
|
||||
scheduler.add_job(_run_insta_trends_collect, "cron", hour=9, minute=0, id="insta_trends")
|
||||
scheduler.add_job(_run_lotto_schedule, "cron", day_of_week="mon", hour=9, minute=5, id="lotto_curate")
|
||||
scheduler.add_job(_run_youtube_research, "cron", hour=9, minute=10, id="youtube_research")
|
||||
```
|
||||
|
||||
**파일**: `realestate-lab/app/main.py:51`
|
||||
```python
|
||||
# 변경 전
|
||||
scheduler.add_job(scheduled_collect, "cron", hour=9, minute=0, id="collect")
|
||||
|
||||
# 변경 후
|
||||
scheduler.add_job(scheduled_collect, "cron", hour=9, minute=15, id="collect")
|
||||
```
|
||||
|
||||
- [x] agent-office scheduler.py 수정 (2026-05-18)
|
||||
- [x] realestate-lab main.py 수정 (2026-05-18)
|
||||
- [ ] git commit + push (Gitea Webhook 자동 빌드)
|
||||
|
||||
---
|
||||
|
||||
### 2. insta-lab Playwright Semaphore(1) ⭐
|
||||
|
||||
**파일**: `insta-lab/app/main.py` (모듈 레벨 추가)
|
||||
```python
|
||||
import asyncio
|
||||
|
||||
# 모듈 레벨에 한 번만 선언
|
||||
RENDER_SEMAPHORE = asyncio.Semaphore(1) # Chromium 동시 실행 1개로 제한
|
||||
|
||||
# 카드 렌더 백그라운드 함수에 감싸기
|
||||
async def _bg_render(task_id: str, slate_id: int):
|
||||
async with RENDER_SEMAPHORE:
|
||||
await card_renderer.render_slate(slate_id, ...)
|
||||
```
|
||||
|
||||
- [x] card_renderer.render_slate를 Semaphore(1)로 감쌈 (2026-05-18, lazy init)
|
||||
- [ ] 동시 2개 요청 테스트 (curl 동시 2회 → 순차 처리되는지 확인)
|
||||
|
||||
---
|
||||
|
||||
### 3. healthcheck interval 60s
|
||||
|
||||
**파일**: `docker-compose.yml` (모든 9 컨테이너)
|
||||
```yaml
|
||||
# 변경 전
|
||||
healthcheck:
|
||||
interval: 30s
|
||||
|
||||
# 변경 후
|
||||
healthcheck:
|
||||
interval: 60s
|
||||
```
|
||||
|
||||
- [x] docker-compose.yml 10개 healthcheck 일괄 변경 (9 백엔드 + frontend, 2026-05-18)
|
||||
- [ ] `docker compose up -d` 재기동
|
||||
- [ ] `docker stats` 로 CPU 5% 정도 감소 확인
|
||||
|
||||
---
|
||||
|
||||
### 4. uvicorn --workers 1 명시
|
||||
|
||||
**모든 Dockerfile CMD**:
|
||||
```dockerfile
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "1"]
|
||||
```
|
||||
|
||||
영향 9 파일 (모두 2026-05-18 적용):
|
||||
- [x] lotto/Dockerfile
|
||||
- [x] stock/Dockerfile
|
||||
- [x] music-lab/Dockerfile
|
||||
- [x] insta-lab/Dockerfile
|
||||
- [x] realestate-lab/Dockerfile
|
||||
- [x] agent-office/Dockerfile
|
||||
- [x] personal/Dockerfile
|
||||
- [x] packs-lab/Dockerfile
|
||||
- [x] travel-proxy/Dockerfile
|
||||
|
||||
→ `docker compose build --no-cache` 후 재기동.
|
||||
|
||||
---
|
||||
|
||||
### 5. lotto Monte Carlo 08:05 → 08:30
|
||||
|
||||
**파일**: `lotto/app/main.py:86`
|
||||
```python
|
||||
# 변경 전 — stock 08:00과 5분 차이로 겹침
|
||||
scheduler.add_job(_run_simulation_job, "cron", hour="0,4,8,12,16,20", minute=5)
|
||||
|
||||
# 변경 후 — 25분 분리
|
||||
scheduler.add_job(_run_simulation_job, "cron", hour="0,4,8,12,16,20", minute=30)
|
||||
```
|
||||
|
||||
- [x] lotto/app/main.py 수정 (2026-05-18)
|
||||
|
||||
---
|
||||
|
||||
## 🟡 중기 (1~2주)
|
||||
|
||||
### 6. Chromium Browser Pool 재설계 (insta-lab) ✅ 2026-05-18
|
||||
- 매번 launch X → 1개 인스턴스 재사용
|
||||
- 카드 10장 렌더 시간 30% 단축 기대
|
||||
- [x] `card_renderer.py` 내부에 모듈 레벨 `_PLAYWRIGHT`/`_BROWSER` + `init_browser`/`shutdown_browser` 함수 (별도 모듈 분리 안 함, 같은 파일에 인접 배치)
|
||||
- [x] `_render_slate_locked` 본체에서 `_get_browser()` 재사용 (crashed 시 lazy 재초기화)
|
||||
- [x] `main.py` startup hook에서 `init_browser()`, shutdown hook에서 `shutdown_browser()`
|
||||
|
||||
### 7. stock 뉴스 스크랩 비동기화 — ⚠️ 보류 2026-05-18
|
||||
- **재진단**: stock은 `BackgroundScheduler` 사용 중 → main loop 블로킹 없음 (이미 별도 thread)
|
||||
- `fetch_market_news`의 4개 동기 `requests.get`은 network I/O wait라 CPU 거의 사용 안 함
|
||||
- `to_thread`로 wrap해도 BackgroundScheduler 환경에서 사실상 의미 없음
|
||||
- 진짜 효과를 보려면 AsyncIOScheduler 전환 + scraper.py 4개 fetch를 `aiohttp` 병렬로 — **큰 리팩토링 vs 효과 불명확**
|
||||
- [ ] 박재오 판단: 큰 리팩토링 진행 여부
|
||||
|
||||
### 8. realestate 수집 병렬화 ✅ 2026-05-18
|
||||
- **파일**: `realestate-lab/app/main.py:scheduled_collect`
|
||||
- `collect_all()` + `delete_old_completed_announcements()` 병렬
|
||||
- BackgroundScheduler 환경이라 `asyncio.gather` 대신 `ThreadPoolExecutor(max_workers=2)` 사용 (효과 동일)
|
||||
- 매칭은 순차 유지 (DB 일관성)
|
||||
- [x] ThreadPoolExecutor 적용
|
||||
|
||||
### 9. lotto Monte Carlo 시뮬레이션 빈도 검토
|
||||
- 현재 6회/일 (00·04·08·12·16·20)
|
||||
- 실제 필요 빈도 박재오 결정 — 3회/일(아침·점심·저녁)로 줄이면 CPU 50% 감소
|
||||
- [ ] 박재오 의사결정 후 cron 변경
|
||||
|
||||
---
|
||||
|
||||
## 🟢 장기 (1개월+)
|
||||
|
||||
### 10. 무거운 작업 Windows AI 서버로 이전 ✅ 이미 적용 상태 (2026-05-18 확인)
|
||||
- **확인 결과**: NAS `.env`가 이미 `LLM_PROVIDER=claude` + `OLLAMA_URL=http://192.168.45.59:11435`로 설정됨
|
||||
- 실 운영은 Anthropic Claude (원격 API) — NAS Celeron에서 LLM 추론 안 함
|
||||
- Ollama fallback 사용 시에도 Windows AI 서버로 통일
|
||||
- stock 외 다른 컨테이너에 ollama/qwen 호출 코드 없음
|
||||
- 결론: 코드/설정 변경 불필요
|
||||
|
||||
### 11. 컨테이너 리소스 제한 — ❌ 진행 금지 (박재오 명시 2026-05-18)
|
||||
- J4025 2C 환경에서 cpus 0.5 제한은 오히려 throughput 손해
|
||||
- 향후 작업자 무심코 도입하지 말 것
|
||||
|
||||
### 12. NAS 업그레이드 검토 — ⏸️ 보류 (박재오 명시 2026-05-18)
|
||||
- 현재: Celeron J4025 (2C 2.0GHz)
|
||||
- 대안: Ryzen N5105 (4C 2.0GHz) NAS — 4코어로 병렬성 2배
|
||||
- 자금·우선순위 결정 대기
|
||||
|
||||
---
|
||||
|
||||
## ✅ 최근 완료 (참고)
|
||||
|
||||
- 2026-05-15: insta-lab 신설 (포트 18700, Jinja2 + Playwright + Claude Sonnet)
|
||||
- 2026-05-16: insta-lab Playwright 1080×1350 PNG 렌더 완성
|
||||
- 2026-05-17: agent-office random idle 제거, ADMIN_API_KEY 강화 (stock)
|
||||
- 2026-05-17: insta-lab minimal theme + design_importer 추가
|
||||
- 2026-05-17: blog-lab 트랙 완전 폐기 (docker-compose에 없음, 위키 정정 완료)
|
||||
- 2026-05-18: 🔴 즉시 5건 일괄 적용 — 09:00 cron 스태거링(insta/lotto/youtube/realestate), lotto Monte Carlo 08:30, insta-lab Semaphore(1), healthcheck 60s, uvicorn --workers 1 명시 (사용자 push + NAS deployer 재기동 대기)
|
||||
- 2026-05-18: 🟡 중기 2건 적용 — #6 insta-lab Chromium Browser Pool (lifecycle hook), #8 realestate ThreadPoolExecutor 병렬 (collect/delete). #7 stock async는 BackgroundScheduler 사용 중이라 재진단 후 보류 (효과 미미). #9 Monte Carlo 빈도는 박재오 결정 대기.
|
||||
- 2026-05-18: 🟢 장기 진단·결정 — #10은 이미 적용 상태 확인 (LLM_PROVIDER=claude, OLLAMA_URL=Windows AI). #11 컨테이너 리소스 제한 박재오 진행 금지. #12 NAS 업그레이드 보류. web-ai V1(:8000)+V2(:8001) 4개 process 종료 — NAS API polling 부담 즉시 감소.
|
||||
|
||||
---
|
||||
|
||||
## 🔧 진단 커맨드 (NAS bash)
|
||||
|
||||
```bash
|
||||
# 실시간 CPU 사용 (상위 15)
|
||||
top -b -n 1 | head -25
|
||||
|
||||
# 프로세스별 CPU 정렬
|
||||
ps aux --sort=-%cpu | head -15
|
||||
|
||||
# uvicorn·chromium·python 프로세스만
|
||||
ps aux | grep -E "uvicorn|chromium|python" | grep -v grep
|
||||
|
||||
# 스케줄러 실행 로그 (최근 50)
|
||||
docker logs agent-office 2>&1 | grep -E "APScheduler|executing" | tail -50
|
||||
|
||||
# insta-lab Chromium 프로세스 개수
|
||||
docker exec insta-lab ps aux | grep chromium | wc -l
|
||||
|
||||
# 컨테이너별 CPU/메모리 실시간
|
||||
docker stats --no-stream
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 📚 참고
|
||||
|
||||
- 진단 풀 보고서: `C:\Users\jaeoh\Documents\Obsidian Vault\raw\2026-05-18-NAS-uvicorn-CPU-진단-개선안.md`
|
||||
- 위키 페이지: [[사업-개인-웹-플랫폼]] (CPU 부하 진단 섹션 + 컨테이너 표)
|
||||
- docker-compose.yml: 본 디렉토리 루트
|
||||
|
||||
## 변경 이력
|
||||
|
||||
- 2026-05-18: 페이지 신설. 즉시 5건 + 중기 4건 + 장기 3건. 진단 커맨드.
|
||||
50
CLAUDE.md
@@ -164,10 +164,16 @@ docker compose up -d
|
||||
| `lotto_briefings` | AI 큐레이터 주간 브리핑 (5세트 + 내러티브 + 토큰·비용 집계) |
|
||||
| `todos` | 투두리스트 (UUID PK) — personal 서비스로 이전됨, 레거시 테이블 유지 |
|
||||
| `blog_posts` | 블로그 글 (tags: JSON 배열) — personal 서비스로 이전됨, 레거시 테이블 유지 |
|
||||
| `weight_trials` | 주별 6일치 후보 가중치 (4 perturb + 2 dirichlet) |
|
||||
| `auto_picks` | 매일 N=5 시도 번호 + 채점 결과 |
|
||||
| `weight_base_history` | base 갱신 이력 (winner_4plus / ema_blend / unchanged / cold_start) |
|
||||
|
||||
**스케줄러 job**
|
||||
- 09:10 / 21:10 매일 — 당첨번호 동기화 + 채점 (`sync_latest` → `check_results_for_draw`)
|
||||
- 00:05, 04:05, 08:05, 12:05, 16:05, 20:05 — 몬테카를로 시뮬레이션 (20,000후보 → 상위100 → best_picks 20개 교체)
|
||||
- 월요일 09:00 — weight_evolver_weekly (6개 후보 생성 + 그날 N=5 추출)
|
||||
- 매일 09:00 — weight_evolver_daily (월요일 제외, 오늘 W로 N=5 추출)
|
||||
- 토요일 22:00 — weight_evolver_eval (회고 + 다음주 base 갱신)
|
||||
|
||||
**lotto-lab API 목록**
|
||||
|
||||
@@ -204,6 +210,11 @@ docker compose up -d
|
||||
| GET | `/api/lotto/briefing/latest` | 최신 브리핑 |
|
||||
| GET | `/api/lotto/briefing/{draw_no}` | 특정 회차 브리핑 |
|
||||
| GET | `/api/lotto/briefing` | 브리핑 이력 |
|
||||
| GET | `/api/lotto/evolver/status` | weight_evolver 이번주 trials + current_base + 진행 상황 |
|
||||
| GET | `/api/lotto/evolver/history?weeks=12` | base 변경 이력 |
|
||||
| GET | `/api/lotto/evolver/trials/{week_start}` | 특정 주 6 trials + 채점 결과 |
|
||||
| POST | `/api/lotto/evolver/generate-now` | 수동 트리거 — 이번주 후보 생성 |
|
||||
| POST | `/api/lotto/evolver/evaluate-now` | 수동 회고 + 다음주 base 갱신 |
|
||||
|
||||
### stock (stock/)
|
||||
- Windows AI 서버 연동: `WINDOWS_AI_SERVER_URL=http://192.168.45.59:8000`
|
||||
@@ -467,6 +478,7 @@ docker compose up -d
|
||||
- `ANTHROPIC_MODEL_HAIKU` / `ANTHROPIC_MODEL_SONNET`: 모델명 오버라이드
|
||||
- `INSTA_DATA_PATH`: SQLite + 카드 PNG 저장 경로 (기본 `/app/data`)
|
||||
- `CARD_TEMPLATE_DIR`: HTML 템플릿 디렉토리 (기본 `/app/app/templates`)
|
||||
- `INSTA_DEFAULT_THEME`: 카드 렌더에 사용할 theme 디렉토리명 (기본 `default`). `templates/<theme>/card.html.j2`가 없으면 자동으로 default 폴백
|
||||
- `NEWS_PER_CATEGORY` / `KEYWORDS_PER_CATEGORY`: 수집·추출 limit 튜닝
|
||||
|
||||
**카테고리 시드 키워드**
|
||||
@@ -482,6 +494,31 @@ docker compose up -d
|
||||
- 09:30 매일 — `_run_insta_schedule` (insta_pipeline) → 뉴스 수집 → 키워드 추출 → 텔레그램 후보 푸시
|
||||
- `agent_config.custom_config.auto_select=True`이면 카테고리당 1위 키워드 자동 슬레이트 생성·발송
|
||||
|
||||
**디자인 import (사용자 디자인 PNG → Claude Vision → Jinja HTML 자동 생성)**
|
||||
- `insta-lab/app/templates/<theme>/pages/*.png` (10장, 4:5 비율 권장 1080×1350, placeholder 텍스트 박혀있는 형태) → Claude Sonnet Vision → `templates/<theme>/card.html.j2` 자동 생성
|
||||
- 파일명 자동 매핑: `cover`/`start`/`intro` → page 1, `cta`/`outro`/`finish`/`end` → page 10, 나머지 알파벳 순 → page 2~9
|
||||
- 매핑 override: `pages/_order.json`에 `{filename: page_no}` 명시 (10장 + page 1~10 완전 매핑일 때만 적용)
|
||||
- Vision prompt에 placeholder 마스킹 요구 포함 (2-layer: 마스킹 박스 + 동적 텍스트 layer)
|
||||
- 기존 HTML 자동 백업 (`card.html.j2.bak.YYYYMMDD-HHMMSS`)
|
||||
- Jinja 문법 깨진 응답은 `card.html.j2.error.txt`로 보존 + ValueError
|
||||
- 활성화: `.env`에 `INSTA_DEFAULT_THEME=<theme>` 추가 + `docker compose restart insta-lab` (테마 디렉토리에 `card.html.j2` 없으면 렌더러가 default로 폴백)
|
||||
- 토큰 비용: 1회당 ~15K tokens (~$0.05 Sonnet 기준)
|
||||
|
||||
**⚠️ 실행 위치 — 로컬 권장, NAS docker exec 금지**
|
||||
- docker-compose의 insta-lab volume은 `/app/data`만 마운트. **`/app/app/templates`는 컨테이너 ephemeral state**.
|
||||
- NAS에서 `docker exec insta-lab python -m app.design_importer <theme>`로 돌리면 `card.html.j2`가 컨테이너 안에만 생성되고 다음 image rebuild(다른 push의 webhook이라도) 때 사라짐 → 렌더러가 default로 폴백.
|
||||
- **로컬 실행** (host repo working tree에 영속화 → git push → 자동 배포):
|
||||
```bash
|
||||
cd insta-lab
|
||||
pip install anthropic Pillow jinja2 # 이미 있으면 skip
|
||||
export ANTHROPIC_API_KEY=sk-ant-...
|
||||
python -m app.design_importer <theme> --templates-dir ./app/templates
|
||||
git add app/templates/<theme>/card.html.j2
|
||||
git commit -m "feat(insta-lab): <theme> 디자인 import"
|
||||
git push # → Gitea webhook → NAS rebuild → 영구 활성화
|
||||
```
|
||||
- 응급 hotfix로 NAS에서 돌렸다면 `docker cp insta-lab:/app/app/templates/<theme>/card.html.j2 ./` 후 즉시 host repo에 commit + push 필요
|
||||
|
||||
**insta-lab API 목록**
|
||||
|
||||
| 메서드 | 경로 | 설명 |
|
||||
@@ -527,6 +564,11 @@ docker compose up -d
|
||||
- `LOTTO_BACKEND_URL`: 기본 `http://lotto:8000`
|
||||
- `LOTTO_CURATOR_MODEL`: 기본 `claude-sonnet-4-5`
|
||||
- `YOUTUBE_DATA_API_KEY`: YouTube Data API v3 키 (미설정 시 YouTube trending 수집 skip)
|
||||
- `LOTTO_SIGNAL_WINDOW`: baseline 윈도우 크기 (기본 8)
|
||||
- `LOTTO_Z_NORMAL`: normal fire 임계치 (기본 1.5)
|
||||
- `LOTTO_Z_URGENT`: urgent fire 임계치 (기본 2.5)
|
||||
- `LOTTO_THROTTLE_HOURS`: 같은 메트릭 재발화 throttle (기본 6시간)
|
||||
- `LOTTO_URGENT_DAILY_MAX`: urgent 하루 cap (기본 3통)
|
||||
|
||||
**YouTubeResearchAgent (`agents/youtube.py`)**
|
||||
- `agent_id = "youtube"` — AGENT_REGISTRY에 등록
|
||||
@@ -551,6 +593,11 @@ docker compose up -d
|
||||
- ~~09:15 매일 — 청약 매칭 데일리 리포트~~ (Task 2026-04-28에서 폐기. realestate-lab의 push 트리거로 전환)
|
||||
- 09:00 매일 — YouTube 트렌드 수집 (`youtube_research`) → music-lab `/api/music/market/ingest` push
|
||||
- 매주 월요일 08:00 — YouTube 주간 리포트 텔레그램 발송 (`youtube_weekly_report`)
|
||||
- 09:15 매일 — 로또 light_check (시뮬·전략 가중치 평가)
|
||||
- 매 4시간 :15 — 로또 sim_check (00/04/08/12/16/20시)
|
||||
- 일/수 21:15 — 로또 deep_check (큐레이션 후 confidence 포함 평가)
|
||||
- 09:25 매일 — 로또 daily_digest (지난 24h 발화 텔레그램 1통)
|
||||
- 토요일 22:15 — 로또 weight_evolver 주간 텔레그램 리포트
|
||||
|
||||
**RealestateAgent (`agents/realestate.py`)**
|
||||
- 진입점: `on_new_matches(matches: list[dict]) -> {sent, sent_ids, message_id}`
|
||||
@@ -582,6 +629,9 @@ docker compose up -d
|
||||
| GET | `/api/agent-office/conversation/stats` | 텔레그램 자연어 대화 토큰·캐시 통계 (`days` 필터) |
|
||||
| POST | `/api/agent-office/youtube/research` | YouTube 트렌드 수집 수동 트리거 (body: `{countries: []}`) |
|
||||
| GET | `/api/agent-office/youtube/research/status` | 마지막 수집 작업 상태 |
|
||||
| GET | `/api/agent-office/lotto/signals?days=7` | 로또 능동 시그널 이력 (모든 fire_level) |
|
||||
| GET | `/api/agent-office/lotto/baselines` | 로또 메트릭별 baseline μ/σ + 윈도우 상태 |
|
||||
| POST | `/api/agent-office/lotto/signal-check?source=light` | 로또 시그널 평가 수동 트리거 (light/sim/deep) |
|
||||
|
||||
### personal (personal/)
|
||||
- 개인 서비스 (포트폴리오 + 블로그 + 투두 통합)
|
||||
|
||||
@@ -7,4 +7,4 @@ RUN pip install --no-cache-dir -r requirements.txt
|
||||
|
||||
COPY . .
|
||||
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "1"]
|
||||
|
||||
@@ -1,12 +1,9 @@
|
||||
import asyncio
|
||||
import random
|
||||
import time
|
||||
from typing import Optional
|
||||
|
||||
from ..config import IDLE_BREAK_THRESHOLD, BREAK_DURATION_MIN, BREAK_DURATION_MAX
|
||||
from ..db import add_log
|
||||
|
||||
VALID_STATES = ("idle", "working", "waiting", "reporting", "break")
|
||||
VALID_STATES = ("idle", "working", "waiting", "reporting")
|
||||
|
||||
class BaseAgent:
|
||||
agent_id: str = ""
|
||||
@@ -14,7 +11,6 @@ class BaseAgent:
|
||||
state: str = "idle"
|
||||
state_detail: str = ""
|
||||
_idle_since: float = 0.0
|
||||
_break_until: float = 0.0
|
||||
_ws_manager = None
|
||||
|
||||
def __init__(self):
|
||||
@@ -32,9 +28,6 @@ class BaseAgent:
|
||||
|
||||
if new_state == "idle":
|
||||
self._idle_since = time.time()
|
||||
elif new_state == "break":
|
||||
duration = random.randint(BREAK_DURATION_MIN, BREAK_DURATION_MAX)
|
||||
self._break_until = time.time() + duration
|
||||
|
||||
add_log(self.agent_id, f"State: {old} -> {new_state} ({detail})")
|
||||
|
||||
@@ -48,19 +41,6 @@ class BaseAgent:
|
||||
await self._ws_manager.send_notification(
|
||||
self.agent_id, "task_completed", task_id, detail or "작업 완료"
|
||||
)
|
||||
if new_state == "break":
|
||||
await self._ws_manager.send_agent_move(self.agent_id, "break_room")
|
||||
elif old == "break" and new_state == "idle":
|
||||
await self._ws_manager.send_agent_move(self.agent_id, "desk")
|
||||
|
||||
async def check_idle_break(self) -> None:
|
||||
now = time.time()
|
||||
if self.state == "idle" and (now - self._idle_since) > IDLE_BREAK_THRESHOLD:
|
||||
if random.random() < 0.5:
|
||||
break_type = random.choice(["커피 타임", "잠깐 산책", "졸고 있음"])
|
||||
await self.transition("break", break_type)
|
||||
elif self.state == "break" and now > self._break_until:
|
||||
await self.transition("idle", "휴식 완료")
|
||||
|
||||
async def on_schedule(self) -> None:
|
||||
raise NotImplementedError
|
||||
|
||||
@@ -18,6 +18,26 @@ from ..telegram import messaging
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
# 텔레그램 후보 푸시 시 "확실한 것만" 보내기 위한 최소 신뢰도 (키워드 score 0~1)
|
||||
KEYWORD_MIN_SCORE = 0.7
|
||||
|
||||
|
||||
def _dedup_and_filter_keywords(
|
||||
keywords: List[Dict[str, Any]], min_score: float = KEYWORD_MIN_SCORE,
|
||||
) -> List[Dict[str, Any]]:
|
||||
"""score >= min_score 인 키워드만 남기고, 동일 keyword 중복 제거(최고 score 유지).
|
||||
결과는 score 내림차순. 텔레그램 후보 푸시 전 정리용."""
|
||||
best: Dict[str, Dict[str, Any]] = {}
|
||||
for k in keywords:
|
||||
if float(k.get("score", 0)) < min_score:
|
||||
continue
|
||||
name = str(k.get("keyword", "")).strip()
|
||||
if not name:
|
||||
continue
|
||||
if name not in best or k["score"] > best[name]["score"]:
|
||||
best[name] = k
|
||||
return sorted(best.values(), key=lambda k: -k["score"])
|
||||
|
||||
|
||||
async def _send_media_group(media: List[Dict[str, Any]], caption: str = "") -> Dict[str, Any]:
|
||||
"""텔레그램 sendMediaGroup. media는 InputMediaPhoto dicts.
|
||||
@@ -46,7 +66,7 @@ class InstaAgent(BaseAgent):
|
||||
async def on_schedule(self) -> None:
|
||||
"""09:30 매일: 뉴스 수집 → 키워드 추출 → 텔레그램 후보 푸시.
|
||||
custom_config.auto_select=True면 카테고리당 1위 키워드 자동 슬레이트 생성."""
|
||||
if self.state not in ("idle", "break"):
|
||||
if self.state != "idle":
|
||||
return
|
||||
config = get_agent_config(self.agent_id) or {}
|
||||
custom = config.get("custom_config", {}) or {}
|
||||
@@ -89,14 +109,18 @@ class InstaAgent(BaseAgent):
|
||||
raise TimeoutError(f"{step} timeout {timeout_sec}s")
|
||||
|
||||
async def _push_keyword_candidates(self, keywords: List[Dict[str, Any]]) -> None:
|
||||
by_cat: Dict[str, List[Dict[str, Any]]] = {}
|
||||
for k in keywords:
|
||||
by_cat.setdefault(k["category"], []).append(k)
|
||||
if not by_cat:
|
||||
await messaging.send_raw("📰 [인스타 큐레이터] 오늘은 추천할 키워드가 없습니다.")
|
||||
# 중복 제거 + 신뢰도(score) 임계값 이상만 — "확실한 것만" 정리해서 전송
|
||||
filtered = _dedup_and_filter_keywords(keywords)
|
||||
if not filtered:
|
||||
await messaging.send_raw(
|
||||
f"📰 [인스타 큐레이터] 오늘은 확실한 추천 키워드가 없습니다 (신뢰도 {KEYWORD_MIN_SCORE:.1f}+ 기준)."
|
||||
)
|
||||
return
|
||||
by_cat: Dict[str, List[Dict[str, Any]]] = {}
|
||||
for k in filtered:
|
||||
by_cat.setdefault(k["category"], []).append(k)
|
||||
rows: List[List[Dict[str, Any]]] = []
|
||||
text_lines = ["📰 <b>[인스타 큐레이터]</b> 오늘의 키워드 후보"]
|
||||
text_lines = [f"📰 <b>[인스타 큐레이터]</b> 오늘의 키워드 후보 (신뢰도 {KEYWORD_MIN_SCORE:.1f}+)"]
|
||||
for cat, items in by_cat.items():
|
||||
text_lines.append(f"\n<b>{cat}</b>")
|
||||
for k in items[:5]:
|
||||
|
||||
@@ -8,7 +8,7 @@ class LottoAgent(BaseAgent):
|
||||
display_name = "로또 큐레이터"
|
||||
|
||||
async def on_schedule(self) -> None:
|
||||
if self.state not in ("idle", "break"):
|
||||
if self.state != "idle":
|
||||
return
|
||||
await self._run(source="auto")
|
||||
|
||||
@@ -17,11 +17,224 @@ class LottoAgent(BaseAgent):
|
||||
return await self._run(source="manual")
|
||||
if action == "status":
|
||||
return {"ok": True, "message": f"{self.state}: {self.state_detail}"}
|
||||
if action in ("signal_check", "light_check", "sim_check", "deep_check"):
|
||||
source = action.replace("_check", "") if action != "signal_check" else "light"
|
||||
return await self.run_signal_check(source=source)
|
||||
if action == "daily_digest":
|
||||
return await self.run_daily_digest()
|
||||
return {"ok": False, "message": f"unknown action: {action}"}
|
||||
|
||||
async def on_approval(self, task_id: str, approved: bool, feedback: str = "") -> None:
|
||||
pass
|
||||
|
||||
async def run_signal_check(self, source: str = "light") -> dict:
|
||||
"""비-LLM 시그널 평가. task_id wrap 적용."""
|
||||
from ..curator.signal_runner import run_signal_check
|
||||
from ..config import (
|
||||
LOTTO_Z_NORMAL, LOTTO_Z_URGENT,
|
||||
LOTTO_THROTTLE_HOURS, LOTTO_URGENT_DAILY_MAX,
|
||||
)
|
||||
from ..db import (
|
||||
create_task, update_task_status, add_log,
|
||||
get_last_signal_notification, get_recent_urgent_count,
|
||||
mark_signal_notified,
|
||||
)
|
||||
from ..notifiers.telegram_lotto import send_urgent_signal
|
||||
from ..service_proxy import lotto_latest_draw
|
||||
|
||||
if self.state not in ("idle", "reporting"):
|
||||
return {"ok": False, "message": f"busy ({self.state})"}
|
||||
|
||||
task_id = create_task("lotto", "signal_check", {"source": source})
|
||||
try:
|
||||
curate_result = None
|
||||
current_draw_no = await lotto_latest_draw()
|
||||
|
||||
if source == "deep":
|
||||
from ..curator.pipeline import curate_weekly
|
||||
cw = await curate_weekly(source="signal_deep")
|
||||
curate_result = {"confidence": cw.get("confidence")}
|
||||
if cw.get("draw_no"):
|
||||
current_draw_no = cw.get("draw_no")
|
||||
|
||||
outcome = await run_signal_check(
|
||||
source=source,
|
||||
z_normal=LOTTO_Z_NORMAL,
|
||||
z_urgent=LOTTO_Z_URGENT,
|
||||
curate_result=curate_result,
|
||||
current_draw_no=current_draw_no,
|
||||
)
|
||||
|
||||
# urgent 텔레그램 + throttle (기존 동작 유지)
|
||||
if outcome["overall_fire"] == "urgent":
|
||||
if get_recent_urgent_count(hours=24) >= LOTTO_URGENT_DAILY_MAX:
|
||||
add_log("lotto", "urgent daily cap 도달 → normal로 강등", level="warning", task_id=task_id)
|
||||
else:
|
||||
blocked = False
|
||||
for r in outcome["results"]:
|
||||
if r["fire_level"] in ("normal", "urgent"):
|
||||
if get_last_signal_notification(
|
||||
metric=r["metric"], fire_level=r["fire_level"],
|
||||
hours=LOTTO_THROTTLE_HOURS,
|
||||
):
|
||||
blocked = True
|
||||
break
|
||||
if not blocked:
|
||||
from datetime import datetime, timezone
|
||||
event = {
|
||||
"fire_level": "urgent",
|
||||
"triggered_at": datetime.now(timezone.utc).isoformat(),
|
||||
"results": outcome["results"],
|
||||
}
|
||||
await send_urgent_signal(event)
|
||||
for r in outcome["results"]:
|
||||
if r["fire_level"] in ("normal", "urgent"):
|
||||
mark_signal_notified(r["signal_id"])
|
||||
add_log("lotto", f"urgent 텔레그램 발송 ({len(outcome['results'])}개 시그널)", task_id=task_id)
|
||||
|
||||
fired_metrics = [
|
||||
r["metric"] for r in outcome["results"]
|
||||
if r["fire_level"] not in ("noop", "warmup")
|
||||
]
|
||||
update_task_status(task_id, "succeeded", result_data={
|
||||
"source": source,
|
||||
"overall_fire": outcome["overall_fire"],
|
||||
"n_results": len(outcome["results"]),
|
||||
"fired_metrics": fired_metrics,
|
||||
})
|
||||
add_log("lotto", f"signal_check({source}) → {outcome['overall_fire']} results={len(outcome['results'])}", task_id=task_id)
|
||||
return {"ok": True, **outcome}
|
||||
except Exception as e:
|
||||
update_task_status(task_id, "failed", result_data={"error": str(e)})
|
||||
add_log("lotto", f"signal_check 예외: {e}", level="error", task_id=task_id)
|
||||
return {"ok": False, "message": f"{type(e).__name__}: {e}"}
|
||||
|
||||
async def run_daily_digest(self) -> dict:
|
||||
"""일일 요약 — 지난 24h normal/urgent 발화 텔레그램 1통. task_id wrap."""
|
||||
from ..db import (
|
||||
create_task, update_task_status, add_log,
|
||||
get_recent_lotto_signals, get_signals_history, get_baseline,
|
||||
)
|
||||
from ..notifiers.telegram_lotto import send_signal_summary
|
||||
|
||||
task_id = create_task("lotto", "daily_digest", {})
|
||||
try:
|
||||
sigs = get_recent_lotto_signals(hours=24, min_fire="normal")
|
||||
total_24h = get_signals_history(days=1)
|
||||
evaluated = len(total_24h)
|
||||
|
||||
trend = {}
|
||||
try:
|
||||
cache = get_baseline("drift_weights_cache")
|
||||
if cache and isinstance(cache["window_values"], list) and len(cache["window_values"]) >= 2:
|
||||
prev_w = cache["window_values"][-2]
|
||||
curr_w = cache["window_values"][-1]
|
||||
trend = {
|
||||
k: curr_w.get(k, 0.0) - prev_w.get(k, 0.0)
|
||||
for k in (set(prev_w) | set(curr_w))
|
||||
}
|
||||
except Exception as e:
|
||||
add_log("lotto", f"weights_trend 계산 실패: {e}", level="warning", task_id=task_id)
|
||||
|
||||
digest = {
|
||||
"evaluated": evaluated,
|
||||
"fired": len(sigs),
|
||||
"signals": sigs,
|
||||
"weights_trend": trend,
|
||||
}
|
||||
await send_signal_summary(digest)
|
||||
update_task_status(task_id, "succeeded", result_data={
|
||||
"evaluated": evaluated,
|
||||
"fired": len(sigs),
|
||||
"signals_count": len(sigs),
|
||||
})
|
||||
add_log("lotto", f"daily_digest 발송: 평가 {evaluated} / 발화 {len(sigs)}", task_id=task_id)
|
||||
return {"ok": True, **digest}
|
||||
except Exception as e:
|
||||
update_task_status(task_id, "failed", result_data={"error": str(e)})
|
||||
add_log("lotto", f"daily_digest 예외: {e}", level="error", task_id=task_id)
|
||||
return {"ok": False, "message": f"{type(e).__name__}: {e}"}
|
||||
|
||||
async def run_weekly_evolution_report(self) -> dict:
|
||||
"""토 22:15 — lotto-lab evaluate-now 트리거 후 텔레그램 리포트. task_id wrap."""
|
||||
from ..service_proxy import lotto_evolver_evaluate, lotto_evolver_status
|
||||
from ..notifiers.telegram_lotto import send_evolution_report
|
||||
from ..db import create_task, update_task_status, add_log
|
||||
|
||||
task_id = create_task("lotto", "weekly_evolution_report", {})
|
||||
try:
|
||||
eval_result = await lotto_evolver_evaluate()
|
||||
status = await lotto_evolver_status()
|
||||
current_base = status.get("current_base") or [0.2] * 5
|
||||
await send_evolution_report(eval_result, current_base)
|
||||
|
||||
winner = eval_result.get("winner") or {}
|
||||
update_task_status(task_id, "succeeded", result_data={
|
||||
"draw_no": eval_result.get("draw_no"),
|
||||
"update_reason": eval_result.get("update_reason"),
|
||||
"winner_day_of_week": winner.get("day_of_week"),
|
||||
"winner_max_correct": winner.get("max_correct"),
|
||||
})
|
||||
add_log("lotto", f"weekly_evolution_report 발송: draw={eval_result.get('draw_no')} reason={eval_result.get('update_reason')}", task_id=task_id)
|
||||
return {"ok": True, **eval_result}
|
||||
except Exception as e:
|
||||
update_task_status(task_id, "failed", result_data={"error": str(e)})
|
||||
add_log("lotto", f"weekly_evolution_report 예외: {e}", level="error", task_id=task_id)
|
||||
return {"ok": False, "message": f"{type(e).__name__}: {e}"}
|
||||
|
||||
async def sync_evolver_activity(self) -> dict:
|
||||
"""매일 09:30 — lotto-lab evolver 상태 polling → agent_office.db에 task+log 거울. 멱등."""
|
||||
from datetime import datetime, timezone, timedelta
|
||||
from ..service_proxy import lotto_evolver_status
|
||||
from ..db import (
|
||||
create_task, update_task_status, add_log,
|
||||
get_tasks_by_agent_date_kind,
|
||||
)
|
||||
|
||||
KST = timezone(timedelta(hours=9))
|
||||
today_kst = datetime.now(KST).date()
|
||||
# created_at은 UTC로 저장되므로 idempotency guard는 UTC 날짜 기준
|
||||
today_utc_iso = datetime.now(timezone.utc).date().isoformat()
|
||||
dow = today_kst.weekday()
|
||||
if dow == 6:
|
||||
dow = 5
|
||||
|
||||
try:
|
||||
status = await lotto_evolver_status()
|
||||
except Exception as e:
|
||||
add_log("lotto", f"sync_evolver_activity: lotto-lab status fetch 실패: {e}", level="warning")
|
||||
return {"ok": False, "reason": "status_fetch_failed", "error": str(e)}
|
||||
|
||||
results = {"created": []}
|
||||
|
||||
today_trial = next((t for t in status.get("trials", []) if t.get("day_of_week") == dow), None)
|
||||
if today_trial and today_trial.get("picks"):
|
||||
if not get_tasks_by_agent_date_kind("lotto", today_utc_iso, "evolver_apply"):
|
||||
tid = create_task("lotto", "evolver_apply", {
|
||||
"date": today_utc_iso,
|
||||
"trial_id": today_trial["id"],
|
||||
"day_of_week": dow,
|
||||
"weight": today_trial["weight"],
|
||||
})
|
||||
update_task_status(tid, "succeeded", result_data={
|
||||
"n_picks": len(today_trial["picks"]),
|
||||
"meta_scores": [p.get("meta_score") for p in today_trial["picks"]],
|
||||
})
|
||||
add_log("lotto", f"evolver_apply: 오늘({dow}) W로 {len(today_trial['picks'])}세트 추출", task_id=tid)
|
||||
results["created"].append("evolver_apply")
|
||||
|
||||
if today_kst.weekday() == 0 and len(status.get("trials", [])) == 6:
|
||||
if not get_tasks_by_agent_date_kind("lotto", today_utc_iso, "evolver_generate"):
|
||||
tid = create_task("lotto", "evolver_generate", {"week_start": status.get("week_start")})
|
||||
update_task_status(tid, "succeeded", result_data={
|
||||
"trials_count": 6,
|
||||
"candidates_per_source": {"perturb": 4, "dirichlet": 2},
|
||||
})
|
||||
add_log("lotto", f"evolver_generate: {status.get('week_start')} 주의 6 trials 생성", task_id=tid)
|
||||
results["created"].append("evolver_generate")
|
||||
|
||||
return {"ok": True, **results}
|
||||
|
||||
async def _run(self, source: str) -> dict:
|
||||
task_id = create_task(self.agent_id, "curate_weekly", {"source": source})
|
||||
await self.transition("working", "후보 수집 및 AI 큐레이션 중...", task_id)
|
||||
|
||||
@@ -44,7 +44,7 @@ class StockAgent(BaseAgent):
|
||||
display_name = "주식 트레이더"
|
||||
|
||||
async def on_schedule(self) -> None:
|
||||
if self.state not in ("idle", "break"):
|
||||
if self.state != "idle":
|
||||
return
|
||||
|
||||
task_id = create_task(self.agent_id, "news_summary", {"limit": 15})
|
||||
@@ -129,7 +129,7 @@ class StockAgent(BaseAgent):
|
||||
4) status=='success' → telegram_payload.text 를 parse_mode 그대로 전송
|
||||
5) 예외/실패 → 운영자에게 별도 텔레그램 알림 (HTML)
|
||||
"""
|
||||
if self.state not in ("idle", "break"):
|
||||
if self.state != "idle":
|
||||
return
|
||||
|
||||
task_id = create_task(self.agent_id, "screener_run", {"mode": "auto"})
|
||||
@@ -243,7 +243,7 @@ class StockAgent(BaseAgent):
|
||||
4) failures > 30% → 경고 알림 후 메인 메시지 발송
|
||||
5) 정상 → Top 5 호재/악재 메시지 발송 (MarkdownV2)
|
||||
"""
|
||||
if self.state not in ("idle", "break"):
|
||||
if self.state != "idle":
|
||||
return
|
||||
|
||||
task_id = create_task(self.agent_id, "ai_news_sentiment", {})
|
||||
|
||||
@@ -26,11 +26,15 @@ CORS_ALLOW_ORIGINS = os.getenv(
|
||||
"CORS_ALLOW_ORIGINS", "http://localhost:3007,http://localhost:8080"
|
||||
)
|
||||
|
||||
# Idle break threshold (seconds)
|
||||
IDLE_BREAK_THRESHOLD = int(os.getenv("IDLE_BREAK_THRESHOLD", "300")) # 5 min
|
||||
BREAK_DURATION_MIN = int(os.getenv("BREAK_DURATION_MIN", "60")) # 1 min
|
||||
BREAK_DURATION_MAX = int(os.getenv("BREAK_DURATION_MAX", "180")) # 3 min
|
||||
|
||||
# Lotto Curator
|
||||
LOTTO_BACKEND_URL = os.getenv("LOTTO_BACKEND_URL", "http://lotto:8000")
|
||||
LOTTO_CURATOR_MODEL = os.getenv("LOTTO_CURATOR_MODEL", "claude-sonnet-4-5")
|
||||
|
||||
# Lotto Active Signals
|
||||
LOTTO_SIGNAL_WINDOW = int(os.getenv("LOTTO_SIGNAL_WINDOW", "8"))
|
||||
LOTTO_Z_NORMAL = float(os.getenv("LOTTO_Z_NORMAL", "1.5"))
|
||||
LOTTO_Z_URGENT = float(os.getenv("LOTTO_Z_URGENT", "2.5"))
|
||||
LOTTO_DIGEST_HOUR = int(os.getenv("LOTTO_DIGEST_HOUR", "9"))
|
||||
LOTTO_DIGEST_MIN = int(os.getenv("LOTTO_DIGEST_MIN", "25"))
|
||||
LOTTO_THROTTLE_HOURS = int(os.getenv("LOTTO_THROTTLE_HOURS", "6"))
|
||||
LOTTO_URGENT_DAILY_MAX = int(os.getenv("LOTTO_URGENT_DAILY_MAX", "3"))
|
||||
|
||||
185
agent-office/app/curator/signal_runner.py
Normal file
@@ -0,0 +1,185 @@
|
||||
"""LottoAgent 능동 시그널 — DB I/O + cron 진입점 + 평가 orchestration."""
|
||||
from __future__ import annotations
|
||||
import logging
|
||||
from typing import Any, Dict, List, Optional
|
||||
|
||||
from .. import db
|
||||
from .. import service_proxy
|
||||
from . import signals
|
||||
|
||||
logger = logging.getLogger("agent-office.lotto-signals")
|
||||
|
||||
# 회차 단위 메트릭 (window push 시 last_pushed_draw_no 비교)
|
||||
DRAW_SCOPED_METRICS = {"drift", "confidence"}
|
||||
|
||||
|
||||
def _load_baseline(metric: str) -> signals.AdaptiveBaseline:
|
||||
row = db.get_baseline(metric)
|
||||
if row is None:
|
||||
return signals.AdaptiveBaseline(window=[], window_max=8)
|
||||
return signals.AdaptiveBaseline(
|
||||
window=list(row["window_values"]),
|
||||
window_max=8,
|
||||
last_pushed_draw_no=row.get("last_pushed_draw_no"),
|
||||
)
|
||||
|
||||
|
||||
def _save_baseline(metric: str, bl: signals.AdaptiveBaseline) -> None:
|
||||
db.upsert_baseline(
|
||||
metric=metric,
|
||||
window_values=bl.window,
|
||||
mu=bl.mu,
|
||||
sigma=bl.sigma,
|
||||
last_pushed_draw_no=bl.last_pushed_draw_no,
|
||||
)
|
||||
|
||||
|
||||
def evaluate_metric_and_persist(
|
||||
source: str,
|
||||
metric: str,
|
||||
value: float,
|
||||
draw_no: Optional[int],
|
||||
z_normal: float,
|
||||
z_urgent: float,
|
||||
push_to_window: bool,
|
||||
payload: Optional[Dict[str, Any]] = None,
|
||||
) -> Dict[str, Any]:
|
||||
"""단일 메트릭 평가 → lotto_signals INSERT → baseline 갱신.
|
||||
|
||||
회차 단위 메트릭(drift, confidence)은 같은 draw_no에서 window push 생략.
|
||||
"""
|
||||
bl = _load_baseline(metric)
|
||||
|
||||
# 회차 가드
|
||||
do_push = push_to_window
|
||||
if metric in DRAW_SCOPED_METRICS and draw_no is not None:
|
||||
if bl.last_pushed_draw_no == draw_no:
|
||||
do_push = False
|
||||
|
||||
# 평가는 push 전 baseline 기준
|
||||
z, fire = bl.evaluate(value=value, z_normal=z_normal, z_urgent=z_urgent)
|
||||
|
||||
if do_push:
|
||||
bl.push(value=value, draw_no=draw_no)
|
||||
_save_baseline(metric, bl)
|
||||
else:
|
||||
# cold start에서도 baseline row를 만들어 두려면 upsert 필요
|
||||
_save_baseline(metric, bl)
|
||||
|
||||
sid = db.insert_lotto_signal(
|
||||
source=source,
|
||||
metric=metric,
|
||||
value=value,
|
||||
baseline_mu=bl.mu if bl.size > 0 else None,
|
||||
baseline_sigma=bl.sigma if bl.size >= 2 else None,
|
||||
z_score=z,
|
||||
fire_level=fire,
|
||||
payload=payload,
|
||||
)
|
||||
return {
|
||||
"signal_id": sid,
|
||||
"metric": metric,
|
||||
"value": value,
|
||||
"baseline_mu": bl.mu if bl.size > 0 else None,
|
||||
"baseline_sigma": bl.sigma if bl.size >= 2 else None,
|
||||
"z_score": z,
|
||||
"fire_level": fire,
|
||||
"payload": payload or {},
|
||||
}
|
||||
|
||||
|
||||
# ---------- Service proxy thin wrappers (monkeypatch 대상) ----------
|
||||
|
||||
async def _fetch_best_picks() -> List[Dict[str, Any]]:
|
||||
return await service_proxy.lotto_best()
|
||||
|
||||
|
||||
async def _fetch_strategy_weights() -> Dict[str, float]:
|
||||
return await service_proxy.lotto_strategy_weights()
|
||||
|
||||
|
||||
# ---------- Orchestrator ----------
|
||||
|
||||
async def run_signal_check(
|
||||
source: str,
|
||||
z_normal: float = 1.5,
|
||||
z_urgent: float = 2.5,
|
||||
curate_result: Optional[Dict[str, Any]] = None,
|
||||
current_draw_no: Optional[int] = None,
|
||||
) -> Dict[str, Any]:
|
||||
"""cron 진입점. source ∈ {'light', 'sim', 'deep'}.
|
||||
|
||||
light/sim: Sim Consensus + Strategy Drift 평가
|
||||
deep: 위 2종 + Confidence (curate_result 필요)
|
||||
"""
|
||||
results: List[Dict[str, Any]] = []
|
||||
|
||||
# --- Sim Consensus ---
|
||||
try:
|
||||
best = await _fetch_best_picks()
|
||||
v = signals.sim_consensus_score(best)
|
||||
results.append(
|
||||
evaluate_metric_and_persist(
|
||||
source=source, metric="sim_signal",
|
||||
value=v, draw_no=None,
|
||||
z_normal=z_normal, z_urgent=z_urgent,
|
||||
push_to_window=True,
|
||||
payload={"top_count": min(len(best), 10)},
|
||||
)
|
||||
)
|
||||
except Exception as e:
|
||||
logger.warning(f"sim_consensus 평가 실패: {e}")
|
||||
|
||||
# --- Strategy Drift (회차 단위) ---
|
||||
try:
|
||||
w_curr = await _fetch_strategy_weights()
|
||||
# weights 캐시: lotto_baselines의 별도 metric 'drift_weights_cache'에 prev/curr 2개 보관
|
||||
prev_payload_row = db.get_baseline("drift_weights_cache")
|
||||
w_prev = prev_payload_row["window_values"] if prev_payload_row else None
|
||||
|
||||
if w_prev and isinstance(w_prev, list) and len(w_prev) > 0 and isinstance(w_prev[0], dict):
|
||||
prev_dict = w_prev[-1]
|
||||
drift_value = signals.strategy_drift_score(prev_dict, w_curr)
|
||||
results.append(
|
||||
evaluate_metric_and_persist(
|
||||
source=source, metric="drift",
|
||||
value=drift_value, draw_no=current_draw_no,
|
||||
z_normal=z_normal, z_urgent=z_urgent,
|
||||
push_to_window=True,
|
||||
payload={"weights_now": w_curr, "weights_prev": prev_dict},
|
||||
)
|
||||
)
|
||||
# weights 캐시 갱신 (최대 2개 FIFO)
|
||||
cache_window = (w_prev or []) + [w_curr]
|
||||
if len(cache_window) > 2:
|
||||
cache_window = cache_window[-2:]
|
||||
db.upsert_baseline(
|
||||
metric="drift_weights_cache",
|
||||
window_values=cache_window,
|
||||
mu=0.0, sigma=0.0,
|
||||
last_pushed_draw_no=current_draw_no,
|
||||
)
|
||||
except Exception as e:
|
||||
logger.warning(f"strategy_drift 평가 실패: {e}")
|
||||
|
||||
# --- Confidence (deep_check + curate_result 필수) ---
|
||||
if source == "deep" and curate_result is not None:
|
||||
try:
|
||||
cv = signals.confidence_score(curate_result)
|
||||
if cv is not None:
|
||||
results.append(
|
||||
evaluate_metric_and_persist(
|
||||
source=source, metric="confidence",
|
||||
value=cv, draw_no=current_draw_no,
|
||||
z_normal=z_normal, z_urgent=z_urgent,
|
||||
push_to_window=True,
|
||||
payload={"draw_no": current_draw_no},
|
||||
)
|
||||
)
|
||||
except Exception as e:
|
||||
logger.warning(f"confidence 평가 실패: {e}")
|
||||
|
||||
overall = signals.decide_overall_fire(
|
||||
[{"metric": r["metric"], "z": r["z_score"], "fire": r["fire_level"]} for r in results]
|
||||
)
|
||||
return {"overall_fire": overall, "results": results}
|
||||
150
agent-office/app/curator/signals.py
Normal file
@@ -0,0 +1,150 @@
|
||||
# agent-office/app/curator/signals.py
|
||||
"""LottoAgent 능동 모니터링 — 시그널 평가 & adaptive baseline (순수 함수).
|
||||
|
||||
DB I/O 없음. 입력은 모두 dict/list, 출력도 dict/list.
|
||||
signal_runner.py에서 DB 연동 + cron 진입점 담당.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
import math
|
||||
from dataclasses import dataclass, field
|
||||
from statistics import mean, stdev
|
||||
from typing import Any, Dict, List, Optional, Tuple
|
||||
|
||||
|
||||
# ---------- Metric: Sim Consensus ----------
|
||||
|
||||
def _normalize_columns(picks: List[Dict[str, Any]]) -> List[List[float]]:
|
||||
"""20개 후보의 5종 점수 컬럼별 min-max normalize → 후보별 5종 정규화 점수."""
|
||||
if not picks:
|
||||
return []
|
||||
n_metrics = len(picks[0]["scores"])
|
||||
columns = [[p["scores"][k] for p in picks] for k in range(n_metrics)]
|
||||
norms_per_col = []
|
||||
for col in columns:
|
||||
lo, hi = min(col), max(col)
|
||||
rng = hi - lo
|
||||
if rng == 0:
|
||||
# 모두 0이면 0.0(기하평균 페널티), 모두 동일한 양수면 0.5(타이 처리)
|
||||
fallback = 0.0 if lo == 0 else 0.5
|
||||
norms_per_col.append([fallback] * len(col))
|
||||
else:
|
||||
norms_per_col.append([(v - lo) / rng for v in col])
|
||||
return [
|
||||
[norms_per_col[k][i] for k in range(n_metrics)]
|
||||
for i in range(len(picks))
|
||||
]
|
||||
|
||||
|
||||
def _geomean(values: List[float]) -> float:
|
||||
"""기하평균. 0이 하나라도 있으면 0 (한 차원이 0인 후보 강하게 페널티)."""
|
||||
if not values:
|
||||
return 0.0
|
||||
if any(v <= 0 for v in values):
|
||||
return 0.0
|
||||
log_sum = sum(math.log(v) for v in values)
|
||||
return math.exp(log_sum / len(values))
|
||||
|
||||
|
||||
def sim_consensus_score(best_picks: List[Dict[str, Any]]) -> float:
|
||||
"""top-10 후보의 기하평균 consensus 평균."""
|
||||
if not best_picks:
|
||||
return 0.0
|
||||
normalized = _normalize_columns(best_picks)
|
||||
consensus = [_geomean(scores) for scores in normalized]
|
||||
consensus.sort(reverse=True)
|
||||
top = consensus[:10] if len(consensus) >= 10 else consensus
|
||||
return mean(top) if top else 0.0
|
||||
|
||||
|
||||
# ---------- Metric: Strategy Drift ----------
|
||||
|
||||
def strategy_drift_score(prev: Dict[str, float], curr: Dict[str, float]) -> float:
|
||||
"""가중치 변화 절댓값 합. 신규/소멸 전략도 가산."""
|
||||
keys = set(prev) | set(curr)
|
||||
return sum(abs(curr.get(k, 0.0) - prev.get(k, 0.0)) for k in keys)
|
||||
|
||||
|
||||
# ---------- Metric: Confidence ----------
|
||||
|
||||
def confidence_score(curate_result: Dict[str, Any]) -> Optional[float]:
|
||||
"""큐레이션 결과의 confidence를 0~1로 clamp. 없으면 None."""
|
||||
if "confidence" not in curate_result:
|
||||
return None
|
||||
v = float(curate_result["confidence"])
|
||||
return max(0.0, min(1.0, v))
|
||||
|
||||
|
||||
# ---------- Adaptive Baseline ----------
|
||||
|
||||
@dataclass
|
||||
class AdaptiveBaseline:
|
||||
window: List[float] = field(default_factory=list)
|
||||
window_max: int = 8
|
||||
last_pushed_draw_no: Optional[int] = None
|
||||
|
||||
@property
|
||||
def size(self) -> int:
|
||||
return len(self.window)
|
||||
|
||||
@property
|
||||
def mu(self) -> float:
|
||||
return mean(self.window) if self.window else 0.0
|
||||
|
||||
@property
|
||||
def sigma(self) -> float:
|
||||
return stdev(self.window) if len(self.window) >= 2 else 0.0
|
||||
|
||||
def push(self, value: float, draw_no: Optional[int] = None) -> None:
|
||||
"""FIFO push. window_max 초과 시 가장 오래된 값 제거."""
|
||||
self.window.append(float(value))
|
||||
if len(self.window) > self.window_max:
|
||||
self.window = self.window[-self.window_max:]
|
||||
if draw_no is not None:
|
||||
self.last_pushed_draw_no = draw_no
|
||||
|
||||
def evaluate(self, value: float, z_normal: float, z_urgent: float) -> Tuple[Optional[float], str]:
|
||||
"""z-score 계산 + fire_level 판정.
|
||||
|
||||
Returns:
|
||||
(z_score, fire_level) — z_score는 cold start/warmup이면 None.
|
||||
fire_level ∈ {'warmup', 'noop', 'normal', 'urgent'}
|
||||
|
||||
NOTE: z_score is None when sigma==0 (degenerate window) or warmup.
|
||||
Callers must treat None as "signal present but unquantified" — do not
|
||||
compare None with thresholds directly.
|
||||
"""
|
||||
if self.size < 4:
|
||||
return None, "warmup"
|
||||
|
||||
z_normal_eff = 2.0 if self.size < self.window_max else z_normal
|
||||
z_urgent_eff = z_urgent
|
||||
|
||||
if self.sigma == 0:
|
||||
return (None, "urgent") if value > self.mu else (None, "noop")
|
||||
|
||||
z = (value - self.mu) / self.sigma
|
||||
if z >= z_urgent_eff:
|
||||
return z, "urgent"
|
||||
if z >= z_normal_eff:
|
||||
return z, "normal"
|
||||
return z, "noop"
|
||||
|
||||
|
||||
# ---------- Combined fire decision ----------
|
||||
|
||||
def decide_overall_fire(signal_results: List[Dict[str, Any]]) -> str:
|
||||
"""3종 시그널을 종합해 전체 fire_level 결정.
|
||||
|
||||
Args:
|
||||
signal_results: [{"metric": str, "z": float|None, "fire": str}, ...]
|
||||
Returns:
|
||||
'noop' | 'normal' | 'urgent'
|
||||
"""
|
||||
fires = [s for s in signal_results if s["fire"] in ("normal", "urgent")]
|
||||
if any(s["fire"] == "urgent" for s in fires):
|
||||
return "urgent"
|
||||
if len(fires) >= 2:
|
||||
return "urgent"
|
||||
if len(fires) == 1:
|
||||
return "normal"
|
||||
return "noop"
|
||||
@@ -98,6 +98,39 @@ def init_db() -> None:
|
||||
completed_at TEXT
|
||||
)
|
||||
""")
|
||||
conn.execute("""
|
||||
CREATE TABLE IF NOT EXISTS lotto_signals (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
triggered_at TEXT NOT NULL DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now')),
|
||||
source TEXT NOT NULL,
|
||||
metric TEXT NOT NULL,
|
||||
value REAL NOT NULL,
|
||||
baseline_mu REAL,
|
||||
baseline_sigma REAL,
|
||||
z_score REAL,
|
||||
fire_level TEXT NOT NULL,
|
||||
notified_at TEXT,
|
||||
payload TEXT
|
||||
)
|
||||
""")
|
||||
conn.execute("""
|
||||
CREATE INDEX IF NOT EXISTS idx_ls_triggered
|
||||
ON lotto_signals(triggered_at DESC)
|
||||
""")
|
||||
conn.execute("""
|
||||
CREATE INDEX IF NOT EXISTS idx_ls_fire
|
||||
ON lotto_signals(fire_level, notified_at)
|
||||
""")
|
||||
conn.execute("""
|
||||
CREATE TABLE IF NOT EXISTS lotto_baselines (
|
||||
metric TEXT PRIMARY KEY,
|
||||
window_values TEXT NOT NULL DEFAULT '[]',
|
||||
mu REAL NOT NULL DEFAULT 0.0,
|
||||
sigma REAL NOT NULL DEFAULT 0.0,
|
||||
last_pushed_draw_no INTEGER,
|
||||
updated_at TEXT NOT NULL DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now'))
|
||||
)
|
||||
""")
|
||||
# Seed default agent configs
|
||||
for agent_id, name in [
|
||||
("stock", "주식 트레이더"),
|
||||
@@ -203,12 +236,24 @@ def get_task(task_id: str) -> Optional[Dict[str, Any]]:
|
||||
return _task_to_dict(r) if r else None
|
||||
|
||||
|
||||
def get_agent_tasks(agent_id: str, limit: int = 20) -> List[Dict[str, Any]]:
|
||||
def get_agent_tasks(
|
||||
agent_id: str,
|
||||
limit: int = 20,
|
||||
task_type: Optional[str] = None,
|
||||
days: Optional[int] = None,
|
||||
) -> List[Dict[str, Any]]:
|
||||
sql = "SELECT * FROM agent_tasks WHERE agent_id=?"
|
||||
params: List[Any] = [agent_id]
|
||||
if task_type is not None:
|
||||
sql += " AND task_type=?"
|
||||
params.append(task_type)
|
||||
if days is not None and days > 0:
|
||||
sql += " AND created_at >= datetime('now', ?)"
|
||||
params.append(f"-{int(days)} days")
|
||||
sql += " ORDER BY created_at DESC LIMIT ?"
|
||||
params.append(limit)
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
"SELECT * FROM agent_tasks WHERE agent_id=? ORDER BY created_at DESC LIMIT ?",
|
||||
(agent_id, limit),
|
||||
).fetchall()
|
||||
rows = conn.execute(sql, params).fetchall()
|
||||
return [_task_to_dict(r) for r in rows]
|
||||
|
||||
|
||||
@@ -556,3 +601,168 @@ def get_latest_youtube_research_job() -> Optional[Dict[str, Any]]:
|
||||
"started_at": row["started_at"],
|
||||
"completed_at": row["completed_at"],
|
||||
}
|
||||
|
||||
|
||||
# --- lotto_signals / lotto_baselines CRUD ---
|
||||
|
||||
def insert_lotto_signal(
|
||||
source: str,
|
||||
metric: str,
|
||||
value: float,
|
||||
baseline_mu: Optional[float],
|
||||
baseline_sigma: Optional[float],
|
||||
z_score: Optional[float],
|
||||
fire_level: str,
|
||||
payload: Optional[Dict[str, Any]] = None,
|
||||
) -> int:
|
||||
with _conn() as conn:
|
||||
cur = conn.execute(
|
||||
"""
|
||||
INSERT INTO lotto_signals
|
||||
(source, metric, value, baseline_mu, baseline_sigma, z_score, fire_level, payload)
|
||||
VALUES (?, ?, ?, ?, ?, ?, ?, ?)
|
||||
""",
|
||||
(
|
||||
source, metric, value,
|
||||
baseline_mu, baseline_sigma, z_score, fire_level,
|
||||
json.dumps(payload or {}, ensure_ascii=False),
|
||||
),
|
||||
)
|
||||
return cur.lastrowid
|
||||
|
||||
|
||||
def mark_signal_notified(signal_id: int) -> None:
|
||||
with _conn() as conn:
|
||||
conn.execute(
|
||||
"UPDATE lotto_signals SET notified_at = strftime('%Y-%m-%dT%H:%M:%fZ','now') WHERE id = ?",
|
||||
(signal_id,),
|
||||
)
|
||||
|
||||
|
||||
def get_recent_lotto_signals(hours: int = 24, min_fire: str = "normal") -> List[Dict[str, Any]]:
|
||||
"""지난 N시간 발화 시그널. min_fire='normal'이면 normal+urgent."""
|
||||
levels = ("urgent",) if min_fire == "urgent" else ("normal", "urgent")
|
||||
placeholders = ",".join("?" * len(levels))
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
f"""
|
||||
SELECT * FROM lotto_signals
|
||||
WHERE triggered_at >= datetime('now', ?)
|
||||
AND fire_level IN ({placeholders})
|
||||
ORDER BY triggered_at DESC
|
||||
""",
|
||||
(f"-{int(hours)} hours", *levels),
|
||||
).fetchall()
|
||||
return [dict(r) for r in rows]
|
||||
|
||||
|
||||
def get_signals_history(days: int = 7) -> List[Dict[str, Any]]:
|
||||
"""차트/이력 페이지용 — 모든 fire_level 포함."""
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
"""
|
||||
SELECT * FROM lotto_signals
|
||||
WHERE triggered_at >= datetime('now', ?)
|
||||
ORDER BY triggered_at DESC
|
||||
""",
|
||||
(f"-{int(days)} days",),
|
||||
).fetchall()
|
||||
return [dict(r) for r in rows]
|
||||
|
||||
|
||||
def get_recent_urgent_count(hours: int = 24) -> int:
|
||||
with _conn() as conn:
|
||||
row = conn.execute(
|
||||
"""
|
||||
SELECT COUNT(*) AS c FROM lotto_signals
|
||||
WHERE triggered_at >= datetime('now', ?)
|
||||
AND fire_level = 'urgent'
|
||||
AND notified_at IS NOT NULL
|
||||
""",
|
||||
(f"-{int(hours)} hours",),
|
||||
).fetchone()
|
||||
return int(row["c"]) if row else 0
|
||||
|
||||
|
||||
def get_last_signal_notification(metric: str, fire_level: str, hours: int) -> Optional[str]:
|
||||
"""같은 metric+fire_level이 hours 내에 알림 발송된 마지막 시각. throttle용."""
|
||||
with _conn() as conn:
|
||||
row = conn.execute(
|
||||
"""
|
||||
SELECT notified_at FROM lotto_signals
|
||||
WHERE metric = ?
|
||||
AND fire_level = ?
|
||||
AND notified_at IS NOT NULL
|
||||
AND notified_at >= datetime('now', ?)
|
||||
ORDER BY notified_at DESC LIMIT 1
|
||||
""",
|
||||
(metric, fire_level, f"-{int(hours)} hours"),
|
||||
).fetchone()
|
||||
return row["notified_at"] if row else None
|
||||
|
||||
|
||||
def get_baseline(metric: str) -> Optional[Dict[str, Any]]:
|
||||
with _conn() as conn:
|
||||
row = conn.execute(
|
||||
"SELECT * FROM lotto_baselines WHERE metric = ?",
|
||||
(metric,),
|
||||
).fetchone()
|
||||
if not row:
|
||||
return None
|
||||
d = dict(row)
|
||||
d["window_values"] = json.loads(d["window_values"])
|
||||
return d
|
||||
|
||||
|
||||
def upsert_baseline(
|
||||
metric: str,
|
||||
window_values: List[float],
|
||||
mu: float,
|
||||
sigma: float,
|
||||
last_pushed_draw_no: Optional[int],
|
||||
) -> None:
|
||||
with _conn() as conn:
|
||||
conn.execute(
|
||||
"""
|
||||
INSERT INTO lotto_baselines
|
||||
(metric, window_values, mu, sigma, last_pushed_draw_no, updated_at)
|
||||
VALUES (?, ?, ?, ?, ?, strftime('%Y-%m-%dT%H:%M:%fZ','now'))
|
||||
ON CONFLICT(metric) DO UPDATE SET
|
||||
window_values = excluded.window_values,
|
||||
mu = excluded.mu,
|
||||
sigma = excluded.sigma,
|
||||
last_pushed_draw_no = excluded.last_pushed_draw_no,
|
||||
updated_at = excluded.updated_at
|
||||
""",
|
||||
(
|
||||
metric,
|
||||
json.dumps(window_values),
|
||||
mu, sigma, last_pushed_draw_no,
|
||||
),
|
||||
)
|
||||
|
||||
|
||||
def get_all_baselines() -> List[Dict[str, Any]]:
|
||||
with _conn() as conn:
|
||||
rows = conn.execute("SELECT * FROM lotto_baselines ORDER BY metric").fetchall()
|
||||
out = []
|
||||
for r in rows:
|
||||
d = dict(r)
|
||||
d["window_values"] = json.loads(d["window_values"])
|
||||
out.append(d)
|
||||
return out
|
||||
|
||||
|
||||
def get_tasks_by_agent_date_kind(agent_id: str, date_iso: str, task_type: str) -> List[Dict[str, Any]]:
|
||||
"""같은 (agent, date, task_type)으로 이미 생성된 task 조회. 멱등 guard."""
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
"""
|
||||
SELECT * FROM agent_tasks
|
||||
WHERE agent_id = ? AND task_type = ?
|
||||
AND substr(created_at, 1, 10) = ?
|
||||
ORDER BY created_at DESC
|
||||
""",
|
||||
(agent_id, task_type, date_iso),
|
||||
).fetchall()
|
||||
return [_task_to_dict(r) for r in rows]
|
||||
|
||||
@@ -1,5 +1,6 @@
|
||||
import os
|
||||
import json
|
||||
from typing import Optional
|
||||
from fastapi import FastAPI, HTTPException, WebSocket, WebSocketDisconnect
|
||||
from fastapi.middleware.cors import CORSMiddleware
|
||||
|
||||
@@ -104,8 +105,15 @@ def update_agent(agent_id: str, body: AgentConfigUpdate):
|
||||
return {"ok": True}
|
||||
|
||||
@app.get("/api/agent-office/agents/{agent_id}/tasks")
|
||||
def agent_tasks(agent_id: str, limit: int = 20):
|
||||
return {"tasks": get_agent_tasks(agent_id, limit)}
|
||||
def agent_tasks(
|
||||
agent_id: str,
|
||||
limit: int = 20,
|
||||
task_type: Optional[str] = None,
|
||||
days: Optional[int] = None,
|
||||
):
|
||||
tasks_list = get_agent_tasks(agent_id, limit=limit, task_type=task_type, days=days)
|
||||
# Backward compat: 기존 client는 'tasks', 신규 client는 'items' 사용
|
||||
return {"tasks": tasks_list, "items": tasks_list}
|
||||
|
||||
@app.get("/api/agent-office/agents/{agent_id}/logs")
|
||||
def agent_logs(agent_id: str, limit: int = 50):
|
||||
@@ -227,3 +235,30 @@ def youtube_research_status():
|
||||
if not job:
|
||||
return {"status": "never_run"}
|
||||
return job
|
||||
|
||||
|
||||
# --- Lotto Signal Endpoints ---
|
||||
|
||||
@app.get("/api/agent-office/lotto/signals")
|
||||
async def list_lotto_signals(days: int = 7):
|
||||
"""시그널 이력 (모든 fire_level)."""
|
||||
from .db import get_signals_history
|
||||
return {"items": get_signals_history(days=days)}
|
||||
|
||||
|
||||
@app.get("/api/agent-office/lotto/baselines")
|
||||
async def list_lotto_baselines():
|
||||
"""현재 baseline μ/σ + window 상태."""
|
||||
from .db import get_all_baselines
|
||||
return {"items": get_all_baselines()}
|
||||
|
||||
|
||||
@app.post("/api/agent-office/lotto/signal-check")
|
||||
async def trigger_signal_check(source: str = "light"):
|
||||
"""수동 트리거 (디버그·테스트용). source ∈ {light, sim, deep}."""
|
||||
if source not in ("light", "sim", "deep"):
|
||||
raise HTTPException(status_code=400, detail="source must be light/sim/deep")
|
||||
agent = AGENT_REGISTRY.get("lotto")
|
||||
if not agent:
|
||||
raise HTTPException(status_code=503, detail="lotto agent not registered")
|
||||
return await agent.run_signal_check(source=source)
|
||||
|
||||
@@ -1,6 +1,6 @@
|
||||
"""로또 큐레이션·당첨 알림 — 텔레그램 푸시."""
|
||||
import logging
|
||||
from typing import Dict, Any
|
||||
from typing import Dict, Any, List
|
||||
|
||||
# 기존 에이전트들과 동일한 패턴: send_raw(text, reply_markup=None, chat_id=None)
|
||||
# chat_id 생략 시 기본 TELEGRAM_CHAT_ID로 자동 발송.
|
||||
@@ -59,3 +59,169 @@ async def send_prize_alert(event: Dict[str, Any]) -> None:
|
||||
await send_raw(text)
|
||||
except Exception as e:
|
||||
logger.warning(f"[telegram_lotto] prize alert send failed: {e}")
|
||||
|
||||
|
||||
# ---------- 능동 시그널 알림 (urgent + digest) ----------
|
||||
|
||||
_METRIC_LABEL = {
|
||||
"sim_signal": "Sim Consensus",
|
||||
"drift": "Strategy Drift",
|
||||
"confidence": "Confidence",
|
||||
}
|
||||
|
||||
|
||||
def _format_urgent_signal(event: Dict[str, Any]) -> str:
|
||||
"""긴급 시그널 텔레그램 메시지 포맷."""
|
||||
triggered = event.get("triggered_at", "")[:19].replace("T", " ")
|
||||
results = event.get("results", [])
|
||||
fired = [r for r in results if r.get("fire_level") in ("normal", "urgent")]
|
||||
|
||||
lines = [
|
||||
"🚨 로또 능동 신호",
|
||||
"",
|
||||
f"[{triggered}]",
|
||||
f"강한 시그널 {len(fired)}종 발화:",
|
||||
]
|
||||
for r in fired:
|
||||
label = _METRIC_LABEL.get(r["metric"], r["metric"])
|
||||
v = r.get("value")
|
||||
mu = r.get("baseline_mu")
|
||||
sigma = r.get("baseline_sigma")
|
||||
z = r.get("z_score")
|
||||
v_text = f"{v:.2f}" if v is not None else "N/A"
|
||||
if mu is not None and sigma is not None and z is not None:
|
||||
lines.append(f"• {label} {v_text} (μ={mu:.2f}, σ={sigma:.2f}) z={z:.1f}")
|
||||
else:
|
||||
lines.append(f"• {label} {v_text}")
|
||||
|
||||
# drift 페이로드 — 어떤 전략이 변동했는지 한 줄
|
||||
for r in fired:
|
||||
if r["metric"] == "drift":
|
||||
wn = (r.get("payload") or {}).get("weights_now") or {}
|
||||
wp = (r.get("payload") or {}).get("weights_prev") or {}
|
||||
if wn and wp:
|
||||
diffs = {k: wn.get(k, 0) - wp.get(k, 0) for k in (set(wn) | set(wp))}
|
||||
top = sorted(diffs.items(), key=lambda kv: abs(kv[1]), reverse=True)[:2]
|
||||
detail = ", ".join(f"{k} {'+' if d>=0 else ''}{d*100:.0f}%p" for k, d in top)
|
||||
lines.append("")
|
||||
lines.append(f"요인: {detail}")
|
||||
break
|
||||
|
||||
lines.append("")
|
||||
lines.append(f"[자세히 보기] ({LOTTO_URL}/agent)")
|
||||
return "\n".join(lines)
|
||||
|
||||
|
||||
def _format_signal_digest(digest: Dict[str, Any]) -> str:
|
||||
"""일일 요약 메시지. 발화 0건이면 빈 문자열 (발송 skip 신호)."""
|
||||
fired = int(digest.get("fired", 0))
|
||||
if fired == 0:
|
||||
return ""
|
||||
|
||||
signals_list = digest.get("signals", [])
|
||||
evaluated = digest.get("evaluated", 0)
|
||||
|
||||
lines = [
|
||||
"📊 로또 일일 요약 (지난 24h)",
|
||||
"",
|
||||
f"평가 {evaluated}회 / 발화 {fired}회",
|
||||
]
|
||||
for s in signals_list:
|
||||
label = _METRIC_LABEL.get(s["metric"], s["metric"])
|
||||
z = s.get("z_score")
|
||||
when = (s.get("triggered_at") or "")[11:16] # HH:MM
|
||||
z_text = f"z={z:.1f}" if z is not None else "z=-"
|
||||
lines.append(f"• {label:14s} {s['fire_level']:6s} {z_text} ({when})")
|
||||
|
||||
weights_trend = digest.get("weights_trend") or {}
|
||||
if weights_trend:
|
||||
lines += ["", "전략 가중치 추세 (최근 8회 baseline):"]
|
||||
for strategy, delta in sorted(weights_trend.items(), key=lambda kv: -abs(kv[1])):
|
||||
arrow = "↑" if delta > 0.01 else ("↓" if delta < -0.01 else "→")
|
||||
lines.append(f" {strategy:12s} {arrow} {delta*100:+.0f}%")
|
||||
|
||||
return "\n".join(lines)
|
||||
|
||||
|
||||
async def send_urgent_signal(event: Dict[str, Any]) -> None:
|
||||
text = _format_urgent_signal(event)
|
||||
try:
|
||||
await send_raw(text)
|
||||
except Exception as e:
|
||||
logger.warning(f"[telegram_lotto] urgent signal send failed: {e}")
|
||||
|
||||
|
||||
async def send_signal_summary(digest: Dict[str, Any]) -> None:
|
||||
text = _format_signal_digest(digest)
|
||||
if not text:
|
||||
return # 발화 0건이면 발송 skip
|
||||
try:
|
||||
await send_raw(text)
|
||||
except Exception as e:
|
||||
logger.warning(f"[telegram_lotto] digest send failed: {e}")
|
||||
|
||||
|
||||
# ---------- Weight Evolver 주간 리포트 ----------
|
||||
|
||||
_DAY_NAMES = ["월", "화", "수", "목", "금", "토"]
|
||||
_METRIC_NAMES = ["freq", "finger", "gap", "cooccur", "divers"]
|
||||
_REASON_LABEL = {
|
||||
"winner_4plus": "4개 이상 일치 → base 교체",
|
||||
"ema_blend": "3개 일치 → EMA blend (0.3)",
|
||||
"unchanged": "유효 성과 없음 → base 유지",
|
||||
"cold_start": "초기 균등 적용",
|
||||
}
|
||||
|
||||
|
||||
def _format_evolution_report(eval_result: Dict[str, Any], current_base: List[float]) -> str:
|
||||
"""주간 weight evolution 텔레그램 메시지. ok=False 또는 winner 없으면 빈 문자열."""
|
||||
if not eval_result or "winner" not in eval_result:
|
||||
return ""
|
||||
|
||||
draw_no = eval_result.get("draw_no", "?")
|
||||
winner = eval_result["winner"]
|
||||
new_base = eval_result.get("new_base") or [0.0] * 5
|
||||
reason = eval_result.get("update_reason", "")
|
||||
dow = winner.get("day_of_week", 0)
|
||||
day_name = _DAY_NAMES[dow] if 0 <= dow < len(_DAY_NAMES) else "?"
|
||||
|
||||
lines = [
|
||||
f"🧬 로또 학습 주간 리포트 ({draw_no}회차)",
|
||||
"",
|
||||
f"이번주 시도: 6일 × {winner.get('n_picks', 5)}세트",
|
||||
"",
|
||||
f"🏆 Winner: {day_name}요일",
|
||||
f" W = [" + ", ".join(
|
||||
f"{name} {w:.2f}" for name, w in zip(_METRIC_NAMES, winner["weight"])
|
||||
) + "]",
|
||||
f" 최고 적중: {winner.get('max_correct', 0)}개 일치 (max={winner.get('max_correct', 0)})",
|
||||
f" 평균 점수: {winner.get('avg_score', 0):.2f}",
|
||||
"",
|
||||
f"📊 다음주 base 변경 ({reason}):",
|
||||
]
|
||||
# 우선순위: eval_result.previous_base > current_base (eval 직후 stale) > 균등 fallback
|
||||
base_now = eval_result.get("previous_base") or current_base or [0.2] * 5
|
||||
for i, (cur, new) in enumerate(zip(base_now, new_base)):
|
||||
diff = new - cur
|
||||
if abs(diff) < 0.005:
|
||||
marker = "="
|
||||
elif diff > 0:
|
||||
marker = "+" if diff < 0.05 else "++"
|
||||
else:
|
||||
marker = "-" if diff > -0.05 else "--"
|
||||
lines.append(f" {_METRIC_NAMES[i]:8s} {cur:.2f} → {new:.2f} ({marker})")
|
||||
lines.append("")
|
||||
lines.append(f" → {_REASON_LABEL.get(reason, reason)}")
|
||||
lines.append("")
|
||||
lines.append(f"[웹에서 차트 보기] ({LOTTO_URL}/evolver)")
|
||||
return "\n".join(lines)
|
||||
|
||||
|
||||
async def send_evolution_report(eval_result: Dict[str, Any], current_base: List[float]) -> None:
|
||||
text = _format_evolution_report(eval_result, current_base)
|
||||
if not text:
|
||||
return
|
||||
try:
|
||||
await send_raw(text)
|
||||
except Exception as e:
|
||||
logger.warning(f"[telegram_lotto] evolution report send failed: {e}")
|
||||
|
||||
@@ -5,10 +5,6 @@ from .agents import AGENT_REGISTRY
|
||||
|
||||
scheduler = AsyncIOScheduler(timezone="Asia/Seoul")
|
||||
|
||||
async def _check_idle_breaks():
|
||||
for agent in AGENT_REGISTRY.values():
|
||||
await agent.check_idle_break()
|
||||
|
||||
async def _run_stock_schedule():
|
||||
agent = AGENT_REGISTRY.get("stock")
|
||||
if agent:
|
||||
@@ -40,6 +36,36 @@ async def _run_lotto_schedule():
|
||||
if agent:
|
||||
await agent.on_schedule()
|
||||
|
||||
async def _run_lotto_light_check():
|
||||
agent = AGENT_REGISTRY.get("lotto")
|
||||
if agent:
|
||||
await agent.run_signal_check(source="light")
|
||||
|
||||
async def _run_lotto_sim_check():
|
||||
agent = AGENT_REGISTRY.get("lotto")
|
||||
if agent:
|
||||
await agent.run_signal_check(source="sim")
|
||||
|
||||
async def _run_lotto_deep_check():
|
||||
agent = AGENT_REGISTRY.get("lotto")
|
||||
if agent:
|
||||
await agent.run_signal_check(source="deep")
|
||||
|
||||
async def _run_lotto_daily_digest():
|
||||
agent = AGENT_REGISTRY.get("lotto")
|
||||
if agent:
|
||||
await agent.run_daily_digest()
|
||||
|
||||
async def _run_lotto_weekly_evolution_report():
|
||||
agent = AGENT_REGISTRY.get("lotto")
|
||||
if agent:
|
||||
await agent.run_weekly_evolution_report()
|
||||
|
||||
async def _run_lotto_sync_evolver_activity():
|
||||
agent = AGENT_REGISTRY.get("lotto")
|
||||
if agent:
|
||||
await agent.sync_evolver_activity()
|
||||
|
||||
async def _run_youtube_research():
|
||||
agent = AGENT_REGISTRY.get("youtube")
|
||||
if agent:
|
||||
@@ -74,10 +100,21 @@ def init_scheduler():
|
||||
id="stock_ai_news_sentiment",
|
||||
)
|
||||
scheduler.add_job(_run_insta_schedule, "cron", hour=9, minute=30, id="insta_pipeline")
|
||||
scheduler.add_job(_run_insta_trends_collect, "cron", hour=9, minute=0, id="insta_trends_collect")
|
||||
scheduler.add_job(_run_lotto_schedule, "cron", day_of_week="mon", hour=9, minute=0, id="lotto_curate")
|
||||
scheduler.add_job(_run_youtube_research, "cron", hour=9, minute=0, id="youtube_research")
|
||||
# 외부 트렌드 수집은 장 마감 후 16:40 — 9시 주식 활발 시간대 NAS 자원 회피.
|
||||
# screener(16:30)와 10분 스태거: Celeron 2C/2.0GHz 동시 실행 시 CPU 폭주 방지 (CHECK_POINT FU-A)
|
||||
scheduler.add_job(_run_insta_trends_collect, "cron", hour=16, minute=40, id="insta_trends_collect")
|
||||
scheduler.add_job(_run_lotto_schedule, "cron", day_of_week="mon", hour=9, minute=5, id="lotto_curate")
|
||||
scheduler.add_job(_run_lotto_light_check, "cron", hour=9, minute=15, id="lotto_light_check")
|
||||
scheduler.add_job(_run_lotto_sim_check, "cron", minute=15, hour="0,4,8,12,16,20", id="lotto_sim_check")
|
||||
scheduler.add_job(_run_lotto_deep_check, "cron", day_of_week="sun,wed", hour=21, minute=15, id="lotto_deep_check")
|
||||
scheduler.add_job(_run_lotto_daily_digest, "cron", hour=9, minute=25, id="lotto_digest")
|
||||
scheduler.add_job(_run_lotto_weekly_evolution_report, "cron", day_of_week="sat", hour=22, minute=15, id="lotto_evolution_weekly")
|
||||
scheduler.add_job(
|
||||
_run_lotto_sync_evolver_activity,
|
||||
"cron", hour=9, minute=30,
|
||||
id="lotto_evolver_activity_sync",
|
||||
)
|
||||
scheduler.add_job(_run_youtube_research, "cron", hour=9, minute=10, id="youtube_research")
|
||||
scheduler.add_job(_send_youtube_weekly_report, "cron", day_of_week="mon", hour=8, minute=0, id="youtube_weekly_report")
|
||||
scheduler.add_job(_check_idle_breaks, "interval", seconds=60, id="idle_check")
|
||||
scheduler.add_job(_poll_pipelines, "interval", seconds=30, id="pipeline_poll")
|
||||
scheduler.start()
|
||||
|
||||
@@ -338,3 +338,59 @@ async def lookup_pipeline_by_msg(msg_id: int) -> Optional[dict]:
|
||||
if resp.status_code == 200:
|
||||
return resp.json()
|
||||
return None
|
||||
|
||||
|
||||
async def lotto_best() -> List[Dict[str, Any]]:
|
||||
"""GET /api/lotto/best — best_picks 20개 (numbers + scores 5종)."""
|
||||
from .config import LOTTO_BACKEND_URL
|
||||
resp = await _client.get(f"{LOTTO_BACKEND_URL}/api/lotto/best")
|
||||
resp.raise_for_status()
|
||||
data = resp.json()
|
||||
items = data.get("items") if isinstance(data, dict) else data
|
||||
return items or []
|
||||
|
||||
|
||||
async def lotto_strategy_weights() -> Dict[str, float]:
|
||||
"""GET /api/lotto/strategy/weights — 전략별 가중치 dict."""
|
||||
from .config import LOTTO_BACKEND_URL
|
||||
resp = await _client.get(f"{LOTTO_BACKEND_URL}/api/lotto/strategy/weights")
|
||||
resp.raise_for_status()
|
||||
data = resp.json()
|
||||
weights = data.get("weights") if isinstance(data, dict) else data
|
||||
if isinstance(weights, list):
|
||||
return {item["strategy"]: float(item["weight"]) for item in weights}
|
||||
return {k: float(v) for k, v in (weights or {}).items()}
|
||||
|
||||
|
||||
async def lotto_latest_draw() -> Optional[int]:
|
||||
"""GET /api/lotto/latest — 최신 회차 번호만 반환."""
|
||||
from .config import LOTTO_BACKEND_URL
|
||||
try:
|
||||
resp = await _client.get(f"{LOTTO_BACKEND_URL}/api/lotto/latest")
|
||||
resp.raise_for_status()
|
||||
data = resp.json()
|
||||
# /api/lotto/latest 응답 키: {"drawNo": N, ...}
|
||||
# 하위 호환을 위해 drawNo, draw_no, drwNo, draw 순서로 시도
|
||||
for key in ("drawNo", "draw_no", "drwNo", "draw"):
|
||||
if isinstance(data, dict) and data.get(key):
|
||||
return int(data[key])
|
||||
return None
|
||||
except Exception:
|
||||
return None
|
||||
|
||||
|
||||
async def lotto_evolver_status() -> Dict[str, Any]:
|
||||
"""GET /api/lotto/evolver/status — 이번주 trials + 다음주 base 정보."""
|
||||
from .config import LOTTO_BACKEND_URL
|
||||
resp = await _client.get(f"{LOTTO_BACKEND_URL}/api/lotto/evolver/status")
|
||||
resp.raise_for_status()
|
||||
return resp.json()
|
||||
|
||||
|
||||
async def lotto_evolver_evaluate() -> Dict[str, Any]:
|
||||
"""POST /api/lotto/evolver/evaluate-now — 회고 트리거 (텔레그램 리포트용)."""
|
||||
from .config import LOTTO_BACKEND_URL
|
||||
async with httpx.AsyncClient(timeout=60.0) as client:
|
||||
resp = await client.post(f"{LOTTO_BACKEND_URL}/api/lotto/evolver/evaluate-now")
|
||||
resp.raise_for_status()
|
||||
return resp.json()
|
||||
|
||||
55
agent-office/tests/test_insta_keyword_filter.py
Normal file
@@ -0,0 +1,55 @@
|
||||
import os
|
||||
import sys
|
||||
import tempfile
|
||||
|
||||
_fd, _TMP = tempfile.mkstemp(suffix=".db")
|
||||
os.close(_fd)
|
||||
os.unlink(_TMP)
|
||||
os.environ["AGENT_OFFICE_DB_PATH"] = _TMP
|
||||
|
||||
sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
|
||||
|
||||
from app.agents.insta import _dedup_and_filter_keywords, KEYWORD_MIN_SCORE
|
||||
|
||||
|
||||
def test_filters_below_threshold():
|
||||
"""score < 임계값(0.7) 키워드는 제외."""
|
||||
kws = [
|
||||
{"id": 1, "keyword": "금리인하", "category": "경제", "score": 0.9},
|
||||
{"id": 2, "keyword": "환율", "category": "경제", "score": 0.6}, # 컷
|
||||
{"id": 3, "keyword": "반도체", "category": "경제", "score": 0.71},
|
||||
]
|
||||
out = _dedup_and_filter_keywords(kws, min_score=0.7)
|
||||
kept = {k["keyword"] for k in out}
|
||||
assert kept == {"금리인하", "반도체"}
|
||||
|
||||
|
||||
def test_dedup_keeps_highest_score():
|
||||
"""동일 keyword 중복 시 최고 score 1개만 유지."""
|
||||
kws = [
|
||||
{"id": 1, "keyword": "AI", "category": "경제", "score": 0.75},
|
||||
{"id": 2, "keyword": "AI", "category": "기술", "score": 0.92}, # 같은 키워드, 더 높음
|
||||
]
|
||||
out = _dedup_and_filter_keywords(kws, min_score=0.7)
|
||||
assert len(out) == 1
|
||||
assert out[0]["id"] == 2
|
||||
assert out[0]["score"] == 0.92
|
||||
|
||||
|
||||
def test_sorted_by_score_desc():
|
||||
kws = [
|
||||
{"id": 1, "keyword": "a", "category": "c", "score": 0.72},
|
||||
{"id": 2, "keyword": "b", "category": "c", "score": 0.95},
|
||||
{"id": 3, "keyword": "c", "category": "c", "score": 0.80},
|
||||
]
|
||||
out = _dedup_and_filter_keywords(kws, min_score=0.7)
|
||||
assert [k["keyword"] for k in out] == ["b", "c", "a"]
|
||||
|
||||
|
||||
def test_empty_when_all_below_threshold():
|
||||
kws = [{"id": 1, "keyword": "x", "category": "c", "score": 0.4}]
|
||||
assert _dedup_and_filter_keywords(kws, min_score=0.7) == []
|
||||
|
||||
|
||||
def test_default_threshold_is_0_7():
|
||||
assert KEYWORD_MIN_SCORE == 0.7
|
||||
87
agent-office/tests/test_lotto_evolution_format.py
Normal file
@@ -0,0 +1,87 @@
|
||||
import sys, os
|
||||
sys.path.insert(0, os.path.dirname(os.path.dirname(__file__)))
|
||||
|
||||
from app.notifiers.telegram_lotto import _format_evolution_report
|
||||
|
||||
|
||||
def test_evolution_report_winner_4plus():
|
||||
eval_result = {
|
||||
"ok": True,
|
||||
"draw_no": 1225,
|
||||
"week_start": "2026-05-18",
|
||||
"winner": {
|
||||
"day_of_week": 3,
|
||||
"weight": [0.18, 0.32, 0.20, 0.22, 0.08],
|
||||
"avg_score": 0.42,
|
||||
"max_correct": 4,
|
||||
"n_picks": 5,
|
||||
},
|
||||
"new_base": [0.18, 0.32, 0.20, 0.22, 0.08],
|
||||
"previous_base": [0.20, 0.20, 0.20, 0.20, 0.20],
|
||||
"update_reason": "winner_4plus",
|
||||
"per_day": [
|
||||
{"day_of_week": 0, "avg_score": 0.20, "max_correct": 2},
|
||||
{"day_of_week": 3, "avg_score": 0.42, "max_correct": 4},
|
||||
],
|
||||
}
|
||||
current_base = [0.20, 0.20, 0.20, 0.20, 0.20]
|
||||
text = _format_evolution_report(eval_result, current_base)
|
||||
assert "🧬" in text
|
||||
assert "1225" in text
|
||||
assert "목요일" in text or "Winner" in text
|
||||
assert "4개 일치" in text or "max=4" in text
|
||||
assert "winner_4plus" in text
|
||||
|
||||
|
||||
def test_evolution_report_unchanged():
|
||||
eval_result = {
|
||||
"ok": True,
|
||||
"draw_no": 1226,
|
||||
"week_start": "2026-05-25",
|
||||
"winner": {
|
||||
"day_of_week": 1,
|
||||
"weight": [0.21, 0.19, 0.20, 0.20, 0.20],
|
||||
"avg_score": 0.10,
|
||||
"max_correct": 2,
|
||||
"n_picks": 5,
|
||||
},
|
||||
"new_base": [0.20, 0.20, 0.20, 0.20, 0.20],
|
||||
"update_reason": "unchanged",
|
||||
"per_day": [],
|
||||
}
|
||||
current_base = [0.20, 0.20, 0.20, 0.20, 0.20]
|
||||
text = _format_evolution_report(eval_result, current_base)
|
||||
assert "unchanged" in text or "유지" in text
|
||||
assert "2개 일치" in text or "max=2" in text
|
||||
|
||||
|
||||
def test_evolution_report_empty_returns_empty():
|
||||
"""evaluate가 ok=False면 빈 문자열 (발송 skip)."""
|
||||
text = _format_evolution_report({"ok": False, "reason": "no_trials"}, [0.2]*5)
|
||||
assert text == ""
|
||||
|
||||
|
||||
def test_evolution_report_uses_previous_base_for_diff():
|
||||
"""previous_base와 new_base 차이가 메시지 diff에 정확히 반영됨."""
|
||||
eval_result = {
|
||||
"ok": True,
|
||||
"draw_no": 1227,
|
||||
"winner": {
|
||||
"day_of_week": 0,
|
||||
"weight": [0.30, 0.20, 0.20, 0.20, 0.10],
|
||||
"avg_score": 0.50,
|
||||
"max_correct": 4,
|
||||
"n_picks": 5,
|
||||
},
|
||||
"new_base": [0.30, 0.20, 0.20, 0.20, 0.10],
|
||||
"previous_base": [0.20, 0.20, 0.20, 0.20, 0.20],
|
||||
"update_reason": "winner_4plus",
|
||||
}
|
||||
# current_base는 stale (post-update 값) — previous_base가 우선 적용되어야 함
|
||||
text = _format_evolution_report(eval_result, [0.30, 0.20, 0.20, 0.20, 0.10])
|
||||
# freq: 0.20 → 0.30 (+0.10 = "++")
|
||||
# divers: 0.20 → 0.10 (-0.10 = "--")
|
||||
assert "0.20 → 0.30" in text # freq 증가
|
||||
assert "0.20 → 0.10" in text # divers 감소
|
||||
assert "(++)" in text or "(+)" in text # freq marker
|
||||
assert "(--)" in text or "(-)" in text # divers marker
|
||||
116
agent-office/tests/test_lotto_signal_runner.py
Normal file
@@ -0,0 +1,116 @@
|
||||
import gc
|
||||
import os
|
||||
import sys
|
||||
import tempfile
|
||||
|
||||
_fd, _TMP = tempfile.mkstemp(suffix=".db")
|
||||
os.close(_fd)
|
||||
os.unlink(_TMP)
|
||||
os.environ["AGENT_OFFICE_DB_PATH"] = _TMP
|
||||
|
||||
sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
|
||||
|
||||
import pytest
|
||||
|
||||
from app.curator import signal_runner
|
||||
from app import db
|
||||
|
||||
db.DB_PATH = _TMP # patch frozen module-level DB_PATH (import order safety)
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db():
|
||||
gc.collect()
|
||||
if os.path.exists(_TMP):
|
||||
os.remove(_TMP)
|
||||
db.init_db()
|
||||
yield
|
||||
gc.collect()
|
||||
if os.path.exists(_TMP):
|
||||
try:
|
||||
os.remove(_TMP)
|
||||
except PermissionError:
|
||||
pass # Windows: WAL-mode file locked; DB is ephemeral anyway
|
||||
|
||||
|
||||
def test_evaluate_and_persist_cold_start():
|
||||
"""첫 호출은 warmup으로 기록되고 baseline에 값이 들어간다."""
|
||||
result = signal_runner.evaluate_metric_and_persist(
|
||||
source="light",
|
||||
metric="sim_signal",
|
||||
value=1.5,
|
||||
draw_no=None,
|
||||
z_normal=1.5,
|
||||
z_urgent=2.5,
|
||||
push_to_window=True,
|
||||
)
|
||||
assert result["fire_level"] == "warmup"
|
||||
assert result["z_score"] is None
|
||||
|
||||
bl = db.get_baseline("sim_signal")
|
||||
assert bl is not None
|
||||
assert bl["window_values"] == [1.5]
|
||||
|
||||
|
||||
def test_evaluate_after_window_filled_normal_fire():
|
||||
"""8회 push 후 정상 운영, 평균 대비 z≥1.5면 normal."""
|
||||
for v in [1.0, 1.1, 0.9, 1.0, 1.0, 1.1, 0.9, 1.0]:
|
||||
signal_runner.evaluate_metric_and_persist(
|
||||
source="sim",
|
||||
metric="sim_signal",
|
||||
value=v,
|
||||
draw_no=None,
|
||||
z_normal=1.5,
|
||||
z_urgent=2.5,
|
||||
push_to_window=True,
|
||||
)
|
||||
|
||||
result = signal_runner.evaluate_metric_and_persist(
|
||||
source="sim",
|
||||
metric="sim_signal",
|
||||
value=1.12,
|
||||
draw_no=None,
|
||||
z_normal=1.5,
|
||||
z_urgent=2.5,
|
||||
push_to_window=True,
|
||||
)
|
||||
assert result["fire_level"] in ("normal", "urgent")
|
||||
assert result["z_score"] is not None and result["z_score"] >= 1.5
|
||||
|
||||
|
||||
def test_evaluate_drift_skips_same_draw_push():
|
||||
"""drift는 회차 단위. 같은 회차에서 두 번 호출하면 두 번째는 window push X."""
|
||||
signal_runner.evaluate_metric_and_persist(
|
||||
source="sim", metric="drift", value=0.05, draw_no=1100,
|
||||
z_normal=1.5, z_urgent=2.5, push_to_window=True,
|
||||
)
|
||||
bl_before = db.get_baseline("drift")
|
||||
assert bl_before["window_values"] == [0.05]
|
||||
assert bl_before["last_pushed_draw_no"] == 1100
|
||||
|
||||
signal_runner.evaluate_metric_and_persist(
|
||||
source="sim", metric="drift", value=0.08, draw_no=1100,
|
||||
z_normal=1.5, z_urgent=2.5, push_to_window=True,
|
||||
)
|
||||
bl_after = db.get_baseline("drift")
|
||||
assert bl_after["window_values"] == [0.05]
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_run_signal_check_aggregates_three_metrics(monkeypatch):
|
||||
"""run_signal_check이 3종 메트릭 모두 평가하고 overall fire를 반환."""
|
||||
async def fake_lotto_best():
|
||||
return [{"numbers": [1,2,3,4,5,6], "scores": [10,10,10,10,10]}] * 20
|
||||
|
||||
async def fake_lotto_strategy_weights():
|
||||
return {"gap_focus": 0.4, "hot_focus": 0.3, "pair_bias": 0.3}
|
||||
|
||||
monkeypatch.setattr(signal_runner, "_fetch_best_picks", fake_lotto_best)
|
||||
monkeypatch.setattr(signal_runner, "_fetch_strategy_weights", fake_lotto_strategy_weights)
|
||||
|
||||
out = await signal_runner.run_signal_check(source="light", curate_result=None, current_draw_no=1101)
|
||||
assert "overall_fire" in out
|
||||
assert "results" in out
|
||||
assert any(r["metric"] == "sim_signal" for r in out["results"])
|
||||
# light_check는 confidence 평가 안 함
|
||||
assert not any(r["metric"] == "confidence" for r in out["results"])
|
||||
130
agent-office/tests/test_lotto_signals.py
Normal file
@@ -0,0 +1,130 @@
|
||||
# agent-office/tests/test_lotto_signals.py
|
||||
import pytest
|
||||
|
||||
from app.curator import signals
|
||||
|
||||
|
||||
def test_sim_consensus_top10_geomean():
|
||||
"""top-10 consensus 평균이 기하평균 기반인지."""
|
||||
best_picks = [
|
||||
{"scores": [10, 10, 10, 10, 10]}, # high & uniform
|
||||
{"scores": [9, 9, 9, 9, 9]},
|
||||
{"scores": [8, 8, 8, 8, 8]},
|
||||
{"scores": [7, 7, 7, 7, 7]},
|
||||
{"scores": [6, 6, 6, 6, 6]},
|
||||
{"scores": [5, 5, 5, 5, 5]},
|
||||
{"scores": [4, 4, 4, 4, 4]},
|
||||
{"scores": [3, 3, 3, 3, 3]},
|
||||
{"scores": [2, 2, 2, 2, 2]},
|
||||
{"scores": [1, 1, 1, 1, 1]}, # top 10
|
||||
{"scores": [0, 0, 0, 0, 0]}, # bottom 10
|
||||
] * 1 + [{"scores": [0, 0, 0, 0, 0]}] * 10
|
||||
result = signals.sim_consensus_score(best_picks)
|
||||
assert 0.0 <= result <= 1.0
|
||||
assert result > 0.4
|
||||
|
||||
|
||||
def test_sim_consensus_geomean_penalizes_imbalance():
|
||||
"""5종 중 한 종만 폭주하는 outlier 후보는 균형 후보보다 작아야 한다."""
|
||||
balanced = [{"scores": [5, 5, 5, 5, 5]}] * 20
|
||||
imbalanced = [{"scores": [25, 0, 0, 0, 0]}] * 20
|
||||
s_balanced = signals.sim_consensus_score(balanced)
|
||||
s_imbalanced = signals.sim_consensus_score(imbalanced)
|
||||
assert s_imbalanced < s_balanced
|
||||
|
||||
|
||||
def test_strategy_drift_score():
|
||||
"""drift = 전략별 가중치 변화 절댓값 합."""
|
||||
w_prev = {"gap_focus": 0.30, "hot_focus": 0.25, "pair_bias": 0.45}
|
||||
w_curr = {"gap_focus": 0.40, "hot_focus": 0.20, "pair_bias": 0.40}
|
||||
result = signals.strategy_drift_score(w_prev, w_curr)
|
||||
assert abs(result - 0.20) < 1e-9
|
||||
|
||||
|
||||
def test_strategy_drift_new_strategy_appears():
|
||||
"""이전에 없던 전략이 등장하면 그 가중치 전체가 drift에 가산."""
|
||||
w_prev = {"gap_focus": 0.5, "hot_focus": 0.5}
|
||||
w_curr = {"gap_focus": 0.4, "hot_focus": 0.4, "newbie": 0.2}
|
||||
result = signals.strategy_drift_score(w_prev, w_curr)
|
||||
assert abs(result - 0.4) < 1e-9
|
||||
|
||||
|
||||
def test_confidence_score_passthrough():
|
||||
"""confidence는 큐레이션 결과의 값 그대로 (0~1 clamp 확인)."""
|
||||
assert signals.confidence_score({"confidence": 0.85}) == 0.85
|
||||
assert signals.confidence_score({"confidence": 1.2}) == 1.0
|
||||
assert signals.confidence_score({"confidence": -0.1}) == 0.0
|
||||
assert signals.confidence_score({}) is None
|
||||
|
||||
|
||||
def test_adaptive_baseline_cold_start():
|
||||
"""window 크기 < 4 → warmup, z=None."""
|
||||
bl = signals.AdaptiveBaseline(window=[1.0, 1.1, 0.9], window_max=8)
|
||||
z, fire = bl.evaluate(value=1.5, z_normal=1.5, z_urgent=2.5)
|
||||
assert fire == "warmup"
|
||||
assert z is None
|
||||
|
||||
|
||||
def test_adaptive_baseline_preparing():
|
||||
"""window 4~7 → 보수적 임계치 z=2.0."""
|
||||
bl = signals.AdaptiveBaseline(window=[1.0, 1.0, 1.0, 1.0], window_max=8)
|
||||
z, fire = bl.evaluate(value=3.0, z_normal=1.5, z_urgent=2.5)
|
||||
assert fire in ("normal", "urgent")
|
||||
|
||||
|
||||
def test_adaptive_baseline_normal_window_full():
|
||||
"""window 8 풀, value가 평균보다 1.5σ 이상이면 normal."""
|
||||
bl = signals.AdaptiveBaseline(
|
||||
window=[1.0, 1.1, 0.9, 1.0, 1.0, 1.1, 0.9, 1.0],
|
||||
window_max=8,
|
||||
)
|
||||
z, fire = bl.evaluate(value=1.12, z_normal=1.5, z_urgent=2.5)
|
||||
assert fire == "normal"
|
||||
assert z is not None and z >= 1.5
|
||||
|
||||
|
||||
def test_adaptive_baseline_urgent():
|
||||
"""z >= 2.5 → urgent."""
|
||||
bl = signals.AdaptiveBaseline(
|
||||
window=[1.0, 1.1, 0.9, 1.0, 1.0, 1.1, 0.9, 1.0],
|
||||
window_max=8,
|
||||
)
|
||||
z, fire = bl.evaluate(value=2.0, z_normal=1.5, z_urgent=2.5)
|
||||
assert fire == "urgent"
|
||||
|
||||
|
||||
def test_adaptive_baseline_push_updates_window():
|
||||
"""push 시 FIFO 동작."""
|
||||
bl = signals.AdaptiveBaseline(window=[1, 2, 3, 4, 5, 6, 7, 8], window_max=8)
|
||||
bl.push(9.0)
|
||||
assert bl.window == [2, 3, 4, 5, 6, 7, 8, 9.0]
|
||||
|
||||
|
||||
def test_decide_fire_level_two_normals_escalate():
|
||||
sigs = [
|
||||
{"metric": "sim", "z": 1.6, "fire": "normal"},
|
||||
{"metric": "drift", "z": 1.7, "fire": "normal"},
|
||||
{"metric": "conf", "z": 0.5, "fire": "noop"},
|
||||
]
|
||||
assert signals.decide_overall_fire(sigs) == "urgent"
|
||||
|
||||
|
||||
def test_decide_fire_level_single_normal():
|
||||
sigs = [
|
||||
{"metric": "sim", "z": 1.6, "fire": "normal"},
|
||||
{"metric": "drift", "z": 0.3, "fire": "noop"},
|
||||
]
|
||||
assert signals.decide_overall_fire(sigs) == "normal"
|
||||
|
||||
|
||||
def test_decide_fire_level_single_urgent():
|
||||
sigs = [
|
||||
{"metric": "sim", "z": 3.0, "fire": "urgent"},
|
||||
{"metric": "drift", "z": 0.2, "fire": "noop"},
|
||||
]
|
||||
assert signals.decide_overall_fire(sigs) == "urgent"
|
||||
|
||||
|
||||
def test_decide_fire_level_all_noop():
|
||||
sigs = [{"metric": "sim", "z": 0.5, "fire": "noop"}]
|
||||
assert signals.decide_overall_fire(sigs) == "noop"
|
||||
154
agent-office/tests/test_lotto_task_wrap.py
Normal file
@@ -0,0 +1,154 @@
|
||||
# agent-office/tests/test_lotto_task_wrap.py
|
||||
import os
|
||||
import sys
|
||||
import tempfile
|
||||
import gc
|
||||
|
||||
_fd, _TMP = tempfile.mkstemp(suffix=".db")
|
||||
os.close(_fd)
|
||||
os.unlink(_TMP)
|
||||
os.environ["AGENT_OFFICE_DB_PATH"] = _TMP
|
||||
|
||||
sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
|
||||
|
||||
import pytest
|
||||
from app import db
|
||||
db.DB_PATH = _TMP
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db():
|
||||
# Re-patch DB_PATH at the start of every test (cross-file isolation)
|
||||
db.DB_PATH = _TMP
|
||||
gc.collect()
|
||||
if os.path.exists(_TMP):
|
||||
os.remove(_TMP)
|
||||
db.init_db()
|
||||
yield
|
||||
gc.collect()
|
||||
if os.path.exists(_TMP):
|
||||
try:
|
||||
os.remove(_TMP)
|
||||
except PermissionError:
|
||||
pass
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_run_signal_check_creates_task_row(monkeypatch):
|
||||
"""run_signal_check이 agent_tasks에 row를 만들고 result_data를 저장."""
|
||||
from app.agents.lotto import LottoAgent
|
||||
from app.curator import signal_runner
|
||||
|
||||
async def fake_run_signal_check(**kwargs):
|
||||
return {
|
||||
"overall_fire": "normal",
|
||||
"results": [
|
||||
{"signal_id": 1, "metric": "sim_signal",
|
||||
"value": 0.6, "z_score": 1.7, "fire_level": "normal",
|
||||
"baseline_mu": 0.5, "baseline_sigma": 0.05, "payload": {}},
|
||||
],
|
||||
}
|
||||
monkeypatch.setattr(signal_runner, "run_signal_check", fake_run_signal_check)
|
||||
|
||||
from app import service_proxy
|
||||
async def fake_latest():
|
||||
return 1226
|
||||
monkeypatch.setattr(service_proxy, "lotto_latest_draw", fake_latest)
|
||||
|
||||
from app.notifiers import telegram_lotto
|
||||
async def fake_send(_event): pass
|
||||
monkeypatch.setattr(telegram_lotto, "send_urgent_signal", fake_send)
|
||||
|
||||
agent = LottoAgent()
|
||||
result = await agent.run_signal_check(source="light")
|
||||
assert result["ok"] is True
|
||||
|
||||
tasks = db.get_agent_tasks("lotto", task_type="signal_check", days=1)
|
||||
assert len(tasks) == 1
|
||||
t = tasks[0]
|
||||
assert t["status"] == "succeeded"
|
||||
assert t["result_data"]["source"] == "light"
|
||||
assert t["result_data"]["overall_fire"] == "normal"
|
||||
assert "sim_signal" in t["result_data"]["fired_metrics"]
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_run_signal_check_failure_marks_task_failed(monkeypatch):
|
||||
from app.agents.lotto import LottoAgent
|
||||
from app.curator import signal_runner
|
||||
from app import service_proxy
|
||||
|
||||
async def boom(**kwargs):
|
||||
raise RuntimeError("boom")
|
||||
monkeypatch.setattr(signal_runner, "run_signal_check", boom)
|
||||
|
||||
async def fake_latest():
|
||||
return 1226
|
||||
monkeypatch.setattr(service_proxy, "lotto_latest_draw", fake_latest)
|
||||
|
||||
agent = LottoAgent()
|
||||
result = await agent.run_signal_check(source="sim")
|
||||
assert result["ok"] is False
|
||||
|
||||
tasks = db.get_agent_tasks("lotto", task_type="signal_check", days=1)
|
||||
assert len(tasks) == 1
|
||||
assert tasks[0]["status"] == "failed"
|
||||
assert "boom" in tasks[0]["result_data"]["error"]
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_run_daily_digest_creates_task(monkeypatch):
|
||||
"""run_daily_digest이 agent_tasks에 task 생성 + result_data 저장."""
|
||||
from app.agents.lotto import LottoAgent
|
||||
from app.notifiers import telegram_lotto
|
||||
|
||||
async def fake_send(_d): pass
|
||||
monkeypatch.setattr(telegram_lotto, "send_signal_summary", fake_send)
|
||||
|
||||
agent = LottoAgent()
|
||||
result = await agent.run_daily_digest()
|
||||
assert result["ok"] is True
|
||||
|
||||
tasks = db.get_agent_tasks("lotto", task_type="daily_digest", days=1)
|
||||
assert len(tasks) == 1
|
||||
assert tasks[0]["status"] == "succeeded"
|
||||
assert "fired" in tasks[0]["result_data"]
|
||||
assert "evaluated" in tasks[0]["result_data"]
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_run_weekly_evolution_report_creates_task(monkeypatch):
|
||||
"""run_weekly_evolution_report이 task 생성 + result_data 저장."""
|
||||
from app.agents.lotto import LottoAgent
|
||||
from app import service_proxy
|
||||
from app.notifiers import telegram_lotto
|
||||
|
||||
async def fake_eval():
|
||||
return {
|
||||
"ok": True, "draw_no": 1225,
|
||||
"winner": {"day_of_week": 3, "weight": [0.18, 0.32, 0.20, 0.22, 0.08],
|
||||
"avg_score": 0.42, "max_correct": 4, "n_picks": 5},
|
||||
"new_base": [0.18, 0.32, 0.20, 0.22, 0.08],
|
||||
"previous_base": [0.2] * 5,
|
||||
"update_reason": "winner_4plus",
|
||||
}
|
||||
async def fake_status():
|
||||
return {"current_base": [0.2] * 5}
|
||||
async def fake_send(_e, _b): pass
|
||||
|
||||
monkeypatch.setattr(service_proxy, "lotto_evolver_evaluate", fake_eval)
|
||||
monkeypatch.setattr(service_proxy, "lotto_evolver_status", fake_status)
|
||||
monkeypatch.setattr(telegram_lotto, "send_evolution_report", fake_send)
|
||||
|
||||
agent = LottoAgent()
|
||||
result = await agent.run_weekly_evolution_report()
|
||||
assert result["ok"] is True
|
||||
|
||||
tasks = db.get_agent_tasks("lotto", task_type="weekly_evolution_report", days=1)
|
||||
assert len(tasks) == 1
|
||||
r = tasks[0]["result_data"]
|
||||
assert tasks[0]["status"] == "succeeded"
|
||||
assert r["draw_no"] == 1225
|
||||
assert r["update_reason"] == "winner_4plus"
|
||||
assert r["winner_day_of_week"] == 3
|
||||
assert r["winner_max_correct"] == 4
|
||||
49
agent-office/tests/test_lotto_telegram_signal.py
Normal file
@@ -0,0 +1,49 @@
|
||||
from app.notifiers.telegram_lotto import (
|
||||
_format_urgent_signal,
|
||||
_format_signal_digest,
|
||||
)
|
||||
|
||||
|
||||
def test_urgent_signal_format_basic():
|
||||
event = {
|
||||
"fire_level": "urgent",
|
||||
"triggered_at": "2026-05-20T07:18:00.000Z",
|
||||
"results": [
|
||||
{"metric": "sim_signal", "value": 1.84, "z_score": 3.9,
|
||||
"baseline_mu": 1.02, "baseline_sigma": 0.21, "payload": {},
|
||||
"fire_level": "urgent"},
|
||||
{"metric": "drift", "value": 0.18, "z_score": 3.0,
|
||||
"baseline_mu": 0.06, "baseline_sigma": 0.04, "fire_level": "normal",
|
||||
"payload": {"weights_now": {"gap_focus": 0.5, "hot_focus": 0.5},
|
||||
"weights_prev": {"gap_focus": 0.3, "hot_focus": 0.7}}},
|
||||
],
|
||||
}
|
||||
text = _format_urgent_signal(event)
|
||||
assert "🚨" in text
|
||||
assert "Sim Consensus" in text
|
||||
assert "z=3.9" in text
|
||||
assert "Strategy Drift" in text
|
||||
|
||||
|
||||
def test_signal_digest_format_with_signals():
|
||||
digest = {
|
||||
"evaluated": 6,
|
||||
"fired": 2,
|
||||
"signals": [
|
||||
{"metric": "sim_signal", "fire_level": "normal", "z_score": 1.7,
|
||||
"triggered_at": "2026-05-20T16:18:00Z", "payload": {}},
|
||||
{"metric": "confidence", "fire_level": "normal", "z_score": 1.6,
|
||||
"triggered_at": "2026-05-20T09:05:00Z", "payload": {}},
|
||||
],
|
||||
"weights_trend": {"gap_focus": +0.12, "hot_focus": -0.02, "pair_bias": -0.08},
|
||||
}
|
||||
text = _format_signal_digest(digest)
|
||||
assert "📊" in text
|
||||
assert "지난 24h" in text
|
||||
assert "z=1.7" in text
|
||||
|
||||
|
||||
def test_signal_digest_empty_returns_empty_string():
|
||||
"""발화 0건이면 빈 문자열 → 발송 자체 skip 가능."""
|
||||
text = _format_signal_digest({"evaluated": 6, "fired": 0, "signals": [], "weights_trend": {}})
|
||||
assert text == ""
|
||||
123
agent-office/tests/test_sync_evolver_activity.py
Normal file
@@ -0,0 +1,123 @@
|
||||
# agent-office/tests/test_sync_evolver_activity.py
|
||||
import os
|
||||
import sys
|
||||
import tempfile
|
||||
import gc
|
||||
from datetime import datetime, timezone, timedelta
|
||||
|
||||
_fd, _TMP = tempfile.mkstemp(suffix=".db")
|
||||
os.close(_fd)
|
||||
os.unlink(_TMP)
|
||||
os.environ["AGENT_OFFICE_DB_PATH"] = _TMP
|
||||
|
||||
sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
|
||||
|
||||
import pytest
|
||||
from app import db
|
||||
db.DB_PATH = _TMP
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def fresh_db():
|
||||
# Re-patch DB_PATH at the start of every test (cross-file isolation)
|
||||
db.DB_PATH = _TMP
|
||||
gc.collect()
|
||||
if os.path.exists(_TMP):
|
||||
os.remove(_TMP)
|
||||
db.init_db()
|
||||
yield
|
||||
gc.collect()
|
||||
if os.path.exists(_TMP):
|
||||
try:
|
||||
os.remove(_TMP)
|
||||
except PermissionError:
|
||||
pass
|
||||
|
||||
|
||||
def _today_dow_clamped():
|
||||
"""오늘의 weekday() (일요일=6은 5로 clamp)."""
|
||||
KST = timezone(timedelta(hours=9))
|
||||
dow = datetime.now(KST).weekday()
|
||||
return 5 if dow == 6 else dow
|
||||
|
||||
|
||||
def _fake_status_with_picks(dow_with_picks):
|
||||
async def fake():
|
||||
return {
|
||||
"week_start": "2026-05-18",
|
||||
"current_base": [0.2] * 5,
|
||||
"trials": [
|
||||
{
|
||||
"id": 100 + i,
|
||||
"day_of_week": i,
|
||||
"weight": [0.2] * 5,
|
||||
"source": "perturb",
|
||||
"picks": ([
|
||||
{"id": j, "numbers": [1,2,3,4,5,6], "meta_score": 0.5}
|
||||
for j in range(5)
|
||||
] if i == dow_with_picks else []),
|
||||
}
|
||||
for i in range(6)
|
||||
],
|
||||
}
|
||||
return fake
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_sync_evolver_activity_creates_apply_task(monkeypatch):
|
||||
"""오늘 trial에 picks가 있으면 evolver_apply task 1개 생성."""
|
||||
from app.agents.lotto import LottoAgent
|
||||
from app import service_proxy
|
||||
|
||||
dow = _today_dow_clamped()
|
||||
monkeypatch.setattr(service_proxy, "lotto_evolver_status", _fake_status_with_picks(dow))
|
||||
|
||||
agent = LottoAgent()
|
||||
await agent.sync_evolver_activity()
|
||||
|
||||
apply_tasks = db.get_agent_tasks("lotto", task_type="evolver_apply", days=1)
|
||||
assert len(apply_tasks) == 1
|
||||
assert apply_tasks[0]["result_data"]["n_picks"] == 5
|
||||
assert apply_tasks[0]["input_data"]["day_of_week"] == dow
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_sync_evolver_activity_idempotent(monkeypatch):
|
||||
"""같은 날 두 번 호출해도 task는 1개만 (멱등)."""
|
||||
from app.agents.lotto import LottoAgent
|
||||
from app import service_proxy
|
||||
|
||||
dow = _today_dow_clamped()
|
||||
monkeypatch.setattr(service_proxy, "lotto_evolver_status", _fake_status_with_picks(dow))
|
||||
|
||||
agent = LottoAgent()
|
||||
await agent.sync_evolver_activity()
|
||||
await agent.sync_evolver_activity()
|
||||
|
||||
apply_tasks = db.get_agent_tasks("lotto", task_type="evolver_apply", days=1)
|
||||
assert len(apply_tasks) == 1
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_sync_evolver_activity_no_picks_no_task(monkeypatch):
|
||||
"""오늘 trial에 picks가 없으면 task 생성하지 않음."""
|
||||
from app.agents.lotto import LottoAgent
|
||||
from app import service_proxy
|
||||
|
||||
async def fake_status():
|
||||
return {
|
||||
"week_start": "2026-05-18",
|
||||
"current_base": [0.2] * 5,
|
||||
"trials": [
|
||||
{"id": 100 + i, "day_of_week": i, "weight": [0.2]*5,
|
||||
"source": "perturb", "picks": []}
|
||||
for i in range(6)
|
||||
],
|
||||
}
|
||||
monkeypatch.setattr(service_proxy, "lotto_evolver_status", fake_status)
|
||||
|
||||
agent = LottoAgent()
|
||||
await agent.sync_evolver_activity()
|
||||
|
||||
apply_tasks = db.get_agent_tasks("lotto", task_type="evolver_apply", days=1)
|
||||
assert len(apply_tasks) == 0
|
||||
@@ -18,7 +18,7 @@ services:
|
||||
- ${RUNTIME_PATH}/data:/app/data
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -48,7 +48,7 @@ services:
|
||||
- ${RUNTIME_PATH}/data/stock:/app/data
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -62,7 +62,6 @@ services:
|
||||
environment:
|
||||
- TZ=${TZ:-Asia/Seoul}
|
||||
- MUSIC_AI_SERVER_URL=${MUSIC_AI_SERVER_URL:-}
|
||||
- SUNO_API_KEY=${SUNO_API_KEY:-}
|
||||
- MUSIC_MEDIA_BASE=${MUSIC_MEDIA_BASE:-/media/music}
|
||||
- CORS_ALLOW_ORIGINS=${CORS_ALLOW_ORIGINS:-http://localhost:3007,http://localhost:8080}
|
||||
- PEXELS_API_KEY=${PEXELS_API_KEY:-}
|
||||
@@ -77,12 +76,62 @@ services:
|
||||
- WINDOWS_VIDEO_ENCODER_URL=${WINDOWS_VIDEO_ENCODER_URL:-}
|
||||
- NAS_VIDEOS_ROOT=${NAS_VIDEOS_ROOT:-/volume1/docker/webpage/data/videos}
|
||||
- NAS_MUSIC_ROOT=${NAS_MUSIC_ROOT:-/volume1/docker/webpage/data/music}
|
||||
- REDIS_URL=${REDIS_URL:-redis://redis:6379}
|
||||
- INTERNAL_API_KEY=${INTERNAL_API_KEY:-}
|
||||
- MUSIC_RENDER_URL=${MUSIC_RENDER_URL:-http://192.168.45.59:18711}
|
||||
volumes:
|
||||
- ${RUNTIME_PATH}/data/music:/app/data
|
||||
- ${RUNTIME_PATH:-.}/data/videos:/app/data/videos
|
||||
depends_on:
|
||||
- redis
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
video-lab:
|
||||
build:
|
||||
context: ./video-lab
|
||||
container_name: video-lab
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "18801:8000"
|
||||
environment:
|
||||
- TZ=${TZ:-Asia/Seoul}
|
||||
- REDIS_URL=${REDIS_URL:-redis://redis:6379}
|
||||
- INTERNAL_API_KEY=${INTERNAL_API_KEY:-}
|
||||
- VIDEO_DATA_DIR=/app/data
|
||||
- CORS_ALLOW_ORIGINS=${CORS_ALLOW_ORIGINS:-http://localhost:3007,http://localhost:8080}
|
||||
volumes:
|
||||
- ${RUNTIME_PATH}/data/video:/app/data
|
||||
depends_on:
|
||||
- redis
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
image-lab:
|
||||
build: ./image-lab
|
||||
container_name: image-lab
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "18802:8000"
|
||||
environment:
|
||||
- TZ=${TZ:-Asia/Seoul}
|
||||
- REDIS_URL=${REDIS_URL:-redis://redis:6379}
|
||||
- INTERNAL_API_KEY=${INTERNAL_API_KEY:-}
|
||||
- IMAGE_DATA_DIR=/app/data
|
||||
- CORS_ALLOW_ORIGINS=${CORS_ALLOW_ORIGINS:-http://localhost:3007,http://localhost:8080}
|
||||
volumes:
|
||||
- ${RUNTIME_PATH}/data/image:/app/data
|
||||
depends_on:
|
||||
- redis
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -103,12 +152,17 @@ services:
|
||||
- YOUTUBE_DATA_API_KEY=${YOUTUBE_DATA_API_KEY:-}
|
||||
- INSTA_DATA_PATH=/app/data
|
||||
- CARD_TEMPLATE_DIR=/app/app/templates
|
||||
- INSTA_DEFAULT_THEME=${INSTA_DEFAULT_THEME:-default}
|
||||
- CORS_ALLOW_ORIGINS=${CORS_ALLOW_ORIGINS:-http://localhost:3007,http://localhost:8080}
|
||||
- REDIS_URL=${REDIS_URL:-redis://redis:6379}
|
||||
- INTERNAL_API_KEY=${INTERNAL_API_KEY:-}
|
||||
volumes:
|
||||
- ${RUNTIME_PATH}/data/insta:/app/data
|
||||
depends_on:
|
||||
- redis
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -128,7 +182,7 @@ services:
|
||||
- ${RUNTIME_PATH}/data/realestate:/app/data
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -169,7 +223,7 @@ services:
|
||||
- realestate-lab
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -188,7 +242,7 @@ services:
|
||||
- ${RUNTIME_PATH:-.}/data/personal:/app/data
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -215,7 +269,7 @@ services:
|
||||
- ${PACK_DATA_PATH:-./data/packs}:${PACK_BASE_DIR:-/app/data/packs}
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -238,7 +292,7 @@ services:
|
||||
- ${RUNTIME_PATH}/travel-thumbs:/data/thumbs:rw
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -256,6 +310,8 @@ services:
|
||||
- personal
|
||||
- packs-lab
|
||||
- travel-proxy
|
||||
- video-lab
|
||||
- image-lab
|
||||
ports:
|
||||
- "8080:80"
|
||||
volumes:
|
||||
@@ -265,11 +321,13 @@ services:
|
||||
- ${RUNTIME_PATH}/travel-thumbs:/data/thumbs:ro
|
||||
- ${RUNTIME_PATH}/data/music:/data/music:ro
|
||||
- ${RUNTIME_PATH}/data/videos:/data/videos:ro
|
||||
- ${RUNTIME_PATH}/data/video:/data/video:ro
|
||||
- ${RUNTIME_PATH}/data/insta/insta_cards:/data/insta_cards:ro
|
||||
extra_hosts:
|
||||
- "host.docker.internal:host-gateway"
|
||||
healthcheck:
|
||||
test: ["CMD", "wget", "-q", "--spider", "http://localhost:80/"]
|
||||
interval: 30s
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -289,3 +347,18 @@ services:
|
||||
- ${RUNTIME_PATH}:/runtime:rw
|
||||
- ${RUNTIME_PATH}/scripts:/scripts:ro
|
||||
- /var/run/docker.sock:/var/run/docker.sock
|
||||
|
||||
redis:
|
||||
image: redis:7-alpine
|
||||
container_name: redis
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "6379:6379"
|
||||
volumes:
|
||||
- ${RUNTIME_PATH}/redis-data:/data
|
||||
command: redis-server --appendonly yes --maxmemory 256mb --maxmemory-policy allkeys-lru
|
||||
healthcheck:
|
||||
test: ["CMD", "redis-cli", "ping"]
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
|
||||
@@ -2,6 +2,10 @@
|
||||
|
||||
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
||||
|
||||
## ⚠️ 변경 이력
|
||||
|
||||
- **2026-05-17**: 본문에 `google_trends` source로 기재된 모든 task와 코드 블록은 **실제 구현에서 `youtube_trending`으로 교체됨**. Google Trends 비공식 endpoint(RSS + dailytrends JSON 양쪽) 모두 404 폐기 확인. YouTube Data API v3 mostPopular로 source 대체 + pytrends 의존성 제거. 운영 코드는 현재 `youtube_trending` 사용 중. 이 plan을 다시 실행할 일이 있으면 본문의 `google_trends` 단어를 `youtube_trending`으로 읽어달라. 자세한 사유와 교체 체크리스트는 `feedback_external_data_sources.md`.
|
||||
|
||||
**Goal:** Add a "Trends" tab to the Insta page that pulls external trends from NAVER popular + Google Trends, lets the user set category weights, and feeds those weights back into the daily keyword extraction pipeline.
|
||||
|
||||
**Architecture:** New `trend_collector` module in insta-lab (NAVER `news.json` 인기순 + `pytrends` Google Trends + Claude Haiku 카테고리 분류 + in-memory 캐시). Existing `trending_keywords` table gets a `source` column; new `account_preferences` table stores category weights. `keyword_extractor` gains a `extract_with_weights()` variant. InstaAgent runs a new 09:00 cron for trend collection and applies weights at 09:30 extraction. web-ui splits InstaCards into Cards/Trends tabs and adds 3 panels (AccountFocus / ExternalTrends / PreferenceImpact).
|
||||
|
||||
635
docs/superpowers/plans/2026-05-18-plan-b-base-redis-wsl2.md
Normal file
@@ -0,0 +1,635 @@
|
||||
# Plan-B-Base — NAS Redis 컨테이너 + Windows WSL2/Docker/Tailscale/SMB Implementation Plan
|
||||
|
||||
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
||||
|
||||
**Goal:** 분산 아키텍처 base 인프라 셋업 — NAS에 24/7 Redis 컨테이너 신설 + Windows AI 머신에 WSL2 + Docker Engine + Tailscale + NAS SMB 마운트 구성. 후속 Plan-B-Insta/Music/Video/Infra 트랙의 prerequisite.
|
||||
|
||||
**Architecture:** SP-1 (NAS Redis) = docker-compose service 추가 + deployer auto-rebuild. SP-2 (Windows) = 박재오 머신 192.168.45.59에서 직접 셋업 (WSL2 Ubuntu 22.04 + Docker Engine + Tailscale + cifs-utils로 NAS SMB 마운트). 두 SP가 모두 끝나야 후속 트랙의 worker가 NAS ↔ Windows 양방향 통신 가능.
|
||||
|
||||
**Tech Stack:** Redis 7-alpine, WSL2, Ubuntu 22.04, Docker Engine 24+, Tailscale, cifs-utils (SMB 3.0). PowerShell (관리자) + bash (WSL2 내부).
|
||||
|
||||
**Spec:** `web-backend/docs/superpowers/specs/2026-05-18-nas-windows-distributed-architecture-design.md` §4 SP-1·SP-2, §10 SP-1·SP-2 상세
|
||||
|
||||
---
|
||||
|
||||
## 사전 확인 사항
|
||||
|
||||
- **박재오 자격증명 필요**: NAS SMB 마운트용 user/password (Synology DSM 사용자, SMB 권한 보유)
|
||||
- **Windows AI 머신 직접 접근 필요**: WSL2 설치는 관리자 PowerShell + 재부팅 1회. Claude는 별도 머신이라 명령 직접 실행 불가 — **Task 4~7은 박재오가 콘솔에서 직접 수행**. 명령어와 검증 방법 명시.
|
||||
- **NAS deployer 사용자**: Gitea webhook으로 docker compose up -d 자동 실행. 새 redis 서비스도 추가 시 자동 startup.
|
||||
|
||||
## File Structure
|
||||
|
||||
### SP-1 — NAS 측 (Modify)
|
||||
|
||||
| 파일 | 변경 | 책임 |
|
||||
|------|------|------|
|
||||
| `web-backend/docker-compose.yml` | `redis:` 서비스 블록 추가 | 컨테이너 정의 (image, volume, healthcheck) |
|
||||
|
||||
### SP-2 — Windows 측 (Create, 박재오 머신 로컬)
|
||||
|
||||
| 파일/위치 | 변경 | 책임 |
|
||||
|----------|------|------|
|
||||
| (Windows AI) WSL2 Ubuntu-22.04 | install | Linux 런타임 |
|
||||
| WSL2 `/etc/apt/keyrings/docker.gpg` | install | Docker Engine apt key |
|
||||
| WSL2 `/etc/apt/sources.list.d/docker.list` | install | Docker Engine apt source |
|
||||
| (Windows AI) Tailscale | install + auth | 사설망 100.x.x.x |
|
||||
| WSL2 `/etc/nas-smb-credentials` (신규) | NAS user/password | SMB 자격증명 (chmod 600) |
|
||||
| WSL2 `/etc/fstab` (수정) | SMB 마운트 항목 추가 | 부팅 시 자동 마운트 |
|
||||
| WSL2 `/mnt/nas` | mkdir | 마운트 포인트 |
|
||||
|
||||
---
|
||||
|
||||
## Task 1: NAS docker-compose.yml에 redis 서비스 추가
|
||||
|
||||
**Files:**
|
||||
- Modify: `C:/Users/jaeoh/Desktop/workspace/web-backend/docker-compose.yml`
|
||||
|
||||
- [ ] **Step 1: 현재 docker-compose.yml 끝부분 확인 (deployer 위치)**
|
||||
|
||||
Run: `tail -20 C:/Users/jaeoh/Desktop/workspace/web-backend/docker-compose.yml`
|
||||
Expected: `deployer` 서비스가 마지막. line ~277-293 영역.
|
||||
|
||||
- [ ] **Step 2: redis 서비스 블록 추가**
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-backend/docker-compose.yml` 파일 **끝**에 (deployer 서비스 다음, volumes 블록 있다면 그 전에) 다음 블록 추가. 들여쓰기는 다른 서비스(`lotto:`, `stock:` 등)와 동일하게 services 아래 2칸 들여쓰기:
|
||||
|
||||
```yaml
|
||||
|
||||
redis:
|
||||
image: redis:7-alpine
|
||||
container_name: redis
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "6379:6379"
|
||||
volumes:
|
||||
- ${RUNTIME_PATH}/redis-data:/data
|
||||
command: redis-server --appendonly yes --maxmemory 256mb --maxmemory-policy allkeys-lru
|
||||
healthcheck:
|
||||
test: ["CMD", "redis-cli", "ping"]
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
networks:
|
||||
- default
|
||||
```
|
||||
|
||||
**주의:**
|
||||
- 파일 끝에 추가하되, 만약 `networks:` / `volumes:` top-level 블록이 services 다음에 있다면 그 블록들 **앞에** 삽입
|
||||
- 첫 줄에 빈 줄 1개 두기 (deployer와 분리)
|
||||
- `${RUNTIME_PATH}` 환경변수는 다른 서비스에서도 사용 중. 자동 적용됨
|
||||
|
||||
- [ ] **Step 3: yaml 문법 검증**
|
||||
|
||||
Run:
|
||||
```bash
|
||||
python -c "import yaml; yaml.safe_load(open('C:/Users/jaeoh/Desktop/workspace/web-backend/docker-compose.yml'))" && echo "yaml OK"
|
||||
```
|
||||
Expected: `yaml OK`
|
||||
|
||||
만약 실패하면 indent 또는 trailing space 확인.
|
||||
|
||||
- [ ] **Step 4: redis 서비스가 services dict에 들어갔는지 확인**
|
||||
|
||||
Run:
|
||||
```bash
|
||||
python -c "import yaml; d=yaml.safe_load(open('C:/Users/jaeoh/Desktop/workspace/web-backend/docker-compose.yml')); print(sorted(d['services'].keys()))"
|
||||
```
|
||||
Expected: 리스트에 `'redis'` 포함. 다른 서비스(`lotto`, `stock`, `music-lab`, `insta-lab`, `realestate-lab`, `agent-office`, `personal`, `packs-lab`, `travel-proxy`, `frontend`, `deployer`)도 모두 그대로.
|
||||
|
||||
- [ ] **Step 5: 커밋**
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend
|
||||
git add docker-compose.yml
|
||||
git commit -m "$(cat <<'EOF'
|
||||
feat(infra): add redis container as 24/7 queue + cache base (SP-1)
|
||||
|
||||
redis:7-alpine, 256MB maxmemory, AOF appendonly ON, allkeys-lru.
|
||||
docker volume ${RUNTIME_PATH}/redis-data로 영속화.
|
||||
Plan-B 후속 트랙(insta-render/music-render/video-render Windows
|
||||
워커)의 BLPOP 큐 + NAS↔Windows pub/sub의 base.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
- [ ] **Step 6: push (Gitea webhook → NAS deployer 자동 적용)**
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend
|
||||
git push origin main
|
||||
```
|
||||
|
||||
자격증명 prompt 시 입력. 1회 실패 시 1회 재시도 패턴.
|
||||
|
||||
Expected: push 성공. NAS deployer가 webhook 수신 → `git pull` → `docker compose up -d redis` 자동 실행.
|
||||
|
||||
---
|
||||
|
||||
## Task 2: NAS Redis 컨테이너 헬스 확인
|
||||
|
||||
**Files:** 없음 (NAS 검증)
|
||||
|
||||
- [ ] **Step 1: deployer 완료까지 대기 (통상 30초~2분)**
|
||||
|
||||
Run (Windows 로컬에서):
|
||||
```bash
|
||||
for i in 1 2 3 4 5 6 7 8 9 10; do
|
||||
code=$(curl -s -o /dev/null -w "%{http_code}" https://gahusb.synology.me/api/stock/news -m 5)
|
||||
echo "[try $i] HTTP $code"
|
||||
if [ "$code" = "200" ]; then break; fi
|
||||
sleep 15
|
||||
done
|
||||
```
|
||||
|
||||
Expected: HTTP 200 응답 — NAS 컨테이너 안정 상태. redis 컨테이너는 별도 endpoint 없으나 deployer가 build 완료했음을 시사.
|
||||
|
||||
- [ ] **Step 2: NAS에서 redis 컨테이너 확인 (박재오 SSH)**
|
||||
|
||||
NAS bash:
|
||||
```bash
|
||||
ssh -p 22 박재오@gahusb.synology.me
|
||||
cd /volume1/docker/webpage
|
||||
docker compose ps redis
|
||||
```
|
||||
|
||||
또는 한 번에:
|
||||
```bash
|
||||
ssh -p 22 박재오@gahusb.synology.me "cd /volume1/docker/webpage && docker compose ps redis && docker exec redis redis-cli PING"
|
||||
```
|
||||
|
||||
Expected:
|
||||
- `docker compose ps redis` → `redis ... healthy` 또는 `Up X seconds (health: starting)` 후 곧 healthy
|
||||
- `redis-cli PING` → `PONG`
|
||||
|
||||
만약 `docker compose ps`에 redis가 안 보이면:
|
||||
```bash
|
||||
cd /volume1/docker/webpage && docker compose up -d redis
|
||||
```
|
||||
|
||||
수동 실행해서 startup 확인.
|
||||
|
||||
- [ ] **Step 3: redis-data 볼륨 생성 확인 (Z: drive로)**
|
||||
|
||||
Run (Windows):
|
||||
```powershell
|
||||
Test-Path "Z:\webpage\redis-data"
|
||||
```
|
||||
|
||||
또는 NAS bash:
|
||||
```bash
|
||||
ls -la /volume1/docker/webpage/redis-data/
|
||||
```
|
||||
|
||||
Expected: 디렉토리 존재. 그 안에 `appendonlydir/` 또는 `dump.rdb` 등의 redis 데이터 파일.
|
||||
|
||||
- [ ] **Step 4: AOF append-only 작동 확인 (선택, 데이터 영속성 검증)**
|
||||
|
||||
```bash
|
||||
ssh -p 22 박재오@gahusb.synology.me 'docker exec redis redis-cli SET test_key "hello"'
|
||||
ssh -p 22 박재오@gahusb.synology.me 'docker exec redis redis-cli RESTART' # 또는 docker restart
|
||||
# 잠시 대기
|
||||
ssh -p 22 박재오@gahusb.synology.me 'docker exec redis redis-cli GET test_key'
|
||||
```
|
||||
|
||||
Expected: `"hello"` — 재시작 후에도 값 유지 (AOF 영속화 작동).
|
||||
|
||||
테스트 후 정리: `docker exec redis redis-cli DEL test_key`
|
||||
|
||||
---
|
||||
|
||||
## Task 3: Windows AI에 WSL2 + Ubuntu 22.04 설치
|
||||
|
||||
**Files:** 없음 (Windows AI 머신 192.168.45.59에서 박재오 직접 실행)
|
||||
|
||||
**전제:** Windows 10 build 19041+ 또는 Windows 11. 박재오 9800X3D 머신 충족.
|
||||
|
||||
- [ ] **Step 1: 관리자 PowerShell 실행**
|
||||
|
||||
박재오 Windows AI 머신에서 시작 메뉴 → "PowerShell" 우클릭 → "관리자 권한으로 실행".
|
||||
|
||||
- [ ] **Step 2: WSL2 + Ubuntu 22.04 설치**
|
||||
|
||||
```powershell
|
||||
wsl --install -d Ubuntu-22.04
|
||||
```
|
||||
|
||||
Expected: 다운로드 progress + "Ubuntu-22.04 has been installed". **재부팅 필요할 수 있음.**
|
||||
|
||||
- [ ] **Step 3: 재부팅 (필요 시)**
|
||||
|
||||
설치 완료 메시지에 "재시작이 필요합니다"가 보이면 재부팅. 자동 재부팅 안 됨.
|
||||
|
||||
- [ ] **Step 4: Ubuntu 초기 설정 (재부팅 후 자동 실행 또는 시작 메뉴에서 "Ubuntu" 클릭)**
|
||||
|
||||
새 콘솔이 열리고 다음 입력 요청됨:
|
||||
- 새 UNIX username: `jaeoh` 또는 박재오 선호 username (이후 모든 sudo에 사용)
|
||||
- 비밀번호: 박재오가 정하는 값. 잘 기억할 것.
|
||||
|
||||
Expected: `jaeoh@<hostname>:~$` 프롬프트 표시 → WSL2 진입 성공.
|
||||
|
||||
- [ ] **Step 5: WSL 버전 확인**
|
||||
|
||||
WSL2 내부에서 PowerShell로 잠시 돌아와서:
|
||||
```powershell
|
||||
wsl -l -v
|
||||
```
|
||||
|
||||
Expected:
|
||||
```
|
||||
NAME STATE VERSION
|
||||
* Ubuntu-22.04 Running 2
|
||||
```
|
||||
|
||||
VERSION=2 확인. 만약 1이면:
|
||||
```powershell
|
||||
wsl --set-version Ubuntu-22.04 2
|
||||
```
|
||||
|
||||
- [ ] **Step 6: WSL2 안 진입 (이후 작업)**
|
||||
|
||||
```powershell
|
||||
wsl -d Ubuntu-22.04
|
||||
```
|
||||
|
||||
이후 Task 4~7은 모두 WSL2 안 bash에서 실행.
|
||||
|
||||
---
|
||||
|
||||
## Task 4: WSL2 안 Docker Engine 설치 (Docker Desktop 사용 X)
|
||||
|
||||
**Files:** (WSL2 내부) `/etc/apt/keyrings/docker.gpg`, `/etc/apt/sources.list.d/docker.list`
|
||||
|
||||
**위치:** WSL2 Ubuntu-22.04 bash 프롬프트.
|
||||
|
||||
- [ ] **Step 1: 패키지 인덱스 + 기본 의존성 설치**
|
||||
|
||||
```bash
|
||||
sudo apt update
|
||||
sudo apt install -y ca-certificates curl gnupg lsb-release
|
||||
```
|
||||
|
||||
Expected: 에러 없이 완료.
|
||||
|
||||
- [ ] **Step 2: Docker apt key 등록**
|
||||
|
||||
```bash
|
||||
sudo install -m 0755 -d /etc/apt/keyrings
|
||||
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
|
||||
sudo chmod a+r /etc/apt/keyrings/docker.gpg
|
||||
```
|
||||
|
||||
Expected: 에러 없이 완료. `/etc/apt/keyrings/docker.gpg` 파일 생성.
|
||||
|
||||
- [ ] **Step 3: Docker repository 추가**
|
||||
|
||||
```bash
|
||||
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | \
|
||||
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
|
||||
sudo apt update
|
||||
```
|
||||
|
||||
Expected: `Hit:N https://download.docker.com/linux/ubuntu jammy InRelease` 라인 보임.
|
||||
|
||||
- [ ] **Step 4: Docker Engine + Compose 설치**
|
||||
|
||||
```bash
|
||||
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
|
||||
```
|
||||
|
||||
Expected: 설치 완료. 용량 ~400MB.
|
||||
|
||||
- [ ] **Step 5: 현재 사용자를 docker 그룹에 추가**
|
||||
|
||||
```bash
|
||||
sudo usermod -aG docker $USER
|
||||
```
|
||||
|
||||
Expected: 출력 없음 (정상). **새 셸 열어야 적용됨.**
|
||||
|
||||
- [ ] **Step 6: Docker 서비스 시작 + 자동 시작 설정**
|
||||
|
||||
```bash
|
||||
sudo systemctl enable docker
|
||||
sudo systemctl start docker
|
||||
sudo systemctl status docker | head -5
|
||||
```
|
||||
|
||||
Expected: `Active: active (running)`.
|
||||
|
||||
만약 `systemctl: command not found` 또는 systemd 미지원 시:
|
||||
```bash
|
||||
sudo service docker start
|
||||
```
|
||||
|
||||
WSL2 systemd 활성화는 `/etc/wsl.conf`에 `[boot]\nsystemd=true` 추가 후 PowerShell에서 `wsl --shutdown` 후 재진입. (Ubuntu-22.04는 보통 기본 활성)
|
||||
|
||||
- [ ] **Step 7: docker 명령 동작 확인**
|
||||
|
||||
새 셸로 (PowerShell에서 다시 `wsl -d Ubuntu-22.04` 또는 현재 셸 종료 후 재진입):
|
||||
|
||||
```bash
|
||||
docker version
|
||||
docker run --rm hello-world
|
||||
```
|
||||
|
||||
Expected:
|
||||
- `docker version`: Client + Server 둘 다 표시 (Server에 Engine version)
|
||||
- `hello-world`: "Hello from Docker!" 출력
|
||||
|
||||
---
|
||||
|
||||
## Task 5: WSL2 안 Tailscale 설치 + 가입
|
||||
|
||||
**Files:** Tailscale은 systemd service 등록 (별도 path 신경 안 써도 됨)
|
||||
|
||||
- [ ] **Step 1: Tailscale 설치**
|
||||
|
||||
WSL2 bash:
|
||||
```bash
|
||||
curl -fsSL https://tailscale.com/install.sh | sh
|
||||
```
|
||||
|
||||
Expected: 패키지 install 후 "Installation complete!" 출력.
|
||||
|
||||
- [ ] **Step 2: Tailscale 가입 (브라우저 OAuth)**
|
||||
|
||||
```bash
|
||||
sudo tailscale up
|
||||
```
|
||||
|
||||
Expected: `To authenticate, visit: https://login.tailscale.com/a/...` URL 표시.
|
||||
|
||||
브라우저에서 그 URL 열기 → Google/Microsoft/GitHub 등으로 로그인 → 박재오 Tailscale 네트워크에 가입 (기존 계정 없으면 생성).
|
||||
|
||||
- [ ] **Step 3: 가입 완료 확인**
|
||||
|
||||
```bash
|
||||
tailscale status
|
||||
```
|
||||
|
||||
Expected:
|
||||
- 첫 줄에 Windows AI 머신의 100.x.x.x IP 표시
|
||||
- (이미 가입된) NAS도 같은 네트워크에 있다면 NAS의 100.x.x.x IP도 표시
|
||||
|
||||
- [ ] **Step 4: NAS와 Tailscale ping (양방향 사설망 확인)**
|
||||
|
||||
NAS의 Tailscale IP를 `tailscale status` 출력에서 찾아 (예: `100.64.0.10`):
|
||||
```bash
|
||||
tailscale ping 100.64.0.10
|
||||
```
|
||||
|
||||
Expected: `pong from <NAS hostname>` (직접 LAN 또는 DERP 중계). 만약 NAS가 Tailscale 미가입이면 별도로 NAS DSM Tailscale 패키지 셋업 필요 — 이는 박재오 결정 사항이라 plan 외.
|
||||
|
||||
> **참고:** Tailscale은 spec §3 sense의 사설망 layer 보조. LAN(192.168.45.0/24) 안에서만 작업한다면 Tailscale 없이도 작동. 외부 출장 등에서 NAS↔Windows 통신을 위해 권장.
|
||||
|
||||
---
|
||||
|
||||
## Task 6: WSL2 안 NAS SMB 자격증명 파일 + 마운트 포인트 준비
|
||||
|
||||
**Files:** `/etc/nas-smb-credentials`, `/mnt/nas`
|
||||
|
||||
- [ ] **Step 1: cifs-utils 설치 (SMB 마운트 패키지)**
|
||||
|
||||
```bash
|
||||
sudo apt install -y cifs-utils
|
||||
```
|
||||
|
||||
Expected: 설치 완료.
|
||||
|
||||
- [ ] **Step 2: SMB 자격증명 파일 생성**
|
||||
|
||||
박재오 NAS 계정의 username과 password를 사용. 파일 위치는 system-wide `/etc/`.
|
||||
|
||||
```bash
|
||||
sudo bash -c 'cat > /etc/nas-smb-credentials <<EOF
|
||||
username=박재오NAS사용자명
|
||||
password=박재오NAS비밀번호
|
||||
domain=
|
||||
EOF'
|
||||
```
|
||||
|
||||
**위 명령 실행 전 `박재오NAS사용자명` / `박재오NAS비밀번호`를 실제 값으로 교체.** Synology DSM Control Panel → User & Group 에서 SMB 접근 권한 있는 계정 사용. 비밀번호에 특수문자 있을 시 escape 필요 (특히 `!`, `$`, `\`).
|
||||
|
||||
- [ ] **Step 3: 자격증명 파일 권한 보호**
|
||||
|
||||
```bash
|
||||
sudo chmod 600 /etc/nas-smb-credentials
|
||||
sudo chown root:root /etc/nas-smb-credentials
|
||||
```
|
||||
|
||||
Expected: 출력 없음.
|
||||
|
||||
```bash
|
||||
ls -la /etc/nas-smb-credentials
|
||||
```
|
||||
|
||||
Expected: `-rw------- 1 root root ... /etc/nas-smb-credentials`
|
||||
|
||||
- [ ] **Step 4: 마운트 포인트 생성**
|
||||
|
||||
```bash
|
||||
sudo mkdir -p /mnt/nas
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Task 7: NAS SMB 마운트 (수동 마운트 + fstab 자동화)
|
||||
|
||||
**Files:** `/etc/fstab` (수정)
|
||||
|
||||
- [ ] **Step 1: 수동 마운트 시도 (자격증명·경로 검증)**
|
||||
|
||||
```bash
|
||||
sudo mount -t cifs //gahusb.synology.me/docker /mnt/nas \
|
||||
-o credentials=/etc/nas-smb-credentials,vers=3.0,uid=1000,gid=1000,_netdev
|
||||
```
|
||||
|
||||
Expected: 출력 없음 (성공). 만약 `mount error(13)` (permission) → 자격증명 오류. `mount error(2)` (no such file) → share name `docker` 확인.
|
||||
|
||||
> **share name 변형:** 박재오 NAS는 메모리(`feedback_nas_deploy_paths.md`)에 따르면 SMB 매핑이 `/volume1/docker/`를 share `docker`로 노출. 만약 다른 share name(예: `webpage`)이라면 그것으로 교체.
|
||||
|
||||
- [ ] **Step 2: 마운트 결과 확인**
|
||||
|
||||
```bash
|
||||
ls /mnt/nas/
|
||||
```
|
||||
|
||||
Expected: `webpage/` 디렉토리 + 다른 share 내 디렉토리 보임.
|
||||
|
||||
```bash
|
||||
ls /mnt/nas/webpage/data/
|
||||
```
|
||||
|
||||
Expected: `insta/`, `music/` 등 후속 트랙에서 사용할 디렉토리. 없으면 후속 트랙에서 생성됨.
|
||||
|
||||
- [ ] **Step 3: 마운트 해제 후 fstab으로 자동화**
|
||||
|
||||
```bash
|
||||
sudo umount /mnt/nas
|
||||
```
|
||||
|
||||
Expected: 출력 없음.
|
||||
|
||||
`/etc/fstab` 끝에 다음 라인 추가:
|
||||
```bash
|
||||
sudo bash -c 'cat >> /etc/fstab <<EOF
|
||||
|
||||
# NAS Synology SMB mount for web-ai-services workers (2026-05-18)
|
||||
//gahusb.synology.me/docker /mnt/nas cifs credentials=/etc/nas-smb-credentials,vers=3.0,uid=1000,gid=1000,_netdev,nofail 0 0
|
||||
EOF'
|
||||
```
|
||||
|
||||
`nofail` 옵션은 부팅 시 NAS 미접속이어도 boot 진행 (production 안전).
|
||||
|
||||
- [ ] **Step 4: fstab 적용 + 검증**
|
||||
|
||||
```bash
|
||||
sudo mount -a
|
||||
ls /mnt/nas/webpage/data/ 2>&1 | head -5
|
||||
mount | grep cifs
|
||||
```
|
||||
|
||||
Expected:
|
||||
- `mount -a` 출력 없음 (성공)
|
||||
- `ls /mnt/nas/webpage/data/` 디렉토리 내용 표시
|
||||
- `mount | grep cifs` 라인에 마운트 정보 보임
|
||||
|
||||
- [ ] **Step 5: WSL2 재시작 시 자동 마운트 확인**
|
||||
|
||||
PowerShell에서 (관리자 권한 불필요):
|
||||
```powershell
|
||||
wsl --shutdown
|
||||
wsl -d Ubuntu-22.04
|
||||
```
|
||||
|
||||
WSL2 다시 진입 후:
|
||||
```bash
|
||||
ls /mnt/nas/webpage/data/
|
||||
```
|
||||
|
||||
Expected: 정상 디렉토리 목록. 자동 마운트 성공.
|
||||
|
||||
만약 마운트 안 됨:
|
||||
- `dmesg | grep cifs` 확인
|
||||
- `nofail` 때문에 boot은 통과했으나 마운트 실패 가능. 수동 `sudo mount -a` 후 동작 확인 → fstab syntax 재검토
|
||||
|
||||
---
|
||||
|
||||
## Task 8: 통합 검증 — base 인프라 동작 확인
|
||||
|
||||
**Files:** 없음 (검증)
|
||||
|
||||
- [ ] **Step 1: NAS Redis 외부 ping (Windows 로컬에서)**
|
||||
|
||||
```powershell
|
||||
# Windows AI 또는 박재오 PC에서
|
||||
Test-NetConnection -ComputerName 192.168.45.54 -Port 6379
|
||||
```
|
||||
|
||||
Expected: `TcpTestSucceeded : True`
|
||||
|
||||
> 외부 6379 노출은 LAN 한정. 가능하면 NAS firewall (DSM Control Panel)에서 6379 LAN-only allowed로 한정 권장. (이번 plan에 포함 안 됨, 별도 사용자 작업)
|
||||
|
||||
- [ ] **Step 2: WSL2에서 NAS Redis 접속**
|
||||
|
||||
WSL2 bash:
|
||||
```bash
|
||||
docker run --rm redis:7-alpine redis-cli -h 192.168.45.54 PING
|
||||
```
|
||||
|
||||
또는 Tailscale 사용 시:
|
||||
```bash
|
||||
docker run --rm redis:7-alpine redis-cli -h <NAS_TAILSCALE_IP> PING
|
||||
```
|
||||
|
||||
Expected: `PONG`
|
||||
|
||||
- [ ] **Step 3: NAS volume 쓰기 테스트 (Windows→NAS 양방향)**
|
||||
|
||||
WSL2 bash:
|
||||
```bash
|
||||
echo "Plan-B-Base test $(date)" | sudo tee /mnt/nas/webpage/data/.plan-b-test.txt
|
||||
cat /mnt/nas/webpage/data/.plan-b-test.txt
|
||||
sudo rm /mnt/nas/webpage/data/.plan-b-test.txt
|
||||
```
|
||||
|
||||
Expected:
|
||||
- `tee` 출력에 같은 내용 + 파일 생성됨
|
||||
- `cat` 으로 확인 성공
|
||||
- 파일 삭제 성공
|
||||
|
||||
`sudo` 필요 시 chmod로 uid 1000 쓰기 권한 확인. 또는 mount option `uid=1000,gid=1000` 적용 후 일반 사용자도 쓰기 가능. 만약 안 되면 NAS DSM에서 SMB user의 write 권한 확인.
|
||||
|
||||
- [ ] **Step 4: WSL2 Docker로 hello-world 한 번 더 (재진입 후 상태 확인)**
|
||||
|
||||
```bash
|
||||
docker run --rm hello-world
|
||||
```
|
||||
|
||||
Expected: "Hello from Docker!"
|
||||
|
||||
- [ ] **Step 5: 모든 검증 완료 후 보고 — 후속 트랙으로 진입 가능 상태**
|
||||
|
||||
다음 plan(Plan-B-Insta 등)이 가정하는 상태:
|
||||
- ✅ NAS `redis:6379` PING/PONG 성공
|
||||
- ✅ Windows WSL2 Ubuntu-22.04 작동 + Docker Engine 실행
|
||||
- ✅ `/mnt/nas/webpage/data/` 양방향 read·write 성공
|
||||
- ✅ Tailscale 가입 (선택, 외부 출장 시 필요)
|
||||
|
||||
---
|
||||
|
||||
## Self-Review
|
||||
|
||||
### Spec 커버리지
|
||||
|
||||
| Spec 요구사항 | 구현 Task |
|
||||
|---------------|-----------|
|
||||
| §4 SP-1: NAS Redis 컨테이너 | Task 1 (compose 추가) + Task 2 (헬스 검증) |
|
||||
| §10 SP-1: redis:7-alpine + 256MB + AOF + healthcheck | Task 1 Step 2 |
|
||||
| §4 SP-2: Windows WSL2 + Docker Engine | Task 3 (WSL2) + Task 4 (Docker) |
|
||||
| §10 SP-2: Tailscale | Task 5 |
|
||||
| §10 SP-2: NAS SMB mount `/mnt/nas` | Task 6 (자격증명·포인트) + Task 7 (마운트+fstab) |
|
||||
| §10 SP-2: 검증 (docker ps, tailscale status, ls /mnt/nas) | Task 8 |
|
||||
| §6 Redis 키 컨벤션 사용 가능 | Task 2 Step 2 (PING) — 컨벤션 자체는 후속 트랙에서 RPUSH로 시작 |
|
||||
|
||||
### Placeholder 스캔
|
||||
|
||||
- TBD/TODO 없음 ✓
|
||||
- 모든 명령어가 그대로 실행 가능한 형태 ✓
|
||||
- 한 가지 예외: Task 6 Step 2 — `박재오NAS사용자명/박재오NAS비밀번호`는 사용자 자격증명이라 placeholder가 의도된 것. 실행 전 교체 명시 ✓
|
||||
- Task 5 Step 4 — `<NAS 의 Tailscale IP>`는 `tailscale status` 출력에서 박재오가 보고 입력. 사용자 환경에서만 결정 가능, plan에 명시 ✓
|
||||
|
||||
### Type/이름 consistency
|
||||
|
||||
- `redis` 서비스명 (Task 1, 2, 8 모두 동일) ✓
|
||||
- `/mnt/nas` 마운트 포인트 (Task 6, 7, 8 모두 동일) ✓
|
||||
- `/etc/nas-smb-credentials` 자격증명 파일 (Task 6, 7 동일) ✓
|
||||
- share name `docker` (Task 7 Step 1, fstab 동일) ✓
|
||||
- Ubuntu-22.04 (Task 3, 4 동일) ✓
|
||||
|
||||
### 위험·주의
|
||||
|
||||
| 위험 | 완화 |
|
||||
|------|------|
|
||||
| Windows 재부팅 시 WSL2 자동 시작 안 함 | 향후 Plan-B-Infra(SP-9)에서 NSSM으로 자동 시작 |
|
||||
| WSL2 systemd 미지원 시 docker service 자동 시작 안 함 | Task 4 Step 6의 fallback `sudo service docker start` 또는 `/etc/wsl.conf` 수정 |
|
||||
| SMB 마운트 자격증명 노출 | `/etc/nas-smb-credentials` chmod 600 + root:root |
|
||||
| NAS firewall에서 6379 외부 노출 | 권장: LAN(192.168.45.0/24) only allow. 본 plan 외 (DSM 수동) |
|
||||
| Tailscale 미가입 시 NAS↔Windows 외부 통신 불가 | LAN 내에선 작동. 외부 출장 시 필요할 때만 가입 |
|
||||
| /mnt/nas 쓰기 권한 부족 | uid=1000 mount option + NAS DSM에서 SMB user의 share write 권한 확인 |
|
||||
|
||||
---
|
||||
|
||||
## 완료 후 다음 단계
|
||||
|
||||
Plan-B-Base 완료 후 spec §14 권장 순서대로:
|
||||
|
||||
1. **Plan-B-Insta** — SP-3 (insta-render Windows worker) + SP-4 (NAS insta-lab 분할)
|
||||
2. **Plan-B-Music** — SP-5 + SP-6
|
||||
3. **Plan-B-Video** — SP-7 + SP-8
|
||||
4. **Plan-B-Infra** — SP-9 (NSSM 자동 시작) + SP-10 (task-watcher)
|
||||
|
||||
각 후속 plan은 본 plan이 제공한 base 인프라(Redis + WSL2/Docker + /mnt/nas)에 의존.
|
||||
656
docs/superpowers/plans/2026-05-18-track-a-cache-hardening.md
Normal file
@@ -0,0 +1,656 @@
|
||||
# Track A — NAS↔Windows API 부하 캐시 강화 Implementation Plan
|
||||
|
||||
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
||||
|
||||
**Goal:** web-ai → NAS stock 호출량을 분당 12회 → 분당 3~4회로 축소하여, V2 재시작 시점부터 즉시 NAS CPU 부담 70% 감소.
|
||||
|
||||
**Architecture:** 2-layer cache. (1) web-ai client side: 3개 endpoint TTL 60/300/60 → 180/600/300으로 증가. (2) NAS stock server side: 동일 endpoint에 in-memory TTLCache 추가하여 web-ai 캐시 miss 시에도 KIS·LLM 재호출 차단. 두 layer가 cumulative하게 작동.
|
||||
|
||||
**Tech Stack:** Python 3.12 / FastAPI / pytest / `cachetools.TTLCache`. **two repos**: `web-ai` (signal_v2/) + `web-backend` (stock/).
|
||||
|
||||
**Spec:** `web-backend/docs/superpowers/specs/2026-05-18-nas-windows-distributed-architecture-design.md` §4 SP-A1·A2, §10 상세
|
||||
|
||||
---
|
||||
|
||||
## File Structure
|
||||
|
||||
### SP-A1 — web-ai 캐시 TTL (Modify)
|
||||
|
||||
| 파일 | 변경 | 책임 |
|
||||
|------|------|------|
|
||||
| `web-ai/signal_v2/stock_client.py:13-17` | `_TTL` dict 3개 값 변경 | endpoint별 client-side cache TTL |
|
||||
| `web-ai/signal_v2/tests/test_stock_client_ttl.py` (Create) | TTL 값 회귀 테스트 | 미래 변경 시 의도하지 않은 회귀 방지 |
|
||||
|
||||
### SP-A2 — NAS stock TTLCache (Modify + Create)
|
||||
|
||||
| 파일 | 변경 | 책임 |
|
||||
|------|------|------|
|
||||
| `web-backend/stock/requirements.txt` | `cachetools>=5.3` 추가 | 의존성 |
|
||||
| `web-backend/stock/app/webai_cache.py` (Create) | 3개 TTLCache + helper 함수 | server-side cache 중앙화 |
|
||||
| `web-backend/stock/app/main.py:419-422` | `get_webai_portfolio()` cache 적용 | NAS portfolio 캐시 |
|
||||
| `web-backend/stock/app/main.py:467-470` | `get_webai_news_sentiment(date)` cache 적용 | date별 캐시 |
|
||||
| `web-backend/stock/app/screener/router.py:173` | `post_run()` cache 적용 (mode=preview만) | screener preview 캐시 |
|
||||
| `web-backend/stock/app/test_webai_cache.py` (Create) | cache 동작 + TTL + key 분기 | 캐시 hit/miss 검증 |
|
||||
|
||||
---
|
||||
|
||||
## Task 1: web-ai SP-A1 — `_TTL` dict 회귀 테스트 작성
|
||||
|
||||
**Files:**
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/signal_v2/tests/test_stock_client_ttl.py`
|
||||
|
||||
- [ ] **Step 1: 실패하는 테스트 작성**
|
||||
|
||||
```python
|
||||
# tests/test_stock_client_ttl.py
|
||||
"""SP-A1 회귀 — _TTL이 NAS 부담 완화를 위한 값으로 설정되어 있어야 함."""
|
||||
from signal_v2.stock_client import _TTL
|
||||
|
||||
|
||||
def test_portfolio_ttl_is_180s():
|
||||
"""portfolio TTL은 180초 이상 (3분 폴링에서 1회 fetch가 3 폴링 커버)."""
|
||||
assert _TTL["portfolio"] >= 180.0
|
||||
|
||||
|
||||
def test_news_sentiment_ttl_is_600s():
|
||||
"""news-sentiment TTL은 600초 이상 (10분, 뉴스 sentiment는 자주 안 바뀜)."""
|
||||
assert _TTL["news-sentiment"] >= 600.0
|
||||
|
||||
|
||||
def test_screener_preview_ttl_is_300s():
|
||||
"""screener-preview TTL은 300초 이상 (5분, Top-20은 분 단위로 거의 안 바뀜)."""
|
||||
assert _TTL["screener-preview"] >= 300.0
|
||||
```
|
||||
|
||||
- [ ] **Step 2: 테스트 실패 확인**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-ai && python -m pytest signal_v2/tests/test_stock_client_ttl.py -v`
|
||||
Expected: FAIL — 현재 _TTL 값은 60/300/60. portfolio·screener-preview 모두 < 180/300.
|
||||
|
||||
- [ ] **Step 3: `_TTL` 값 변경**
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-ai/signal_v2/stock_client.py` line 13-17:
|
||||
|
||||
변경 전:
|
||||
```python
|
||||
_TTL = {
|
||||
"portfolio": 60.0,
|
||||
"news-sentiment": 300.0,
|
||||
"screener-preview": 60.0,
|
||||
}
|
||||
```
|
||||
|
||||
변경 후:
|
||||
```python
|
||||
# Cache TTL by endpoint (seconds).
|
||||
# 2026-05-18 — NAS 인바운드 호출 부담 완화 (Plan-A SP-A1).
|
||||
_TTL = {
|
||||
"portfolio": 180.0, # 3분 (1분 폴링 시 3 폴링당 1회 실제 fetch)
|
||||
"news-sentiment": 600.0, # 10분 (뉴스 sentiment는 자주 안 바뀜)
|
||||
"screener-preview": 300.0, # 5분 (Top-20은 분 단위로 거의 안 바뀜)
|
||||
}
|
||||
```
|
||||
|
||||
- [ ] **Step 4: 테스트 통과 확인**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-ai && python -m pytest signal_v2/tests/test_stock_client_ttl.py -v`
|
||||
Expected: PASS — 3개 모두 통과.
|
||||
|
||||
- [ ] **Step 5: 전체 회귀 확인 (기존 56 tests + 신규 3 tests)**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-ai && python -m pytest signal_v2/tests/ -v 2>&1 | tail -5`
|
||||
Expected: 59 tests 모두 PASS (기존 56 + 신규 3).
|
||||
|
||||
- [ ] **Step 6: 커밋**
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai
|
||||
git add signal_v2/stock_client.py signal_v2/tests/test_stock_client_ttl.py
|
||||
git commit -m "$(cat <<'EOF'
|
||||
perf(signal_v2): raise stock_client TTL for NAS load relief (SP-A1)
|
||||
|
||||
portfolio 60s → 180s (3분 폴링 → 3회당 1회 fetch)
|
||||
news-sent 300s → 600s (sentiment는 자주 안 바뀜)
|
||||
screener 60s → 300s (Top-20 분 단위 변화 미미)
|
||||
|
||||
V2 재시작 시점부터 NAS stock에 대한 인바운드 호출이
|
||||
분당 12 → 분당 3~4 로 감소 예상. 캐시 hit ratio 0~50% → 66~80%.
|
||||
회귀 테스트 3건 추가로 미래 의도치 않은 TTL 변경 차단.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Task 2: NAS SP-A2 — `cachetools` 의존성 추가
|
||||
|
||||
**Files:**
|
||||
- Modify: `C:/Users/jaeoh/Desktop/workspace/web-backend/stock/requirements.txt`
|
||||
|
||||
- [ ] **Step 1: 현재 requirements.txt 확인**
|
||||
|
||||
Run: `cat C:/Users/jaeoh/Desktop/workspace/web-backend/stock/requirements.txt`
|
||||
파일 끝 확인 — 마지막 줄 newline 여부 확인 (sed/append 안전).
|
||||
|
||||
- [ ] **Step 2: cachetools 추가**
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-backend/stock/requirements.txt` 끝에 한 줄 추가:
|
||||
|
||||
```
|
||||
cachetools>=5.3
|
||||
```
|
||||
|
||||
(파일 마지막에 newline 없으면 newline 먼저, 그 다음 cachetools 줄.)
|
||||
|
||||
- [ ] **Step 3: 로컬 import 가능 여부 확인 (선택, NAS rebuild가 정본)**
|
||||
|
||||
Run (Windows 로컬에서 docker 외부 검증용, 선택):
|
||||
```bash
|
||||
python -c "import cachetools; print(cachetools.__version__)" 2>&1
|
||||
```
|
||||
|
||||
로컬 미설치라면 skip — NAS deployer가 rebuild 시 install. 이 plan은 코드 정합성만 보장.
|
||||
|
||||
- [ ] **Step 4: 커밋 (단독 커밋, deps만)**
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend
|
||||
git add stock/requirements.txt
|
||||
git commit -m "$(cat <<'EOF'
|
||||
chore(stock): add cachetools for server-side TTLCache (SP-A2 prep)
|
||||
|
||||
다음 커밋에서 /api/webai/portfolio·news-sentiment·screener/run에
|
||||
in-memory TTLCache 적용 예정.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Task 3: NAS SP-A2 — `webai_cache.py` 모듈 + 단위 테스트
|
||||
|
||||
**Files:**
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/webai_cache.py`
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/test_webai_cache.py`
|
||||
|
||||
- [ ] **Step 1: 실패하는 테스트 작성**
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/test_webai_cache.py`:
|
||||
|
||||
```python
|
||||
"""SP-A2 — webai_cache module의 cache hit/miss + key 분기 검증."""
|
||||
import time
|
||||
import pytest
|
||||
from app.webai_cache import (
|
||||
PORTFOLIO_CACHE, NEWS_CACHE, SCREENER_CACHE,
|
||||
cache_get_portfolio, cache_set_portfolio,
|
||||
cache_get_news, cache_set_news,
|
||||
cache_get_screener, cache_set_screener,
|
||||
_screener_key,
|
||||
)
|
||||
|
||||
|
||||
def _clear_all():
|
||||
PORTFOLIO_CACHE.clear()
|
||||
NEWS_CACHE.clear()
|
||||
SCREENER_CACHE.clear()
|
||||
|
||||
|
||||
def test_portfolio_cache_miss_then_hit():
|
||||
_clear_all()
|
||||
assert cache_get_portfolio() is None
|
||||
cache_set_portfolio({"holdings": [], "cash": 0})
|
||||
assert cache_get_portfolio() == {"holdings": [], "cash": 0}
|
||||
|
||||
|
||||
def test_news_cache_key_by_date():
|
||||
"""date가 다르면 별도 캐시 슬롯."""
|
||||
_clear_all()
|
||||
cache_set_news("2026-05-18", {"count": 5})
|
||||
cache_set_news("2026-05-17", {"count": 3})
|
||||
assert cache_get_news("2026-05-18") == {"count": 5}
|
||||
assert cache_get_news("2026-05-17") == {"count": 3}
|
||||
assert cache_get_news("2026-05-16") is None # not cached
|
||||
|
||||
|
||||
def test_news_cache_latest_key_normalized():
|
||||
"""date=None은 'latest' 키로 정규화되어 동일 슬롯."""
|
||||
_clear_all()
|
||||
cache_set_news(None, {"count": 9})
|
||||
assert cache_get_news(None) == {"count": 9}
|
||||
|
||||
|
||||
def test_screener_key_includes_mode_and_top_n():
|
||||
"""screener key는 mode + top_n + weights hash로 분기."""
|
||||
k_preview = _screener_key("preview", 20, None)
|
||||
k_preview_w = _screener_key("preview", 20, {"news": 0.3})
|
||||
k_auto = _screener_key("auto", 20, None)
|
||||
assert k_preview != k_preview_w
|
||||
assert k_preview != k_auto
|
||||
|
||||
|
||||
def test_screener_cache_roundtrip():
|
||||
_clear_all()
|
||||
payload = {"asof": "2026-05-18", "survivors_count": 17}
|
||||
cache_set_screener("preview", 20, None, payload)
|
||||
assert cache_get_screener("preview", 20, None) == payload
|
||||
assert cache_get_screener("preview", 20, {"news": 0.3}) is None
|
||||
|
||||
|
||||
def test_ttl_expiry_portfolio():
|
||||
"""짧은 ttl로 만료 확인 — 직접 시간 조작 대신 TTLCache 내부 동작 신뢰."""
|
||||
from cachetools import TTLCache
|
||||
short = TTLCache(maxsize=1, ttl=0.1) # 0.1초
|
||||
short["result"] = "x"
|
||||
assert short.get("result") == "x"
|
||||
time.sleep(0.2)
|
||||
assert short.get("result") is None
|
||||
```
|
||||
|
||||
- [ ] **Step 2: 테스트 실패 확인**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-backend/stock && python -m pytest app/test_webai_cache.py -v`
|
||||
Expected: FAIL — `app.webai_cache` 모듈 존재 안 함.
|
||||
|
||||
- [ ] **Step 3: `webai_cache.py` 작성**
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/webai_cache.py`:
|
||||
|
||||
```python
|
||||
"""SP-A2 — NAS stock의 /api/webai/* 엔드포인트 in-memory TTLCache.
|
||||
|
||||
web-ai 측 캐시(stock_client._TTL)가 miss됐을 때도 NAS에서 같은 데이터를
|
||||
KIS·LLM 재호출 없이 즉시 반환하기 위한 2-layer 캐시의 server 측.
|
||||
V1+V2가 동시 호출해도 NAS는 1회만 계산.
|
||||
|
||||
TTL 정책 (spec §10 SP-A2):
|
||||
- portfolio: 120s (web-ai TTL 180s 보다 짧게 — 변경 감지 가능)
|
||||
- news: 600s (sentiment는 일 단위)
|
||||
- screener: 180s
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import hashlib
|
||||
import json
|
||||
from typing import Any, Optional
|
||||
|
||||
from cachetools import TTLCache
|
||||
|
||||
|
||||
PORTFOLIO_CACHE: TTLCache = TTLCache(maxsize=1, ttl=120.0)
|
||||
NEWS_CACHE: TTLCache = TTLCache(maxsize=10, ttl=600.0)
|
||||
SCREENER_CACHE: TTLCache = TTLCache(maxsize=10, ttl=180.0)
|
||||
|
||||
|
||||
# ----- portfolio -----
|
||||
|
||||
def cache_get_portfolio() -> Optional[Any]:
|
||||
return PORTFOLIO_CACHE.get("result")
|
||||
|
||||
|
||||
def cache_set_portfolio(value: Any) -> None:
|
||||
PORTFOLIO_CACHE["result"] = value
|
||||
|
||||
|
||||
# ----- news-sentiment -----
|
||||
|
||||
def _news_key(date: Optional[str]) -> str:
|
||||
return date if date else "latest"
|
||||
|
||||
|
||||
def cache_get_news(date: Optional[str]) -> Optional[Any]:
|
||||
return NEWS_CACHE.get(_news_key(date))
|
||||
|
||||
|
||||
def cache_set_news(date: Optional[str], value: Any) -> None:
|
||||
NEWS_CACHE[_news_key(date)] = value
|
||||
|
||||
|
||||
# ----- screener -----
|
||||
|
||||
def _screener_key(mode: str, top_n: int, weights: Optional[dict]) -> str:
|
||||
"""mode + top_n + weights canonical hash. weights 객체 동등성을 키로."""
|
||||
if weights is None:
|
||||
w_repr = "none"
|
||||
else:
|
||||
# canonical: sorted keys → md5 hex (긴 weights도 짧은 키로)
|
||||
canon = json.dumps(weights, sort_keys=True, ensure_ascii=False)
|
||||
w_repr = hashlib.md5(canon.encode("utf-8")).hexdigest()[:12]
|
||||
return f"{mode}:{top_n}:{w_repr}"
|
||||
|
||||
|
||||
def cache_get_screener(mode: str, top_n: int, weights: Optional[dict]) -> Optional[Any]:
|
||||
return SCREENER_CACHE.get(_screener_key(mode, top_n, weights))
|
||||
|
||||
|
||||
def cache_set_screener(mode: str, top_n: int, weights: Optional[dict], value: Any) -> None:
|
||||
SCREENER_CACHE[_screener_key(mode, top_n, weights)] = value
|
||||
```
|
||||
|
||||
- [ ] **Step 4: 테스트 통과 확인**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-backend/stock && python -m pytest app/test_webai_cache.py -v`
|
||||
Expected: PASS — 6개 모두 통과.
|
||||
|
||||
- [ ] **Step 5: 커밋**
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend
|
||||
git add stock/app/webai_cache.py stock/app/test_webai_cache.py
|
||||
git commit -m "$(cat <<'EOF'
|
||||
feat(stock): webai_cache module (TTLCache for SP-A2)
|
||||
|
||||
3개의 TTLCache (portfolio 120s · news 600s · screener 180s) +
|
||||
헬퍼 함수. screener key는 mode + top_n + weights canonical hash로
|
||||
분기. 다음 커밋에서 /api/webai/portfolio·news-sentiment·screener/run
|
||||
3 endpoint에 적용.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Task 4: NAS SP-A2 — `/api/webai/portfolio` 캐시 적용
|
||||
|
||||
**Files:**
|
||||
- Modify: `C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/main.py:419-422`
|
||||
|
||||
- [ ] **Step 1: 현재 endpoint 코드 확인**
|
||||
|
||||
`web-backend/stock/app/main.py` 419-422 line은 spec §10 SP-A2와 일치:
|
||||
```python
|
||||
@app.get("/api/webai/portfolio", dependencies=[Depends(verify_webai_key)])
|
||||
def get_webai_portfolio():
|
||||
"""web-ai 전용 portfolio (인증 필수, pnl_pct 비율 필드 추가)."""
|
||||
return _augment_portfolio_with_pnl_pct(get_portfolio())
|
||||
```
|
||||
|
||||
- [ ] **Step 2: 캐시 적용으로 교체**
|
||||
|
||||
`web-backend/stock/app/main.py` 419-422 line을 다음으로 교체:
|
||||
|
||||
```python
|
||||
@app.get("/api/webai/portfolio", dependencies=[Depends(verify_webai_key)])
|
||||
def get_webai_portfolio():
|
||||
"""web-ai 전용 portfolio (인증 필수, pnl_pct 비율 필드 추가).
|
||||
|
||||
SP-A2 server-side TTLCache 적용. V1+V2 동시 호출도 NAS에서 1회 계산.
|
||||
"""
|
||||
cached = webai_cache.cache_get_portfolio()
|
||||
if cached is not None:
|
||||
return cached
|
||||
result = _augment_portfolio_with_pnl_pct(get_portfolio())
|
||||
webai_cache.cache_set_portfolio(result)
|
||||
return result
|
||||
```
|
||||
|
||||
- [ ] **Step 3: import 추가 (파일 상단)**
|
||||
|
||||
`web-backend/stock/app/main.py` 파일 상단 import 블록 (다른 `from .xxx import` 들과 같은 위치)에 추가:
|
||||
|
||||
```python
|
||||
from . import webai_cache
|
||||
```
|
||||
|
||||
- [ ] **Step 4: 빠른 import sanity 체크**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-backend/stock && python -c "from app import main; print('OK')"` 2>&1 | tail -3
|
||||
|
||||
(`cachetools` 미설치 환경에선 ImportError 가능 → 그 경우 `pip install cachetools` 후 재시도. 실제 검증은 NAS rebuild 후.)
|
||||
Expected: `OK` 또는 cachetools 누락 메시지 (의도된 상태).
|
||||
|
||||
---
|
||||
|
||||
## Task 5: NAS SP-A2 — `/api/webai/news-sentiment` 캐시 적용
|
||||
|
||||
**Files:**
|
||||
- Modify: `C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/main.py:467-470`
|
||||
|
||||
- [ ] **Step 1: 캐시 적용**
|
||||
|
||||
`web-backend/stock/app/main.py` 467-470 line을 다음으로 교체:
|
||||
|
||||
```python
|
||||
@app.get("/api/webai/news-sentiment", dependencies=[Depends(verify_webai_key)])
|
||||
def get_webai_news_sentiment(date: str | None = None):
|
||||
"""web-ai 전용 news sentiment 일별 dump.
|
||||
|
||||
SP-A2 server-side TTLCache 적용. date 파라미터별로 별도 슬롯.
|
||||
"""
|
||||
cached = webai_cache.cache_get_news(date)
|
||||
if cached is not None:
|
||||
return cached
|
||||
result = _fetch_news_sentiment_dump(date)
|
||||
webai_cache.cache_set_news(date, result)
|
||||
return result
|
||||
```
|
||||
|
||||
- [ ] **Step 2: import sanity 체크**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-backend/stock && python -c "from app import main; print('OK')" 2>&1 | tail -3`
|
||||
Expected: `OK`
|
||||
|
||||
---
|
||||
|
||||
## Task 6: NAS SP-A2 — `/api/stock/screener/run` 캐시 적용 (preview 모드만)
|
||||
|
||||
**Files:**
|
||||
- Modify: `C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/screener/router.py:173-...`
|
||||
|
||||
- [ ] **Step 1: 현재 함수 확인 (참고)**
|
||||
|
||||
`web-backend/stock/app/screener/router.py:173` 시작 `def post_run(body: schemas.RunRequest):` — 함수 본체는 mode 분기 후 _conn() + KIS 호출 등. 단, `mode == "auto"` 는 휴장일/실 운영 트리거이므로 캐시하지 않음 (매 호출이 다른 의미). `mode == "preview"` 는 frontend·web-ai 폴링용 → 캐시 적용.
|
||||
|
||||
- [ ] **Step 2: 함수 진입부에 cache 분기 추가**
|
||||
|
||||
`web-backend/stock/app/screener/router.py:173` `@router.post("/run", ...)` 의 `def post_run(...)` 본체 **첫 줄들에** 다음 캐시 분기 추가:
|
||||
|
||||
변경 전 (line 173-179 근처):
|
||||
```python
|
||||
@router.post("/run", response_model=schemas.RunResponse)
|
||||
def post_run(body: schemas.RunRequest):
|
||||
from .registry import NODE_REGISTRY as _NR, GATE_REGISTRY as _GR
|
||||
started_at = dt.datetime.utcnow().isoformat()
|
||||
with _conn() as c:
|
||||
asof = _resolve_asof(body.asof, c)
|
||||
```
|
||||
|
||||
변경 후:
|
||||
```python
|
||||
@router.post("/run", response_model=schemas.RunResponse)
|
||||
def post_run(body: schemas.RunRequest):
|
||||
from .registry import NODE_REGISTRY as _NR, GATE_REGISTRY as _GR
|
||||
# SP-A2 — preview 모드는 web-ai/frontend 폴링이라 캐시 적용.
|
||||
# auto 모드는 실제 운영 트리거(휴장일 게이트 등)라 캐시 미적용.
|
||||
if body.mode == "preview":
|
||||
cached = webai_cache.cache_get_screener(body.mode, body.top_n, body.weights)
|
||||
if cached is not None:
|
||||
return cached
|
||||
started_at = dt.datetime.utcnow().isoformat()
|
||||
with _conn() as c:
|
||||
asof = _resolve_asof(body.asof, c)
|
||||
```
|
||||
|
||||
- [ ] **Step 3: 함수 끝 부분 — preview 결과를 캐시에 저장**
|
||||
|
||||
`post_run`의 반환부 직전에 (preview 모드일 때만) 캐시 저장. `post_run` 함수는 결과를 `schemas.RunResponse(...)` 로 만들어 return하는 구조일 것. 정확한 return 위치 확인 후, return 직전에:
|
||||
|
||||
`web-backend/stock/app/screener/router.py` `post_run` 함수의 마지막 return 직전에:
|
||||
|
||||
```python
|
||||
# SP-A2 — preview 모드 결과 캐시 저장.
|
||||
if body.mode == "preview":
|
||||
webai_cache.cache_set_screener(body.mode, body.top_n, body.weights, response)
|
||||
return response
|
||||
```
|
||||
|
||||
(`response` 라는 변수가 없으면, 기존 return 표현식을 `response = ...` 로 binding 후 위 코드 추가.)
|
||||
|
||||
> **주의:** post_run의 정확한 return 라인을 먼저 확인. `grep -n "return " app/screener/router.py | head` 로 위치 파악 후 적용.
|
||||
|
||||
- [ ] **Step 4: import 추가 (router.py 상단)**
|
||||
|
||||
`web-backend/stock/app/screener/router.py` 상단 import 블록에 추가:
|
||||
|
||||
```python
|
||||
from .. import webai_cache
|
||||
```
|
||||
|
||||
- [ ] **Step 5: 빠른 import sanity 체크**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-backend/stock && python -c "from app.screener import router; print('OK')" 2>&1 | tail -3`
|
||||
Expected: `OK`
|
||||
|
||||
---
|
||||
|
||||
## Task 7: 통합 검증 — 기존 테스트 회귀 + SP-A2 신규 테스트
|
||||
|
||||
**Files:** (조회만)
|
||||
|
||||
- [ ] **Step 1: stock 전체 pytest 실행**
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-backend/stock && python -m pytest -v 2>&1 | tail -30`
|
||||
Expected: 기존 모든 테스트 + SP-A2 신규 6 tests 모두 PASS. **0 failed**.
|
||||
|
||||
- [ ] **Step 2: 회귀 발견 시 처리**
|
||||
|
||||
회귀가 발견되면:
|
||||
- import 누락 → `from . import webai_cache` 또는 `from .. import webai_cache` 위치 재확인
|
||||
- screener test가 cache hit으로 fail → test가 `_clear_all()` 또는 cache fixture 통해 격리되어 있는지 확인. 필요 시 conftest에 `autouse=True` cache reset fixture 추가:
|
||||
|
||||
```python
|
||||
# conftest.py에 추가 (선택)
|
||||
import pytest
|
||||
from app import webai_cache
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def _reset_webai_cache():
|
||||
webai_cache.PORTFOLIO_CACHE.clear()
|
||||
webai_cache.NEWS_CACHE.clear()
|
||||
webai_cache.SCREENER_CACHE.clear()
|
||||
yield
|
||||
```
|
||||
|
||||
- [ ] **Step 3: 커밋 (SP-A2 endpoint 통합 + 회귀 확인)**
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend
|
||||
git add stock/app/main.py stock/app/screener/router.py
|
||||
# (필요 시) git add stock/app/conftest.py
|
||||
git commit -m "$(cat <<'EOF'
|
||||
feat(stock): apply webai_cache to portfolio/news/screener-preview (SP-A2)
|
||||
|
||||
3 endpoint cache 적용 — /api/webai/portfolio, /api/webai/news-sentiment,
|
||||
/api/stock/screener/run (preview 모드만, auto는 캐시 미적용).
|
||||
V1+V2 동시 호출도 NAS에서 1회 계산. web-ai 측 SP-A1 캐시와 2-layer로
|
||||
작동하여 NAS 인바운드 부담 70% 감소 예상.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Task 8: 양쪽 push + NAS deploy 트리거
|
||||
|
||||
**Files:** 없음 (git 작업)
|
||||
|
||||
- [ ] **Step 1: web-ai push**
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai
|
||||
git push origin main
|
||||
```
|
||||
|
||||
Expected: success. 인증 prompt 뜨면 자격증명 입력. 1회 실패 시 1회 재시도 (캐시 패턴).
|
||||
|
||||
> **참고:** web-ai는 NAS deployer가 별도 webhook 없음 (Windows 머신 코드). push는 백업/이력 동기화 목적. 실제 적용은 V2 재시작 시점.
|
||||
|
||||
- [ ] **Step 2: web-backend push (NAS deployer 트리거)**
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend
|
||||
git push origin main
|
||||
```
|
||||
|
||||
Expected: success. NAS deployer가 webhook 수신 → `git pull` → `docker compose build stock --no-cache` (cachetools 신규 설치) → `docker compose up -d stock`. 통상 2~3분 소요.
|
||||
|
||||
- [ ] **Step 3: NAS stock 컨테이너 헬스 확인**
|
||||
|
||||
```bash
|
||||
curl -s -o /dev/null -w "HTTP %{http_code}\n" https://gahusb.synology.me/api/stock/news -m 10
|
||||
```
|
||||
|
||||
Expected: `HTTP 200`. (NAS deploy 완료 후 통상 30초 ~ 2분 대기 필요.)
|
||||
|
||||
- [ ] **Step 4: webai 캐시 효과 확인 (선택)**
|
||||
|
||||
연속 2회 호출 시 두 번째가 즉시 응답하는지 (cached):
|
||||
|
||||
```bash
|
||||
# 인증키 필요. .env의 WEBAI_API_KEY 사용 또는 NAS에서 직접 호출.
|
||||
# Windows 로컬에서:
|
||||
# 첫 호출
|
||||
time curl -s -H "X-WebAI-Key: $WEBAI_API_KEY" https://gahusb.synology.me/api/webai/portfolio -o /dev/null
|
||||
# 즉시 두번째 (캐시 hit 기대, 첫 호출 < 1s + DB / 두번째 < 100ms)
|
||||
time curl -s -H "X-WebAI-Key: $WEBAI_API_KEY" https://gahusb.synology.me/api/webai/portfolio -o /dev/null
|
||||
```
|
||||
|
||||
Expected: 두 번째 호출이 첫 번째보다 명확히 빠름 (DB·계산 skip).
|
||||
|
||||
---
|
||||
|
||||
## Self-Review
|
||||
|
||||
### Spec 커버리지
|
||||
|
||||
| Spec 요구사항 | 구현 Task |
|
||||
|---------------|-----------|
|
||||
| §4 SP-A1: web-ai 캐시 TTL 증가 (180/600/300) | Task 1 |
|
||||
| §4 SP-A2: NAS stock TTLCache | Task 2~7 |
|
||||
| §10 SP-A2: 3 endpoint (portfolio/news/screener) 적용 | Task 4 (portfolio), Task 5 (news), Task 6 (screener preview) |
|
||||
| §10 SP-A2: cachetools 의존성 | Task 2 |
|
||||
| §8: X-WebAI-Key 인증 (기존 verify_webai_key 유지) | 기존 dependency 그대로, 변경 없음 |
|
||||
| §6: server cache 별개 (Redis 캐시 옵션) | in-memory TTLCache 선택 (Redis는 SP-1 이후 도입 검토) |
|
||||
|
||||
§4의 SP-A2는 `/api/webai/portfolio`, `/api/webai/news-sentiment`, `/api/stock/screener/run` 3건만 명시. 추가 endpoint 캐시는 out of scope (별도 plan에서).
|
||||
|
||||
### Placeholder 스캔
|
||||
|
||||
- TBD/TODO/"implement later" 패턴 없음 ✓
|
||||
- 모든 code step에 완전 코드 포함 ✓
|
||||
- Task 6에 한 가지 conditional ("`post_run`의 정확한 return 라인을 먼저 확인") — 이건 plan 실행 시 grep 명령으로 즉시 해결 가능한 단순 lookup이라 placeholder가 아님. 그러나 안전성 위해 helper note 그대로 유지.
|
||||
|
||||
### Type consistency
|
||||
|
||||
- `webai_cache.cache_get_portfolio()` / `cache_set_portfolio(value)` — Task 3에서 정의, Task 4에서 사용. 시그니처 일치 ✓
|
||||
- `cache_get_news(date)` — Task 3·5 일치 ✓
|
||||
- `cache_get_screener(mode, top_n, weights)` / `cache_set_screener(mode, top_n, weights, value)` — Task 3·6 일치 ✓
|
||||
- 변수명 `cached`, `result`, `payload` — 각 함수 안에서만 사용, 충돌 없음 ✓
|
||||
|
||||
### 위험·주의
|
||||
|
||||
- **NAS deployer rebuild**: `requirements.txt` 변경은 docker image rebuild 필요. deployer가 변경 감지 시 rebuild 트리거. 만약 deployer가 변경 미감지(예: requirements.txt만 변경 시 rebuild 안 함)라면 NAS에서 `docker compose build stock --no-cache && docker compose up -d stock` 수동 실행 필요.
|
||||
- **Cache stale**: TTL이 충분히 짧아 stale 문제 미미. portfolio 120s = web-ai 폴링 주기(1분) 2배. 변경 감지에 최대 2분 지연.
|
||||
- **Cache miss thunder herd**: V1+V2가 정확히 동시에 캐시 miss 시 KIS 동시 호출 가능. 현재 V1/V2 둘 다 정지 상태라 risk 0. 향후 재시작 시 KIS rate limit 모니터링 필요 (별도 plan 항목).
|
||||
|
||||
---
|
||||
|
||||
## 완료 후 다음 단계
|
||||
|
||||
Plan-A 완료 후 spec §14 "차후 plan 작성 순서 권장"대로:
|
||||
|
||||
1. **Plan-B-Base** — SP-1 (Redis) + SP-2 (WSL2)
|
||||
2. **Plan-B-Insta** — SP-3 + SP-4
|
||||
3. **Plan-B-Music** — SP-5 + SP-6
|
||||
4. **Plan-B-Video** — SP-7 + SP-8
|
||||
5. **Plan-B-Infra** — SP-9 + SP-10
|
||||
|
||||
각각은 별도 brainstorm 없이 spec §10에서 직접 plan 작성 가능 (이미 명세 충분).
|
||||
1887
docs/superpowers/plans/2026-05-19-plan-b-insta-render.md
Normal file
3241
docs/superpowers/plans/2026-05-19-plan-b-music-render.md
Normal file
2573
docs/superpowers/plans/2026-05-19-plan-b-video-render.md
Normal file
1651
docs/superpowers/plans/2026-05-20-lotto-active-agent.md
Normal file
1587
docs/superpowers/plans/2026-05-22-lotto-weight-evolver.md
Normal file
929
docs/superpowers/plans/2026-05-22-plan-b-infra.md
Normal file
@@ -0,0 +1,929 @@
|
||||
# Plan-B-Infra — NSSM 자동 시작 + task-watcher (시간대 큐 토글) Implementation Plan
|
||||
|
||||
> **For agentic workers:** REQUIRED SUB-SKILL: Use superpowers:subagent-driven-development (recommended) or superpowers:executing-plans to implement this plan task-by-task. Steps use checkbox (`- [ ]`) syntax for tracking.
|
||||
|
||||
**Goal:** Windows AI 머신의 서비스(ai_trade + WSL2 Docker)를 NSSM으로 부팅 시 자동 시작 + 우선순위 설정(SP-9), 그리고 시간대 기반으로 `queue:paused`를 토글하는 task-watcher 컨테이너 신설(SP-10). 트레이딩 시간대(비휴장 평일 07:00–16:30)에 무거운 render 작업을 일시정지하여 KIS 트레이딩 우선순위 보장.
|
||||
|
||||
**Architecture:** task-watcher는 WSL2 Docker 컨테이너로 30초마다 `current_mode()` 판정(KST 시각 + NAS `/api/stock/holidays` 조회) → 트레이딩 시간대면 `SET queue:paused 1 EX 600`, 그 외엔 `DEL queue:paused`. 모든 render worker(insta/music/video)가 BLPOP 전 `queue:paused`를 확인하므로 단일 키로 전체 일시정지. NSSM(SP-9)은 박재오 Windows 머신에서 수동 설치 — plan은 정확한 명령 + 안내 문서 제공.
|
||||
|
||||
**Tech Stack:** Python 3.12 / `redis>=5.0` / `httpx` (holidays fetch) / `zoneinfo` (KST) / Docker Engine in WSL2 / NSSM (Windows service manager) / FastAPI (NAS stock holidays endpoint)
|
||||
|
||||
**Spec:** `web-backend/docs/superpowers/specs/2026-05-18-nas-windows-distributed-architecture-design.md` §3 시간대별 우선순위 모드, §10 SP-9·SP-10. **박재오 결정 (2026-05-22): idle/게임 감지 생략 — 시간대만으로 토글** (spec §3의 "박재오 활동 감지 시 SET" → "트레이딩 시간대면 무조건 SET"). idle 감지가 없으므로 WSL2 컨테이너로 구현 가능 (Win32 input API 불필요).
|
||||
|
||||
**Spec 갱신 사항 (현 상태 반영):**
|
||||
- `signal_v2` → **`ai_trade`** (rename 완료, web-ai/ai_trade/)
|
||||
- `Ubuntu-22.04` → **`Ubuntu-24.04`** (Plan-B-Base에서 변경)
|
||||
- `web-ai-services` → **`web-ai/services`** (실제 경로)
|
||||
- `/api/stock/holidays` endpoint **미존재 → 신설** (Task 1)
|
||||
|
||||
**Prerequisites (✅ 모두 완료):**
|
||||
- Plan-A / Plan-B-Base / Plan-B-Insta / Plan-B-Music / Plan-B-Video 모두 완료
|
||||
- WSL2 mirror mode + Redis chown 999:999 영구 적용
|
||||
- services/.env 분기 패턴 정착 (NAS_BASE_URL service-local default)
|
||||
|
||||
---
|
||||
|
||||
## Phase 구조
|
||||
|
||||
| Phase | 내용 | Task |
|
||||
|-------|------|------|
|
||||
| **1. NAS stock holidays endpoint** | `/api/stock/holidays` GET 신설 (task-watcher가 조회) | 1 |
|
||||
| **2. Windows task-watcher** | mode 판정 + Redis 토글 loop + Dockerfile + compose | 2~6 |
|
||||
| **3. NSSM 안내 + 검증** | SP-9 NSSM 안내 문서 + 박재오 빌드 + end-to-end | 7~8 |
|
||||
|
||||
---
|
||||
|
||||
## File Structure
|
||||
|
||||
### Phase 1 — NAS web-backend
|
||||
|
||||
| 파일 | 변경 | 책임 |
|
||||
|------|------|------|
|
||||
| `web-backend/stock/app/main.py` | `GET /api/stock/holidays` endpoint 추가 | holidays.json + 주말 노출 |
|
||||
| `web-backend/stock/app/test_holidays_endpoint.py` (Create) | 2 tests | TDD |
|
||||
|
||||
### Phase 2 — Windows web-ai/services/task-watcher
|
||||
|
||||
| 파일 | 변경 | 책임 |
|
||||
|------|------|------|
|
||||
| `web-ai/services/task-watcher/mode.py` (Create) | `current_mode(now, holidays)` 순수 함수 + `fetch_holidays()` | 시간대 판정 |
|
||||
| `web-ai/services/task-watcher/watcher.py` (Create) | 30초 loop + Redis 토글 | dispatcher |
|
||||
| `web-ai/services/task-watcher/main.py` (Create) | FastAPI + lifespan(watcher spawn) + /health | entry |
|
||||
| `web-ai/services/task-watcher/Dockerfile` (Create) | python:3.12-slim | image |
|
||||
| `web-ai/services/task-watcher/requirements.txt` (Create) | fastapi, redis, httpx, pytest | deps |
|
||||
| `web-ai/services/task-watcher/.env.example` (Create) | REDIS_URL, STOCK_BASE_URL, TRADING_START, TRADING_END | secrets |
|
||||
| `web-ai/services/task-watcher/tests/test_mode.py` (Create) | current_mode 6 cases | TDD |
|
||||
| `web-ai/services/task-watcher/tests/__init__.py` (Create) | 빈 marker | pkg |
|
||||
| `web-ai/services/docker-compose.yml` | task-watcher service 추가 (port 18713) | compose |
|
||||
|
||||
### Phase 3 — 안내 문서
|
||||
|
||||
| 파일 | 변경 | 책임 |
|
||||
|------|------|------|
|
||||
| `web-ai/services/task-watcher/NSSM_SETUP.md` (Create) | SP-9 NSSM 설치 안내 (ai_trade + wsl_docker + task-watcher) | 박재오 수동 가이드 |
|
||||
|
||||
---
|
||||
|
||||
## Task 1: NAS stock — `/api/stock/holidays` endpoint + tests
|
||||
|
||||
**Files:**
|
||||
- Modify: `C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/main.py`
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/test_holidays_endpoint.py`
|
||||
|
||||
### Step 1: 실패 테스트 작성
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/test_holidays_endpoint.py`:
|
||||
|
||||
```python
|
||||
"""GET /api/stock/holidays — task-watcher 휴장일 조회용."""
|
||||
from fastapi.testclient import TestClient
|
||||
from app.main import app
|
||||
|
||||
client = TestClient(app)
|
||||
|
||||
|
||||
def test_holidays_returns_list():
|
||||
r = client.get("/api/stock/holidays")
|
||||
assert r.status_code == 200
|
||||
data = r.json()
|
||||
assert "holidays" in data
|
||||
assert isinstance(data["holidays"], list)
|
||||
|
||||
|
||||
def test_holidays_entries_are_iso_dates():
|
||||
r = client.get("/api/stock/holidays")
|
||||
holidays = r.json()["holidays"]
|
||||
# 비어 있지 않다면 ISO date 형식 (YYYY-MM-DD)
|
||||
if holidays:
|
||||
import datetime as dt
|
||||
for h in holidays[:5]:
|
||||
dt.date.fromisoformat(h) # raise 안 하면 통과
|
||||
```
|
||||
|
||||
### Step 2: 테스트 실패 확인
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-backend/stock && python -m pytest app/test_holidays_endpoint.py -v`
|
||||
Expected: FAIL — endpoint 404.
|
||||
|
||||
### Step 3: `main.py`에 endpoint 추가
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-backend/stock/app/main.py`에서 `_HOLIDAYS_PATH` (현재 line 82 부근) 정의를 활용. 적절한 위치(다른 `@app.get` 근처)에 추가:
|
||||
|
||||
```python
|
||||
@app.get("/api/stock/holidays")
|
||||
def get_holidays():
|
||||
"""task-watcher가 조회하는 휴장일 목록. holidays.json 그대로 노출 (인증 불필요)."""
|
||||
import json
|
||||
try:
|
||||
with open(_HOLIDAYS_PATH, encoding="utf-8") as f:
|
||||
data = json.load(f)
|
||||
# holidays.json 구조가 list이거나 {"holidays": [...]} 또는 {year: [...]} 형태일 수 있음
|
||||
if isinstance(data, list):
|
||||
holidays = data
|
||||
elif isinstance(data, dict) and "holidays" in data:
|
||||
holidays = data["holidays"]
|
||||
elif isinstance(data, dict):
|
||||
# {year: [dates]} → flatten
|
||||
holidays = [d for v in data.values() if isinstance(v, list) for d in v]
|
||||
else:
|
||||
holidays = []
|
||||
except (OSError, ValueError):
|
||||
holidays = []
|
||||
return {"holidays": holidays}
|
||||
```
|
||||
|
||||
**주의:** 작성 전 `holidays.json` 실제 구조를 확인할 것 (`Read web-backend/stock/app/holidays.json`). 위 코드는 list / `{"holidays":[]}` / `{year:[]}` 3가지 형태를 모두 처리하지만, 실제 구조에 맞게 단순화 가능.
|
||||
|
||||
### Step 4: 테스트 통과
|
||||
|
||||
Run: `python -m pytest app/test_holidays_endpoint.py -v`
|
||||
Expected: 2 PASS.
|
||||
|
||||
### Step 5: 회귀 확인
|
||||
|
||||
Run: `python -m pytest app/ -v 2>&1 | tail -5`
|
||||
Expected: 기존 stock 테스트 모두 통과 + 새 2개.
|
||||
|
||||
### Step 6: 커밋
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend
|
||||
git add stock/app/main.py stock/app/test_holidays_endpoint.py
|
||||
git commit -m "$(cat <<'EOF'
|
||||
feat(stock): GET /api/stock/holidays endpoint (SP-10 task-watcher용)
|
||||
|
||||
holidays.json 노출. task-watcher가 휴장일 판정에 조회.
|
||||
인증 불필요 (민감 정보 아님). 주말은 task-watcher가 weekday로 별도 판정.
|
||||
Plan-B-Infra Phase 1.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
## Context
|
||||
|
||||
- spec §3: "휴장일 단일 소스 — web-backend/stock/app/holidays.json 정본. NAS stock이 GET /api/stock/holidays로 노출."
|
||||
- 현재 holidays.json은 `_is_holiday()` 내부 함수에서만 사용, HTTP endpoint 없음 → 신설.
|
||||
- stock 컨테이너는 이미 deploy.sh BUILD_TARGETS에 등재됨 (신규 lab 아님 — deploy scripts 추가 불필요).
|
||||
- 작업 디렉토리: `C:/Users/jaeoh/Desktop/workspace/web-backend`
|
||||
|
||||
## Report
|
||||
|
||||
- Status: DONE | DONE_WITH_CONCERNS | BLOCKED
|
||||
- holidays.json 실제 구조 (확인 결과)
|
||||
- 2 PASS + 회귀
|
||||
- 커밋 SHA
|
||||
|
||||
---
|
||||
|
||||
## Task 2: Windows task-watcher — mode.py (current_mode + fetch_holidays) + tests
|
||||
|
||||
**Files:**
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/mode.py`
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/tests/__init__.py`
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/tests/test_mode.py`
|
||||
|
||||
### Step 1: 실패 테스트 작성
|
||||
|
||||
`tests/__init__.py`: (빈 파일)
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/tests/test_mode.py`:
|
||||
|
||||
```python
|
||||
"""current_mode — 시간대 + 휴장일 판정 (순수 함수)."""
|
||||
import datetime as dt
|
||||
from zoneinfo import ZoneInfo
|
||||
|
||||
from mode import current_mode
|
||||
|
||||
KST = ZoneInfo("Asia/Seoul")
|
||||
HOLIDAYS = {"2026-05-25"} # 가상 휴장일 (월요일)
|
||||
|
||||
|
||||
def _kst(y, m, d, hh, mm):
|
||||
return dt.datetime(y, m, d, hh, mm, tzinfo=KST)
|
||||
|
||||
|
||||
def test_weekday_trading_hours_is_trading():
|
||||
# 2026-05-22 금요일 10:00 — 트레이딩 시간대
|
||||
assert current_mode(_kst(2026, 5, 22, 10, 0), HOLIDAYS) == "trading"
|
||||
|
||||
|
||||
def test_weekday_before_open_is_free():
|
||||
# 평일 06:00 — 장 전
|
||||
assert current_mode(_kst(2026, 5, 22, 6, 0), HOLIDAYS) == "free"
|
||||
|
||||
|
||||
def test_weekday_after_close_is_free():
|
||||
# 평일 17:00 — 장 마감 후
|
||||
assert current_mode(_kst(2026, 5, 22, 17, 0), HOLIDAYS) == "free"
|
||||
|
||||
|
||||
def test_weekend_is_free():
|
||||
# 2026-05-23 토요일 10:00
|
||||
assert current_mode(_kst(2026, 5, 23, 10, 0), HOLIDAYS) == "free"
|
||||
|
||||
|
||||
def test_holiday_weekday_is_free():
|
||||
# 2026-05-25 월요일이지만 휴장일 → 트레이딩 시간대라도 free
|
||||
assert current_mode(_kst(2026, 5, 25, 10, 0), HOLIDAYS) == "free"
|
||||
|
||||
|
||||
def test_trading_boundary_inclusive_start_exclusive_end():
|
||||
# 07:00 정각 = 트레이딩 시작, 16:30 정각 = 마감 (16:30은 free)
|
||||
assert current_mode(_kst(2026, 5, 22, 7, 0), HOLIDAYS) == "trading"
|
||||
assert current_mode(_kst(2026, 5, 22, 16, 29), HOLIDAYS) == "trading"
|
||||
assert current_mode(_kst(2026, 5, 22, 16, 30), HOLIDAYS) == "free"
|
||||
```
|
||||
|
||||
### Step 2: 테스트 실패 확인
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher && python -m pytest tests/test_mode.py -v`
|
||||
Expected: FAIL — `mode` 모듈 미존재.
|
||||
|
||||
### Step 3: `mode.py` 작성
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/mode.py`:
|
||||
|
||||
```python
|
||||
"""시간대 + 휴장일 기반 모드 판정 (idle 감지 생략 — 박재오 결정 2026-05-22).
|
||||
|
||||
trading: 비휴장 평일 07:00–16:30 (장중) → queue:paused SET
|
||||
free: 그 외 (장 전/후, 주말, 휴장) → queue:paused DEL
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import datetime as dt
|
||||
import logging
|
||||
import os
|
||||
from typing import Set
|
||||
from zoneinfo import ZoneInfo
|
||||
|
||||
import httpx
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
KST = ZoneInfo("Asia/Seoul")
|
||||
STOCK_BASE_URL = os.getenv("STOCK_BASE_URL", "http://192.168.45.54:18500")
|
||||
|
||||
# 트레이딩 윈도우 (HH:MM, KST). .env로 조정 가능.
|
||||
TRADING_START = os.getenv("TRADING_START", "07:00")
|
||||
TRADING_END = os.getenv("TRADING_END", "16:30")
|
||||
|
||||
|
||||
def _parse_hhmm(s: str) -> dt.time:
|
||||
hh, mm = s.split(":")
|
||||
return dt.time(int(hh), int(mm))
|
||||
|
||||
|
||||
def current_mode(now: dt.datetime, holidays: Set[str]) -> str:
|
||||
"""now(KST aware) + holidays(ISO date set) → 'trading' | 'free'."""
|
||||
# 주말 (토=5, 일=6)
|
||||
if now.weekday() >= 5:
|
||||
return "free"
|
||||
# 휴장일
|
||||
if now.date().isoformat() in holidays:
|
||||
return "free"
|
||||
# 트레이딩 윈도우 [start, end)
|
||||
start = _parse_hhmm(TRADING_START)
|
||||
end = _parse_hhmm(TRADING_END)
|
||||
t = now.timetz().replace(tzinfo=None)
|
||||
if start <= t < end:
|
||||
return "trading"
|
||||
return "free"
|
||||
|
||||
|
||||
def fetch_holidays() -> Set[str]:
|
||||
"""NAS stock /api/stock/holidays 조회. 실패 시 빈 set (안전 — free로 판정)."""
|
||||
try:
|
||||
r = httpx.get(f"{STOCK_BASE_URL}/api/stock/holidays", timeout=10.0)
|
||||
if r.status_code == 200:
|
||||
return set(r.json().get("holidays", []))
|
||||
logger.warning("holidays fetch returned %d", r.status_code)
|
||||
except Exception:
|
||||
logger.exception("holidays fetch 실패")
|
||||
return set()
|
||||
```
|
||||
|
||||
### Step 4: 테스트 통과
|
||||
|
||||
Run: `python -m pytest tests/test_mode.py -v`
|
||||
Expected: 6 PASS.
|
||||
|
||||
### Step 5: 커밋
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai
|
||||
git add services/task-watcher/mode.py services/task-watcher/tests/__init__.py services/task-watcher/tests/test_mode.py
|
||||
git commit -m "$(cat <<'EOF'
|
||||
feat(task-watcher): mode.py — 시간대+휴장일 판정 (SP-10)
|
||||
|
||||
current_mode(now, holidays): 비휴장 평일 07:00–16:30 → trading, 그 외 free.
|
||||
fetch_holidays(): NAS /api/stock/holidays 조회 (실패 시 빈 set = free 안전).
|
||||
TRADING_START/END env로 윈도우 조정. idle 감지 생략 (박재오 결정).
|
||||
6 tests (평일 장중/장전/장후, 주말, 휴장, 경계).
|
||||
Plan-B-Infra Phase 2.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
## Context
|
||||
|
||||
- KST 시각 + holidays set → trading/free 순수 함수. 테스트 용이 (now를 인자로).
|
||||
- holidays는 fetch_holidays()로 NAS 조회. 매 loop마다 호출하면 부하 — watcher.py에서 캐싱 (Task 3).
|
||||
- 작업 디렉토리: `C:/Users/jaeoh/Desktop/workspace/web-ai`
|
||||
|
||||
## Report
|
||||
- Status / 6 PASS / 커밋 SHA
|
||||
|
||||
---
|
||||
|
||||
## Task 3: Windows task-watcher — watcher.py (Redis 토글 loop)
|
||||
|
||||
**Files:**
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/watcher.py`
|
||||
|
||||
### Step 1: `watcher.py` 작성
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/watcher.py`:
|
||||
|
||||
```python
|
||||
"""30초마다 current_mode 판정 → queue:paused 토글.
|
||||
|
||||
trading → SET queue:paused 1 EX 600 (10분 TTL — watcher 죽어도 자동 해제)
|
||||
free → DEL queue:paused
|
||||
holidays는 1시간마다 refresh (매 loop fetch 부하 회피).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import asyncio
|
||||
import datetime as dt
|
||||
import logging
|
||||
import os
|
||||
from zoneinfo import ZoneInfo
|
||||
|
||||
import redis.asyncio as aioredis
|
||||
|
||||
from mode import current_mode, fetch_holidays, KST
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
REDIS_URL = os.getenv("REDIS_URL", "redis://192.168.45.54:6379")
|
||||
PAUSED_KEY = "queue:paused"
|
||||
LOOP_INTERVAL = 30 # 초
|
||||
HOLIDAYS_REFRESH = 3600 # 1시간
|
||||
PAUSED_TTL = 600 # 10분 (watcher 죽어도 자동 해제)
|
||||
|
||||
|
||||
async def watcher_loop():
|
||||
redis = aioredis.from_url(REDIS_URL, decode_responses=False)
|
||||
holidays = fetch_holidays()
|
||||
last_holiday_refresh = dt.datetime.now(KST)
|
||||
last_mode = None
|
||||
logger.info("task-watcher started (trading window 토글)")
|
||||
|
||||
while True:
|
||||
try:
|
||||
now = dt.datetime.now(KST)
|
||||
# holidays 주기적 refresh
|
||||
if (now - last_holiday_refresh).total_seconds() >= HOLIDAYS_REFRESH:
|
||||
holidays = fetch_holidays()
|
||||
last_holiday_refresh = now
|
||||
|
||||
mode = current_mode(now, holidays)
|
||||
if mode == "trading":
|
||||
await redis.set(PAUSED_KEY, b"1", ex=PAUSED_TTL)
|
||||
else:
|
||||
await redis.delete(PAUSED_KEY)
|
||||
|
||||
if mode != last_mode:
|
||||
logger.info("mode 전환: %s → %s (paused=%s)", last_mode, mode, mode == "trading")
|
||||
last_mode = mode
|
||||
|
||||
await asyncio.sleep(LOOP_INTERVAL)
|
||||
except asyncio.CancelledError:
|
||||
logger.info("watcher_loop cancelled")
|
||||
raise
|
||||
except Exception:
|
||||
logger.exception("watcher_loop iteration 실패, 30초 후 재시도")
|
||||
await asyncio.sleep(LOOP_INTERVAL)
|
||||
```
|
||||
|
||||
### Step 2: 임포트 smoke
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher && python -c "from watcher import watcher_loop; print('OK')"`
|
||||
Expected: `OK`.
|
||||
|
||||
### Step 3: 커밋
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai
|
||||
git add services/task-watcher/watcher.py
|
||||
git commit -m "$(cat <<'EOF'
|
||||
feat(task-watcher): watcher.py — 30초 loop + queue:paused 토글 (SP-10)
|
||||
|
||||
trading → SET queue:paused 1 EX 600 / free → DEL.
|
||||
holidays 1시간마다 refresh. PAUSED_TTL 600s (watcher 죽어도 자동 해제 — 안전).
|
||||
mode 전환 시에만 로그.
|
||||
Plan-B-Infra Phase 2.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
## Context
|
||||
|
||||
- `PAUSED_TTL=600`이 핵심 안전장치: task-watcher가 죽어도 10분 후 자동으로 paused 해제 → 큐 영구 정지 방지.
|
||||
- holidays는 1시간 캐싱 (매 30초 fetch 안 함).
|
||||
- render worker들(insta/music/video)이 이미 `queue:paused` 체크 로직 보유 (Plan-B-Insta/Music/Video).
|
||||
|
||||
## Report
|
||||
- Status / smoke 결과 / 커밋 SHA
|
||||
|
||||
---
|
||||
|
||||
## Task 4: Windows task-watcher — main.py + Dockerfile + requirements + .env.example
|
||||
|
||||
**Files:**
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/main.py`
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/Dockerfile`
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/requirements.txt`
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/.env.example`
|
||||
|
||||
### Step 1: `requirements.txt`
|
||||
|
||||
```
|
||||
fastapi==0.115.6
|
||||
uvicorn[standard]==0.34.0
|
||||
redis>=5.0
|
||||
httpx>=0.27
|
||||
pytest>=8.0
|
||||
```
|
||||
|
||||
### Step 2: `Dockerfile`
|
||||
|
||||
```dockerfile
|
||||
FROM python:3.12-slim-bookworm
|
||||
ENV PYTHONUNBUFFERED=1
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
RUN apt-get update && apt-get install -y --no-install-recommends \
|
||||
ca-certificates tzdata \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir --timeout 600 --retries 5 -r requirements.txt
|
||||
|
||||
COPY . .
|
||||
|
||||
EXPOSE 8000
|
||||
CMD ["python", "-m", "uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "1"]
|
||||
```
|
||||
|
||||
(tzdata 추가 — zoneinfo Asia/Seoul 사용.)
|
||||
|
||||
### Step 3: `.env.example`
|
||||
|
||||
```
|
||||
# Plan-B-Infra — task-watcher
|
||||
|
||||
# NAS Redis
|
||||
REDIS_URL=redis://192.168.45.54:6379
|
||||
|
||||
# NAS stock holidays endpoint
|
||||
STOCK_BASE_URL=http://192.168.45.54:18500
|
||||
|
||||
# 트레이딩 윈도우 (KST, HH:MM) — 이 시간대에만 queue:paused
|
||||
TRADING_START=07:00
|
||||
TRADING_END=16:30
|
||||
```
|
||||
|
||||
### Step 4: `main.py`
|
||||
|
||||
```python
|
||||
"""task-watcher FastAPI entry — health + lifespan (watcher loop spawn)."""
|
||||
from __future__ import annotations
|
||||
|
||||
import asyncio
|
||||
import logging
|
||||
from contextlib import asynccontextmanager
|
||||
|
||||
from fastapi import FastAPI
|
||||
|
||||
import watcher
|
||||
|
||||
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(name)s %(levelname)s %(message)s")
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
@asynccontextmanager
|
||||
async def lifespan(app: FastAPI):
|
||||
watcher_task = asyncio.create_task(watcher.watcher_loop())
|
||||
logger.info("task-watcher lifespan 시작")
|
||||
try:
|
||||
yield
|
||||
finally:
|
||||
watcher_task.cancel()
|
||||
try:
|
||||
await watcher_task
|
||||
except asyncio.CancelledError:
|
||||
pass
|
||||
logger.info("task-watcher lifespan 종료")
|
||||
|
||||
|
||||
app = FastAPI(lifespan=lifespan)
|
||||
|
||||
|
||||
@app.get("/health")
|
||||
def health():
|
||||
return {"ok": True, "service": "task-watcher"}
|
||||
```
|
||||
|
||||
### Step 5: smoke + 회귀
|
||||
|
||||
Run:
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher
|
||||
python -c "from main import app; print(len(app.routes))"
|
||||
python -m pytest tests/ -v 2>&1 | tail -5
|
||||
```
|
||||
Expected: 숫자 출력 + 6 PASS (test_mode).
|
||||
|
||||
### Step 6: 커밋
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai
|
||||
git add services/task-watcher/main.py services/task-watcher/Dockerfile services/task-watcher/requirements.txt services/task-watcher/.env.example
|
||||
git commit -m "$(cat <<'EOF'
|
||||
feat(task-watcher): main.py + Dockerfile + requirements + env (SP-10)
|
||||
|
||||
FastAPI lifespan에서 watcher_loop 스폰. /health. tzdata(zoneinfo Asia/Seoul).
|
||||
.env: REDIS_URL, STOCK_BASE_URL, TRADING_START/END.
|
||||
Plan-B-Infra Phase 2.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
```
|
||||
|
||||
## Report
|
||||
- Status / routes 개수 / 6 PASS / 커밋 SHA
|
||||
|
||||
---
|
||||
|
||||
## Task 5: Windows services/docker-compose — task-watcher entry
|
||||
|
||||
**Files:**
|
||||
- Modify: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/docker-compose.yml`
|
||||
|
||||
### Step 1: video-render service 다음에 task-watcher 추가
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-ai/services/docker-compose.yml`에 추가:
|
||||
|
||||
```yaml
|
||||
|
||||
task-watcher:
|
||||
build:
|
||||
context: ./task-watcher
|
||||
container_name: task-watcher
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "18713:8000"
|
||||
environment:
|
||||
- TZ=Asia/Seoul
|
||||
- REDIS_URL=${REDIS_URL:-redis://192.168.45.54:6379}
|
||||
- STOCK_BASE_URL=${STOCK_BASE_URL:-http://192.168.45.54:18500}
|
||||
- TRADING_START=${TRADING_START:-07:00}
|
||||
- TRADING_END=${TRADING_END:-16:30}
|
||||
healthcheck:
|
||||
test: ["CMD", "python", "-c", "import urllib.request; urllib.request.urlopen('http://localhost:8000/health')"]
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
```
|
||||
|
||||
### Step 2: YAML 검증
|
||||
|
||||
Run: `cd C:/Users/jaeoh/Desktop/workspace/web-ai/services && python -c "import yaml; yaml.safe_load(open('docker-compose.yml')); print('valid YAML')"`
|
||||
Expected: `valid YAML`.
|
||||
|
||||
### Step 3: 커밋 + push
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai
|
||||
git add services/docker-compose.yml
|
||||
git commit -m "$(cat <<'EOF'
|
||||
feat(task-watcher): services/docker-compose entry (SP-10)
|
||||
|
||||
port 18713, REDIS_URL/STOCK_BASE_URL/TRADING_START/END env.
|
||||
insta/music/video-render와 같은 services 묶음. outbound only.
|
||||
Plan-B-Infra Phase 2 완료 — 박재오 빌드 대기.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
git push 2>&1 # 자격증명 실패 시 박재오 수동 push
|
||||
```
|
||||
|
||||
## Report
|
||||
- Status / YAML 검증 / 커밋 SHA / push 결과
|
||||
|
||||
---
|
||||
|
||||
## Task 6: NSSM 안내 문서 (SP-9)
|
||||
|
||||
**Files:**
|
||||
- Create: `C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/NSSM_SETUP.md`
|
||||
|
||||
SP-9는 박재오 Windows 머신에서 NSSM 수동 설치. controller는 정확한 명령 + 안내 문서 작성. (코드 아님 — 안내 문서.)
|
||||
|
||||
### Step 1: `NSSM_SETUP.md` 작성
|
||||
|
||||
`C:/Users/jaeoh/Desktop/workspace/web-ai/services/task-watcher/NSSM_SETUP.md`:
|
||||
|
||||
```markdown
|
||||
# NSSM 자동 시작 설정 (SP-9)
|
||||
|
||||
Windows AI 머신 부팅 시 ai_trade(트레이딩) + WSL2 Docker(render workers + task-watcher) 자동 시작.
|
||||
|
||||
## 1. NSSM 다운로드
|
||||
|
||||
https://nssm.cc/download → nssm-2.24.zip → `C:\nssm\nssm.exe` 배치 (또는 PATH 등록).
|
||||
|
||||
## 2. ai_trade (Native Python, HIGH priority)
|
||||
|
||||
⚠️ spec의 signal_v2는 ai_trade로 rename됨. 경로/포트 확인.
|
||||
|
||||
```powershell
|
||||
# 관리자 PowerShell
|
||||
C:\nssm\nssm.exe install ai_trade "C:\Python312\python.exe" "-m uvicorn main:app --host 0.0.0.0 --port 8001"
|
||||
C:\nssm\nssm.exe set ai_trade AppDirectory "C:\Users\jaeoh\Desktop\workspace\web-ai\ai_trade"
|
||||
C:\nssm\nssm.exe set ai_trade Priority HIGH_PRIORITY_CLASS
|
||||
C:\nssm\nssm.exe set ai_trade Start SERVICE_AUTO_START
|
||||
C:\nssm\nssm.exe set ai_trade AppStdout "C:\Users\jaeoh\nssm-logs\ai_trade.log"
|
||||
C:\nssm\nssm.exe set ai_trade AppStderr "C:\Users\jaeoh\nssm-logs\ai_trade.log"
|
||||
```
|
||||
|
||||
(ai_trade의 실제 진입점이 main:app + port 8001인지 확인. 다르면 조정.)
|
||||
|
||||
## 3. WSL2 Docker (NORMAL priority — render workers + task-watcher)
|
||||
|
||||
```powershell
|
||||
C:\nssm\nssm.exe install wsl_docker "C:\Windows\System32\wsl.exe" "-d Ubuntu-24.04 -- sh -c 'sudo service docker start && cd /workspace/web-ai/services && docker compose up -d'"
|
||||
C:\nssm\nssm.exe set wsl_docker Priority NORMAL_PRIORITY_CLASS
|
||||
C:\nssm\nssm.exe set wsl_docker Start SERVICE_AUTO_START
|
||||
C:\nssm\nssm.exe set wsl_docker AppStdout "C:\Users\jaeoh\nssm-logs\wsl_docker.log"
|
||||
```
|
||||
|
||||
⚠️ 변경점: Ubuntu-22.04 → **Ubuntu-24.04**, web-ai-services → **web-ai/services**. WSL 경로는 `/mnt/c/...` 또는 박재오 WSL 마운트 기준 (`/workspace`가 web-ai에 매핑되어 있으면 그대로).
|
||||
|
||||
`sudo service docker start`가 비밀번호 요구하면 sudoers에 NOPASSWD 추가:
|
||||
```bash
|
||||
# WSL2 안
|
||||
echo "$USER ALL=(ALL) NOPASSWD: /usr/sbin/service docker start" | sudo tee /etc/sudoers.d/docker-start
|
||||
```
|
||||
|
||||
## 4. 서비스 시작 + 확인
|
||||
|
||||
```powershell
|
||||
C:\nssm\nssm.exe start ai_trade
|
||||
C:\nssm\nssm.exe start wsl_docker
|
||||
|
||||
# 상태 확인
|
||||
C:\nssm\nssm.exe status ai_trade
|
||||
C:\nssm\nssm.exe status wsl_docker
|
||||
sc query ai_trade
|
||||
```
|
||||
|
||||
## 5. 검증
|
||||
|
||||
```powershell
|
||||
# ai_trade
|
||||
curl http://localhost:8001/health # 또는 ai_trade의 실제 health endpoint
|
||||
|
||||
# WSL2 docker 컨테이너 (재부팅 후 자동 시작 확인)
|
||||
wsl -d Ubuntu-24.04 -- docker ps
|
||||
# insta-render, music-render, video-render, task-watcher 4개 Up 확인
|
||||
```
|
||||
|
||||
## 6. 재부팅 테스트
|
||||
|
||||
Windows 재부팅 → 로그인 → 수동 조작 없이:
|
||||
- ai_trade 서비스 자동 시작 (HIGH priority)
|
||||
- WSL2 + Docker + 4 컨테이너 자동 시작 (NORMAL priority)
|
||||
- task-watcher가 trading window에 queue:paused 토글 시작
|
||||
|
||||
## task-watcher 동작 확인
|
||||
|
||||
```bash
|
||||
# WSL2
|
||||
docker logs task-watcher --tail 20
|
||||
# 기대: "task-watcher started" + mode 전환 로그 (trading/free)
|
||||
|
||||
# Redis 큐 상태 (NAS 또는 LAN)
|
||||
docker exec redis redis-cli GET queue:paused
|
||||
# 트레이딩 시간대(평일 07:00-16:30): "1"
|
||||
# 그 외: (nil)
|
||||
```
|
||||
```
|
||||
|
||||
### Step 2: 커밋 + push
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai
|
||||
git add services/task-watcher/NSSM_SETUP.md
|
||||
git commit -m "$(cat <<'EOF'
|
||||
docs(task-watcher): NSSM_SETUP.md — SP-9 자동 시작 안내
|
||||
|
||||
ai_trade(HIGH, native python :8001) + wsl_docker(NORMAL, WSL2 Ubuntu-24.04
|
||||
docker compose up). spec의 signal_v2→ai_trade, 22.04→24.04, web-ai-services
|
||||
→web-ai/services 정정. sudoers NOPASSWD + 재부팅 검증 절차.
|
||||
Plan-B-Infra Phase 3.
|
||||
|
||||
Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
|
||||
EOF
|
||||
)"
|
||||
git push 2>&1
|
||||
```
|
||||
|
||||
## Report
|
||||
- Status / 커밋 SHA / push 결과
|
||||
|
||||
---
|
||||
|
||||
## Task 7: 박재오 빌드 + task-watcher 검증
|
||||
|
||||
**Files:** (변경 없음 — 박재오 측 작업 + 검증)
|
||||
|
||||
### Step 1: web-backend push (Task 1 holidays endpoint)
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend && git push
|
||||
```
|
||||
→ NAS deployer가 stock 컨테이너 rebuild. `/api/stock/holidays` 활성화.
|
||||
|
||||
### Step 2: 박재오 NAS 측 holidays endpoint 확인
|
||||
|
||||
```bash
|
||||
curl https://gahusb.synology.me/api/stock/holidays
|
||||
# → {"holidays": ["2026-01-01", ...]}
|
||||
```
|
||||
|
||||
### Step 3: 박재오 Windows 측 task-watcher 빌드
|
||||
|
||||
```bash
|
||||
cd /workspace/web-ai && git pull
|
||||
cd /workspace/web-ai/services
|
||||
docker compose build task-watcher
|
||||
docker compose up -d task-watcher
|
||||
docker logs task-watcher --tail 20
|
||||
# 기대: "task-watcher lifespan 시작" + "task-watcher started" + mode 로그
|
||||
curl -m 3 http://localhost:18713/health
|
||||
```
|
||||
|
||||
### Step 4: 시간대 토글 검증
|
||||
|
||||
현재 KST 시각 기준:
|
||||
```bash
|
||||
# 트레이딩 시간대(평일 07:00-16:30)면 paused=1, 아니면 nil
|
||||
docker exec task-watcher python -c "import datetime as dt; from zoneinfo import ZoneInfo; from mode import current_mode, fetch_holidays; print('now mode:', current_mode(dt.datetime.now(ZoneInfo('Asia/Seoul')), fetch_holidays()))"
|
||||
|
||||
# Redis 확인 (NAS 또는 LAN)
|
||||
ssh nas
|
||||
docker exec redis redis-cli GET queue:paused
|
||||
```
|
||||
|
||||
기대:
|
||||
- 평일 07:00-16:30 (비휴장): `current_mode` = "trading", `queue:paused` = "1"
|
||||
- 그 외: "free", (nil)
|
||||
|
||||
### Step 5: render worker가 paused 존중하는지 (선택)
|
||||
|
||||
트레이딩 시간대에 video 생성 요청 → worker가 BLPOP 전 paused 확인 → 10초 대기 반복 (처리 보류). free 시간대 되면 자동 처리. (이미 Plan-B-Insta/Music/Video worker에 `queue:paused` 체크 로직 있음.)
|
||||
|
||||
### Step 6: 메모리 기록
|
||||
|
||||
`reference_plan_b_infra_complete.md` 작성 + MEMORY.md 인덱스 추가 (Task 8에서).
|
||||
|
||||
## Report
|
||||
- holidays endpoint 응답
|
||||
- task-watcher health + mode
|
||||
- queue:paused 토글 확인
|
||||
|
||||
---
|
||||
|
||||
## Task 8: 메모리 기록 + 최종 정리
|
||||
|
||||
**Files:**
|
||||
- Create: `C:/Users/jaeoh/.claude/projects/C--Users-jaeoh-Desktop-workspace-web-ui/memory/reference_plan_b_infra_complete.md`
|
||||
- Modify: `C:/Users/jaeoh/.claude/projects/C--Users-jaeoh-Desktop-workspace-web-ui/memory/MEMORY.md`
|
||||
|
||||
### Step 1: `reference_plan_b_infra_complete.md`
|
||||
|
||||
```markdown
|
||||
---
|
||||
name: plan-b-infra-complete
|
||||
description: 2026-05-22 Plan-B-Infra — NSSM 자동 시작(SP-9) + task-watcher 시간대 큐 토글(SP-10). spec 12 SP 전부 완료
|
||||
metadata:
|
||||
type: reference
|
||||
---
|
||||
|
||||
Plan-B-Infra 2026-05-22 완료. spec §10 SP-9 + SP-10. 이로써 NAS↔Windows 분산 아키텍처 spec의 12 SP 전부 완료.
|
||||
|
||||
## SP-10 task-watcher (구현)
|
||||
- web-ai/services/task-watcher/ WSL2 컨테이너 (port 18713)
|
||||
- 30초 loop: current_mode(KST + holidays) → queue:paused 토글
|
||||
- trading(비휴장 평일 07:00-16:30) → SET queue:paused 1 EX 600 / free → DEL
|
||||
- **idle/게임 감지 생략** (박재오 결정 2026-05-22) — WSL2 컨테이너는 Win32 input API 접근 불가. 시간대만으로 판정.
|
||||
- PAUSED_TTL 600s = watcher 죽어도 10분 후 자동 해제 (큐 영구정지 방지 안전장치)
|
||||
- holidays는 NAS GET /api/stock/holidays (신설) 1시간 캐싱
|
||||
- TRADING_START/END env로 윈도우 조정
|
||||
|
||||
## SP-9 NSSM (박재오 수동)
|
||||
- NSSM_SETUP.md 안내 문서. ai_trade(HIGH, native :8001) + wsl_docker(NORMAL, WSL2 docker compose up)
|
||||
- spec 정정: signal_v2→ai_trade, Ubuntu-22.04→24.04, web-ai-services→web-ai/services
|
||||
|
||||
## NAS holidays endpoint (신설)
|
||||
- GET /api/stock/holidays — holidays.json 노출. 기존엔 _is_holiday() 내부 함수만 있었음.
|
||||
|
||||
## 다음
|
||||
- frontend video/music/insta UI (backend gateway만 완료, UI 별도)
|
||||
- FOLLOW-UP B: -lab suffix 제거
|
||||
```
|
||||
|
||||
### Step 2: MEMORY.md 인덱스 추가
|
||||
|
||||
`reference_plan_b_video_complete.md` 항목 뒤:
|
||||
```markdown
|
||||
- [Plan-B-Infra 완료](reference_plan_b_infra_complete.md) — 2026-05-22 NSSM 자동 시작(SP-9) + task-watcher 시간대 큐 토글(SP-10). idle 감지 생략. spec 12 SP 전부 완료
|
||||
```
|
||||
|
||||
### Step 3: 양쪽 push 확인
|
||||
|
||||
```bash
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-backend && git status && git log --oneline -3
|
||||
cd C:/Users/jaeoh/Desktop/workspace/web-ai && git status && git log --oneline -5
|
||||
```
|
||||
|
||||
### Step 4: 박재오 보고
|
||||
- spec 12 SP 전부 완료
|
||||
- task-watcher 시간대 토글 동작
|
||||
- NSSM은 박재오 수동 (NSSM_SETUP.md 참고)
|
||||
|
||||
## Report
|
||||
- 메모리 파일 생성
|
||||
- push 상태
|
||||
- 최종 보고
|
||||
|
||||
---
|
||||
|
||||
## Self-Review
|
||||
|
||||
**1. Spec coverage**
|
||||
|
||||
| Spec 요구사항 | 구현 위치 | 상태 |
|
||||
|--------------|-----------|------|
|
||||
| SP-9 §10: NSSM ai_trade(HIGH) + wsl_docker(NORMAL) 자동 시작 | Task 6 NSSM_SETUP.md | ✓ (박재오 수동 + 안내) |
|
||||
| SP-10 §10: task-watcher 컨테이너 30초 loop | Task 3 watcher.py | ✓ |
|
||||
| SP-10 §10: current_mode (시간대 + holidays + KST) | Task 2 mode.py | ✓ |
|
||||
| SP-10 §10: queue:paused 토글 (free→DEL, trading→SET) | Task 3 | ✓ |
|
||||
| §3 휴장일 단일 소스 GET /api/stock/holidays | Task 1 | ✓ (신설) |
|
||||
| 박재오 결정: idle 감지 생략 — 시간대만 | Task 2 (is_user_active 제거) | ✓ |
|
||||
| §3 트레이딩 모드 = 평일 비휴장 07:00-16:30 | Task 2 TRADING_START/END | ✓ |
|
||||
|
||||
**spec 대비 의도적 변경 (박재오 승인):**
|
||||
- idle/게임 감지 생략 — spec §10 SP-10의 `is_user_active()` 제거. trading 시간대면 무조건 paused.
|
||||
- spec §3의 🟡 일반(16:30-23:30) 모드 → free로 통합 (트레이딩 시간대만 paused).
|
||||
|
||||
**2. Placeholder scan:** 통과. NSSM_SETUP.md의 "(확인)" 표기는 박재오 환경 검증 안내 (placeholder 아님).
|
||||
|
||||
**3. Type consistency:**
|
||||
- `current_mode(now: dt.datetime, holidays: Set[str]) -> str` — Task 2 정의, Task 3 watcher_loop + Task 7 검증 호출 일관
|
||||
- `fetch_holidays() -> Set[str]` — Task 2 정의, Task 3 호출
|
||||
- mode 값 `"trading"` | `"free"` 2개 — Task 2/3/7 일관
|
||||
- `PAUSED_KEY = "queue:paused"` — Task 3, render workers의 PAUSED_KEY와 동일 문자열 (Plan-B-Insta/Music/Video)
|
||||
|
||||
**4. 함정 사전 인지:**
|
||||
- task-watcher는 services/ 컨테이너 (NAS lab 아님) → deploy.sh 6위치 등재 불필요
|
||||
- holidays endpoint(stock)는 기존 컨테이너 수정 → deploy.sh 등재 이미 됨
|
||||
- services/.env: TRADING_START/END는 task-watcher 전용 → 다른 서비스와 충돌 없음 (compose default로 분기)
|
||||
- PAUSED_TTL로 watcher 장애 시 큐 영구정지 방지
|
||||
|
||||
플랜 완성. 모든 검토 통과.
|
||||
|
||||
---
|
||||
|
||||
## 부록 — 알려진 결정 + follow-up
|
||||
|
||||
**박재오 결정 (2026-05-22):** idle/게임 감지 생략. 시간대만으로 큐 토글. 박재오 7결정 #1의 "Windows 작업 감지 큐 정지"는 부분 포기 (시간대 기반만). 향후 idle 감지 필요 시 Windows native idle-reporter(GetLastInputInfo) → Redis user:last_input_ts 기록 → task-watcher가 읽는 hybrid로 확장 가능.
|
||||
|
||||
**spec 12 SP 완료 후 follow-up:**
|
||||
- frontend `/video` `/music` UI (backend gateway만 완료)
|
||||
- FOLLOW-UP B: `-lab` suffix 일괄 제거
|
||||
- GCS lifecycle (Veo Vertex 미사용으로 무관 — Gemini API는 GCS 안 씀)
|
||||
- Sora 2 alternative (2026-09-24 deprecated 대비)
|
||||
1618
docs/superpowers/plans/2026-05-23-lotto-evolver-ui.md
Normal file
1373
docs/superpowers/plans/2026-05-23-video-studio-backend.md
Normal file
@@ -4,6 +4,10 @@
|
||||
상태: 사용자 승인 대기 → writing-plans 진입 예정
|
||||
연관 문서: `2026-05-15-insta-agent-design.md` (insta-lab 기본 설계)
|
||||
|
||||
## ⚠️ 변경 이력
|
||||
|
||||
- **2026-05-17**: 본문에 `google_trends` source로 기재된 모든 항목은 **실제 구현에서 `youtube_trending`으로 교체됨**. Google Trends 비공식 endpoint 두 가지(`trendingsearches/daily/rss?geo=KR`, `/trends/api/dailytrends?...`)가 모두 404로 폐기되어 운영 호출이 빈 결과로 끝나는 문제 확인 → YouTube Data API v3 `videos.list?chart=mostPopular®ionCode=KR`로 source 대체. 이후 spec 본문을 읽을 때는 `google_trends` → `youtube_trending`, "Google Trends" → "YouTube 인기"로 치환 해석. 사유와 source 교체 시 동시 갱신 체크리스트: `feedback_external_data_sources.md`.
|
||||
|
||||
---
|
||||
|
||||
## 1. 목적·배경
|
||||
|
||||
@@ -0,0 +1,294 @@
|
||||
# insta-lab Design Importer — Claude Vision으로 이미지 디자인 → Jinja HTML 자동 생성
|
||||
|
||||
작성일: 2026-05-17
|
||||
상태: 사용자 승인 대기 → writing-plans 진입 예정
|
||||
연관 문서: `2026-05-15-insta-agent-design.md`, `2026-05-16-insta-trends-design.md`, `feedback_external_data_sources.md`
|
||||
|
||||
---
|
||||
|
||||
## 1. 목적·배경
|
||||
|
||||
insta-lab의 카드 렌더는 현재 `templates/default/card.html.j2` 한 골격만 사용 (단순 그라데이션 + Noto Sans KR). 사용자가 직접 디자인한 10장 카드 이미지(`templates/minimal/pages/insta_card_*.png`)를 이미 NAS에 배포한 상태인데, 이 이미지들이 카드 렌더에 반영되지 않음.
|
||||
|
||||
이 spec은 사용자가 만든 디자인 이미지를 **카드 렌더 파이프라인에 통합**하는 메커니즘을 정의한다. 핵심은 Claude Vision으로 10장 PNG를 분석해 페이지별 텍스트 영역·색·폰트·레이아웃을 도출하고, 이를 그대로 모방한 단일 Jinja2 HTML 파일을 자동 생성하는 것이다. 생성된 HTML은 동적 카피(headline, body, cta)를 사용자 디자인 위에 layer로 얹어 일관된 시각 + 동적 텍스트를 동시에 확보한다.
|
||||
|
||||
---
|
||||
|
||||
## 2. 스코프
|
||||
|
||||
### 포함
|
||||
|
||||
- 신규 백엔드 모듈 `insta-lab/app/design_importer.py` — 10장 PNG → Claude Sonnet Vision → `card.html.j2` 생성
|
||||
- CLI 진입점 `python -m app.design_importer <theme_name>` (운영자가 한 번씩 실행)
|
||||
- 환경변수 `INSTA_DEFAULT_THEME` 신규 (default="default") — 모든 슬레이트가 이 theme 사용
|
||||
- `card_renderer.render_slate`에 theme 전달 (기존 `template` 인자 활용, 호출자만 변경)
|
||||
- pytest: Vision 호출 mock + 출력 HTML 파싱 검증
|
||||
|
||||
### 제외 (후속)
|
||||
|
||||
- API endpoint `POST /api/insta/templates/import` — UI에서 트리거 가능
|
||||
- `card_slates.theme` 컬럼 — 슬레이트별 다른 theme 선택
|
||||
- 다중 theme 비교/A·B 테스트 UI
|
||||
- 자동 theme 추천 (트렌드 카테고리별 다른 theme)
|
||||
|
||||
---
|
||||
|
||||
## 3. 데이터·디렉토리 구조
|
||||
|
||||
```
|
||||
insta-lab/app/templates/
|
||||
├── default/ # 기존 — 폴백 / 초기 골격
|
||||
│ ├── card.html.j2
|
||||
│ └── .gitkeep
|
||||
└── <theme_name>/ # 사용자 디자인 1세트 (반복 가능)
|
||||
├── pages/ # 사용자가 git commit으로 업로드
|
||||
│ ├── insta_card_start.png # 의미 있는 이름 권장 (Claude가 페이지 의도 파악에 활용)
|
||||
│ ├── insta_card_keyword.png
|
||||
│ ├── ... (총 10장)
|
||||
│ └── README.md (선택, 디자인 의도 메모)
|
||||
└── card.html.j2 # design_importer가 자동 생성
|
||||
```
|
||||
|
||||
**파일명 컨벤션**:
|
||||
- 페이지 번호 매핑은 사용자가 제공하지 않음. design_importer가 다음 순서로 자동 매핑:
|
||||
1. 파일명에 `cover` > `start` > `intro` 키워드 포함 (우선순위 순서) → page 1 (커버). 여러 파일이 매치되면 가장 앞 키워드를 가진 파일만 선택, 나머지는 본문 풀로
|
||||
2. 파일명에 `cta` > `outro` > `finish` > `end` 키워드 포함 (우선순위 순서) → page 10. 동일하게 첫 매치만 page 10, 나머지는 본문 풀로
|
||||
3. 남은 8장은 알파벳 정렬 순으로 page 2~9 (본문)
|
||||
- **현재 운영 케이스**: `insta_card_start.png`(start=1순위) → page 1, `insta_card_cta.png`(cta=1순위) → page 10, `insta_card_finish.png`는 finish=3순위인데 cta가 이미 page 10이므로 본문 풀로 떨어져 알파벳 순에 따라 page 2~9 어딘가 배치됨
|
||||
- 사용자가 매핑을 override하려면 `pages/_order.json` 파일에 `{"insta_card_start.png": 1, "insta_card_finish.png": 10, ...}` 명시 가능 (충돌·의도 명시 시 강력 권장)
|
||||
- 매핑이 의도와 어긋나면 importer 실행 결과 dict의 `page_mapping` 필드로 확인 후 `_order.json` 추가하고 재실행
|
||||
|
||||
---
|
||||
|
||||
## 4. 핵심 모듈 `design_importer.py`
|
||||
|
||||
### 4-1. Public API
|
||||
|
||||
```python
|
||||
def import_design_theme(theme_name: str) -> dict:
|
||||
"""templates/<theme>/pages/*.png 10장 → Claude Sonnet Vision → card.html.j2 생성.
|
||||
|
||||
Returns:
|
||||
{
|
||||
"theme_name": str,
|
||||
"html_path": str,
|
||||
"page_mapping": {filename: page_no, ...},
|
||||
"analysis_summary": str, # Claude가 도출한 디자인 분석 짧은 요약
|
||||
"tokens_used": int,
|
||||
}
|
||||
|
||||
Raises:
|
||||
ValueError: pages/ 폴더에 PNG 10장 미만이거나 매핑 실패
|
||||
anthropic.APIError: Vision 호출 실패 (retry 1회 후)
|
||||
"""
|
||||
```
|
||||
|
||||
### 4-2. 처리 흐름
|
||||
|
||||
1. `templates/<theme>/pages/` 폴더 스캔 → PNG 10장 검증 (10장 정확히)
|
||||
2. 파일명 → 페이지 매핑 결정 (3장 규칙 + 선택적 `_order.json` override)
|
||||
3. 각 PNG base64 인코딩
|
||||
4. Claude Sonnet(`claude-sonnet-4-6`) Vision 호출 1회:
|
||||
- 시스템 프롬프트: 디자이너 역할 + 출력 형식 명세
|
||||
- 사용자 메시지: 10장 이미지 + 페이지 매핑 정보 + 변수 명세 (`page_no`, `headline`, `body`, `cta`)
|
||||
- 출력 요청: 단일 Jinja2 HTML 파일 (page_no 분기 + 텍스트 영역 절대 위치 CSS + `background-image: url('pages/{{filename}}')`)
|
||||
5. 응답 HTML 파싱 + Jinja Environment로 sanity render 1회 (분기·문법 검증)
|
||||
6. `templates/<theme>/card.html.j2`에 저장
|
||||
7. dict 반환
|
||||
|
||||
### 4-3. Vision 프롬프트 스킴 (placeholder 텍스트 마스킹 포함)
|
||||
|
||||
**중요 제약**: 사용자 PNG에는 **placeholder 텍스트가 이미 박혀있다**. 동적 카피(headline, body, cta)로 교체해야 하며 원본 placeholder 텍스트는 보이면 안 된다. 따라서 단순히 텍스트 layer를 얹는 것만으로는 부족하고, 원본 텍스트가 있던 영역을 그 영역의 **배경색으로 덮은 후** 그 위에 새 텍스트를 그려야 한다.
|
||||
|
||||
시스템 프롬프트 (요약):
|
||||
```
|
||||
너는 인스타그램 카드 뉴스 디자인을 모방하는 프론트엔드 디자이너다.
|
||||
입력: 10장의 카드 디자인 이미지 (각 1080×1350, placeholder 텍스트 포함) + 페이지 번호 매핑.
|
||||
출력: 단일 Jinja2 HTML 파일.
|
||||
|
||||
요구사항:
|
||||
- 컨테이너 width 1080px, height 1350px
|
||||
- background-image로 해당 페이지 PNG를 url('pages/{{filename}}')로 로드
|
||||
- 각 페이지에서 placeholder 텍스트가 있는 영역을 식별하고, 다음 두 layer를 그 위에 그린다:
|
||||
(a) 마스킹 박스: position: absolute로 텍스트 영역과 같은 좌표·크기.
|
||||
background는 PNG의 그 영역 주변 픽셀 색 (보통 카드 배경색)에서 추출.
|
||||
placeholder가 완전히 가려지도록 padding 8px 정도 여유.
|
||||
(b) 동적 텍스트 layer: 마스킹 박스와 동일 좌표.
|
||||
font-size·font-weight·color는 원본 placeholder 폰트 스타일을 그대로 모방.
|
||||
`{{ headline }}`, `{{ body }}`, `{{ cta }}` (page_no=10에서만) Jinja 변수 사용.
|
||||
- 페이지 종류별 영역 추정:
|
||||
· page 1 (cover): 메인 헤드라인 1개 영역. 보통 화면 상단 1/3 또는 중앙
|
||||
· page 2~9 (body): 헤드라인 1개 + 본문 1개 영역 (보통 헤드라인 상단, 본문 그 아래)
|
||||
· page 10 (cta): 헤드라인 1개 + 본문 1개 + CTA 강조 텍스트 1개 영역
|
||||
- page_no 1~10 분기: {% if page_no == N %}...{% endif %} 구조
|
||||
- 폰트는 Noto Sans KR (Google Fonts CDN), letter-spacing -0.02em
|
||||
- 텍스트 영역은 word-wrap: break-word + overflow: hidden으로 길이 초과 시도 마스킹 박스 밖으로 새지 않게
|
||||
- 출력은 <!DOCTYPE html>로 시작하는 완전한 HTML 본문만 (```html 코드펜스·설명 텍스트 금지)
|
||||
```
|
||||
|
||||
사용자 메시지에 각 이미지 + filename + page_no 매핑 포함.
|
||||
|
||||
**시각 품질 보장 절차** (importer 운영 후 사용자 검증):
|
||||
1. 첫 import 후 1개 슬레이트 생성해서 PNG 10장 육안 확인
|
||||
2. placeholder 텍스트가 비치거나 마스킹 박스가 어색하면 — `card.html.j2`를 직접 수정해서 영역 좌표·색 fine-tune (백업 자동 보존)
|
||||
3. 새 디자인을 import할 일 있을 때까지는 수동 수정본 그대로 사용
|
||||
|
||||
### 4-4. 캐시 / 재실행 정책
|
||||
|
||||
- 이미 `card.html.j2`가 존재하면 덮어쓰기 (사용자 명시적 재import 의도)
|
||||
- 백업: 기존 HTML이 있으면 `card.html.j2.bak.YYYYMMDD-HHMMSS`로 rename 후 새 파일 작성
|
||||
- 분석 결과 캐시 X (재실행할 때마다 최신 결과)
|
||||
|
||||
---
|
||||
|
||||
## 5. CLI 진입점
|
||||
|
||||
```bash
|
||||
# 컨테이너 내부에서 실행
|
||||
docker exec insta-lab python -m app.design_importer <theme_name>
|
||||
|
||||
# 결과 stdout (예시)
|
||||
{
|
||||
"theme_name": "minimal",
|
||||
"html_path": "/app/app/templates/minimal/card.html.j2",
|
||||
"page_mapping": {
|
||||
"insta_card_start.png": 1,
|
||||
"insta_card_keyword.png": 2,
|
||||
...
|
||||
"insta_card_cta.png": 10
|
||||
},
|
||||
"analysis_summary": "미니멀 카드 — 흰 배경 + 검정 헤드라인 + 회색 본문...",
|
||||
"tokens_used": 15234
|
||||
}
|
||||
```
|
||||
|
||||
`__main__` 가드: argparse로 `theme_name` 위치 인자 + `--force` (기존 HTML 백업 없이 덮어쓰기) 옵션. 실패 시 exit 1.
|
||||
|
||||
---
|
||||
|
||||
## 6. 카드 렌더 통합
|
||||
|
||||
### 6-1. 환경변수 추가 (`config.py`)
|
||||
|
||||
```python
|
||||
INSTA_DEFAULT_THEME = os.getenv("INSTA_DEFAULT_THEME", "default")
|
||||
```
|
||||
|
||||
### 6-2. `main.py:_bg_create_slate` 호출 변경
|
||||
|
||||
기존:
|
||||
```python
|
||||
await card_renderer.render_slate(sid)
|
||||
```
|
||||
|
||||
신규:
|
||||
```python
|
||||
template_path = f"{INSTA_DEFAULT_THEME}/card.html.j2"
|
||||
await card_renderer.render_slate(sid, template=template_path)
|
||||
```
|
||||
|
||||
`card_renderer.render_slate`는 이미 `template` 인자를 받으며 default 값이 `"default/card.html.j2"`. 변경 없음.
|
||||
|
||||
### 6-3. `card_renderer` 폴백 가드
|
||||
|
||||
`render_slate` 시작부에 template 파일 존재 확인 추가:
|
||||
```python
|
||||
template_full = Path(_resolve_template_dir()) / template
|
||||
if not template_full.exists():
|
||||
logger.warning("Template %s 없음, default로 폴백", template)
|
||||
template = "default/card.html.j2"
|
||||
```
|
||||
|
||||
→ env에 `INSTA_DEFAULT_THEME=minimal` 설정했는데 `minimal/card.html.j2`가 아직 import 안 됐으면 자동 default 폴백.
|
||||
|
||||
### 6-4. 운영 활성화 절차
|
||||
|
||||
```bash
|
||||
# 1. 이미지 commit + push (이미 완료 — minimal/pages/ 10장)
|
||||
# 2. NAS 머지 후 design_importer 실행
|
||||
docker exec insta-lab python -m app.design_importer minimal
|
||||
|
||||
# 3. NAS .env에 추가
|
||||
echo "INSTA_DEFAULT_THEME=minimal" >> /volume1/docker/webpage/.env
|
||||
|
||||
# 4. 컨테이너 재시작 (env 재로드)
|
||||
docker compose restart insta-lab
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 7. 에러 처리
|
||||
|
||||
| 상황 | 처리 |
|
||||
|------|------|
|
||||
| `pages/` 폴더 없음 또는 PNG 10장 미만 | ValueError + 어떤 파일이 빠졌는지 명시. 모든 이미지가 1080×1350인지도 검증 (Pillow로 size 체크) |
|
||||
| Vision 호출 실패 (network, rate limit) | retry 1회 (5초 대기), 그래도 실패 시 anthropic.APIError 전파 |
|
||||
| Vision 응답이 HTML이 아님 / Jinja 문법 깨짐 | Jinja Environment로 sanity render 시도 → 실패 시 raw 응답을 `card.html.j2.error.txt`에 저장 + ValueError 전파 (운영자가 수동 수정 가능) |
|
||||
| Vision 응답이 max_tokens(16K) 초과 → 잘림 | 응답 끝이 닫힌 `</html>` 없으면 잘렸다고 판단, max_tokens 24K로 retry 1회 |
|
||||
| 이미지 base64 인코딩 실패 (파일 깨짐) | 어느 파일이 문제인지 로그 + ValueError |
|
||||
| `_order.json` 형식 깨짐 | log warning + 자동 매핑 규칙으로 폴백 |
|
||||
|
||||
---
|
||||
|
||||
## 8. 테스트
|
||||
|
||||
### `insta-lab/tests/test_design_importer.py` (~6 케이스)
|
||||
|
||||
1. `test_auto_page_mapping_with_cover_and_cta`: 의미 이름 파일 10개 → cover→1, cta→10, 나머지 알파벳 순
|
||||
2. `test_explicit_order_json_overrides`: `_order.json` 있으면 그것 우선
|
||||
3. `test_validates_exactly_ten_pngs`: 9장 또는 11장이면 ValueError
|
||||
4. `test_validates_image_dimensions`: 1080×1350 아닌 이미지 있으면 ValueError + 어떤 파일인지
|
||||
5. `test_import_generates_html_via_mocked_claude`: Anthropic Vision mock, 응답 HTML이 Jinja 렌더 가능한 형식인지 검증
|
||||
6. `test_import_falls_back_on_jinja_parse_failure`: mock이 깨진 HTML 반환 시 ValueError + `.error.txt` 저장
|
||||
|
||||
### `insta-lab/tests/test_card_renderer.py` (기존, 보강 1개)
|
||||
|
||||
7. `test_render_falls_back_to_default_when_theme_html_missing`: `template="ghost/card.html.j2"` 지정 시 파일 없어도 default로 폴백 + 정상 PNG 생성
|
||||
|
||||
---
|
||||
|
||||
## 9. 운영 영향
|
||||
|
||||
| 항목 | 영향 |
|
||||
|------|------|
|
||||
| Anthropic 토큰 비용 | +1회당 ~15K 토큰 (이미지 10장 × ~1K + 프롬프트 + HTML 출력). Claude Sonnet 단가 기준 ~$0.05/import. 자주 실행 X |
|
||||
| 빌드 시간 | 영향 없음 (코드 변경만, 의존성 추가 없음) |
|
||||
| 카드 렌더 시간 | 영향 없음 (Playwright는 background-image까지 wait_until="networkidle"로 처리) |
|
||||
| 디스크 | 사용자 디자인 PNG 12MB (이미 push됨) + 자동 생성 HTML ~10KB |
|
||||
| 운영 중 카드 품질 | env `INSTA_DEFAULT_THEME=minimal` 설정 후 다음 슬레이트부터 사용자 디자인 적용. 기존 슬레이트는 default 그대로 |
|
||||
|
||||
---
|
||||
|
||||
## 10. 마이그레이션 절차
|
||||
|
||||
배포 후 사용자가 운영 NAS에서 수동 실행:
|
||||
|
||||
1. PR 머지 → webhook으로 `design_importer.py` 코드 배포 + minimal/ 디렉토리는 이미 배포됨
|
||||
2. SSH NAS:
|
||||
```bash
|
||||
docker exec insta-lab python -m app.design_importer minimal
|
||||
```
|
||||
3. 결과 JSON에서 `html_path`와 `page_mapping` 확인. 매핑이 의도와 다르면 `pages/_order.json`로 override 후 재실행
|
||||
4. `.env`에 `INSTA_DEFAULT_THEME=minimal` 추가
|
||||
5. `docker compose restart insta-lab` (env 재로드)
|
||||
6. 새 슬레이트 1개 만들어서 시각 검증 (Insta 페이지 Trends 탭 또는 수동 트리거)
|
||||
|
||||
생성된 `card.html.j2`가 마음에 안 들면:
|
||||
- `pages/_order.json`으로 페이지 순서 조정 후 importer 재실행
|
||||
- 또는 자동 생성 HTML을 사용자가 직접 수정 (importer 재실행 안 함)
|
||||
- 백업본 `card.html.j2.bak.YYYYMMDD-HHMMSS`로 롤백 가능
|
||||
|
||||
---
|
||||
|
||||
## 11. 완료 정의
|
||||
|
||||
- [ ] `insta-lab/app/design_importer.py` 작성, CLI `python -m app.design_importer` 작동
|
||||
- [ ] `_resolve_page_mapping` + 의미 이름 기반 자동 매핑 + `_order.json` override
|
||||
- [ ] Vision 호출 mock 기반 pytest 6 케이스 PASS
|
||||
- [ ] `card_renderer.render_slate`에 theme 폴백 가드 추가, 테스트 1 케이스 PASS
|
||||
- [ ] `insta-lab/app/config.py`에 `INSTA_DEFAULT_THEME` 추가
|
||||
- [ ] `insta-lab/app/main.py:_bg_create_slate`가 `INSTA_DEFAULT_THEME` 사용
|
||||
- [ ] `docker-compose.yml` insta-lab 환경변수에 `INSTA_DEFAULT_THEME=${INSTA_DEFAULT_THEME:-default}` 추가
|
||||
- [ ] CLAUDE.md 9.x insta-lab 섹션에 design_importer + INSTA_DEFAULT_THEME 항목 추가
|
||||
- [ ] 운영 NAS에서 `docker exec insta-lab python -m app.design_importer minimal` 실행 → `card.html.j2` 생성 확인
|
||||
- [ ] `.env` 설정 + 새 슬레이트 1개 생성 → 시각적으로 minimal 디자인 반영 확인
|
||||
@@ -0,0 +1,584 @@
|
||||
# NAS ↔ Windows 분산 아키텍처 — Design Spec
|
||||
|
||||
**Date:** 2026-05-18
|
||||
**Author:** CEO (with Claude)
|
||||
**Scope:** `web-backend` + `web-ai` + 신규 `web-ai-services` (Windows WSL2 컨테이너 모음)
|
||||
|
||||
---
|
||||
|
||||
## 1. 배경 & 목적
|
||||
|
||||
NAS Synology J4025 (Celeron 2C/2.0GHz, 18GB)에서 11개 docker 컨테이너가 CPU를 과점유. 진단 결과 가장 큰 원인은 **외부 인바운드 API 호출 빈도** (web-ai signal_v1/v2가 분당 12회 NAS stock 호출) + **insta-lab Playwright Chromium의 동시 launch 비용**이었다.
|
||||
|
||||
박재오 통찰: *"NAS = 24/7 표출·게이트웨이 / Windows = 트레이딩 메인 + 트리거 기반 컴퓨팅"*. 박재오가 이미 7건의 의사결정을 마쳤고 1주 셋업 가이드도 정리되어 있다 (`Obsidian Vault/raw/2026-05-18-Windows-NAS-아키텍처-7결정-통합.md`).
|
||||
|
||||
본 spec은 그 위에 **실행 단위 분할(SP) + 의존성 그래프 + 통합 패턴 + 데이터 플로우**를 정리해서 실제 구현 plan으로 진입 가능한 형태로 만든다.
|
||||
|
||||
### 박재오 7결정 (수용된 결정 사항)
|
||||
|
||||
1. **d+b 조합** — Windows 작업 감지 큐 정지 + 트레이딩 우선순위 High
|
||||
2. **insta-lab Playwright 1순위** 이전 (NAS → Windows)
|
||||
3. **트리거 B(비동기) + C(예약)** — 즉시 응답 X, task_id 발급 + 폴링
|
||||
4. **외부 영상 생성 도구** (Runway·Sora·Veo·Pika·Kling·Luma)
|
||||
5. **Redis NAS 컨테이너** — 24/7 안정 큐
|
||||
6. **옵션 4 하이브리드** — 트레이딩 Native Python / 신규 WSL2 Docker Engine
|
||||
7. **NSSM** — Windows Service 도구 (자동 시작·우선순위)
|
||||
|
||||
---
|
||||
|
||||
## 2. 전체 아키텍처
|
||||
|
||||
```
|
||||
[사용자 브라우저]
|
||||
↓ HTTPS
|
||||
[NAS Synology J4025] ─── 24/7 안정 · 표출 · 게이트웨이 · 상태(state)
|
||||
├─ frontend (nginx :8080) React SPA
|
||||
├─ redis (:6379) ⭐ NEW 24/7 큐 + 캐시
|
||||
├─ stock (:18500) +TTLCache 메타 + KIS data + WebAI gateway
|
||||
├─ insta-lab (:18700) 분할 후 카피 생성 + DB + Redis push
|
||||
├─ music-lab (:18600) 분할 후 메타 + Redis push (Suno/MusicGen 미실행)
|
||||
├─ video-lab (:18XXX) ⭐ NEW 영상 게이트웨이 + Redis push
|
||||
├─ agent-office (:18900) 텔레그램 라우팅 + scheduler
|
||||
├─ lotto / realestate-lab / personal / packs-lab / travel-proxy
|
||||
└─ deployer (:19010)
|
||||
↓ Redis BLPOP / 직접 HTTP webhook
|
||||
[Windows AI Server 192.168.45.59] ─── 트레이딩 최우선 · 트리거 컴퓨팅
|
||||
├─ 🔵 Native Python (NSSM HIGH priority)
|
||||
│ ├─ signal_v2 (:8001) ⭐ 트레이딩 절대 우선
|
||||
│ ├─ Ollama qwen3:14b (:11435)
|
||||
│ └─ MusicGen (:8765)
|
||||
└─ 🟢 WSL2 + Docker Engine (NORMAL priority)
|
||||
├─ insta-render (:18710) ⭐ NEW Playwright Chromium pool
|
||||
├─ music-render (:18711) ⭐ NEW Suno API + MusicGen orchestration
|
||||
├─ video-render (:18712) ⭐ NEW 외부 영상 API gateway (6 provider)
|
||||
└─ task-watcher 박재오 작업 감지 + 시간대 분기
|
||||
```
|
||||
|
||||
### 핵심 원칙
|
||||
|
||||
1. **NAS = state(DB) + view(nginx 미디어 서빙)**, **Windows = stateless compute**
|
||||
2. **트레이딩 절대 우선** — 시간대 조건부 (아래 §3 참조)
|
||||
3. **무거운 작업 시간대 분리** — 데드존 23:30–04:30 + 주말·휴장일 = 골든타임
|
||||
|
||||
---
|
||||
|
||||
## 3. 시간대별 우선순위 모드
|
||||
|
||||
| 모드 | 조건 | signal_v2 | task-watcher 정책 |
|
||||
|------|------|-----------|------------------|
|
||||
| 🔴 트레이딩 | 평일 비휴장일 07:00–16:30 | NSSM HIGH, polling 활성 | 박재오 활동 감지 시 `queue:paused` SET |
|
||||
| 🟡 일반 | 평일 16:30–23:30 (NXT) | NSSM HIGH 유지 (5분 폴링 가벼움) | 박재오 활동 감지 시 SET |
|
||||
| 🟢 자유 | 주말·휴장일 + 평일 23:30–04:30 | 자동 idle (휴장일 polling 미실행) | `queue:paused` DEL 유지 — 큐 항상 활성 |
|
||||
|
||||
### 구현 위치
|
||||
- **signal_v2의 휴장일 인식**: `web-ai` CHECK_POINT #7 `holidays.json` 자동 동기화 항목. 휴장일·주말에 polling 자체 미실행.
|
||||
- **휴장일 단일 소스**: `web-backend/stock/app/holidays.json` 정본. NAS stock이 `GET /api/stock/holidays`로 노출. signal_v2 + task-watcher가 매일 00:00 갱신.
|
||||
- **task-watcher 시간대 분기**: `current_mode()` 함수가 30초 폴링마다 모드 판정 → `queue:paused` 토글.
|
||||
|
||||
---
|
||||
|
||||
## 4. Sub-project 카탈로그 (12개)
|
||||
|
||||
| SP | 명칭 | 트랙 | 위치 | 소요 |
|
||||
|----|------|------|------|------|
|
||||
| **SP-A1** | web-ai 캐시 TTL 증가 | A | `web-ai/signal_v2/stock_client.py` | 10분 |
|
||||
| **SP-A2** | NAS stock TTLCache | A | `web-backend/stock/app/*` | 30분 |
|
||||
| **SP-1** | NAS Redis 컨테이너 | B (Base) | `web-backend/docker-compose.yml` | 30분 |
|
||||
| **SP-2** | Windows WSL2 + Docker Engine | B (Base) | (Windows AI) | 2h |
|
||||
| **SP-3** | insta-render Windows 서비스 | B | `web-ai-services/insta-render/` (신규) | 4h |
|
||||
| **SP-4** | NAS insta-lab 분할 | B | `web-backend/insta-lab` | 2h |
|
||||
| **SP-5** | music-render Windows 서비스 | B | `web-ai-services/music-render/` (신규) | 3h |
|
||||
| **SP-6** | NAS music-lab 분할 | B | `web-backend/music-lab` | 2h |
|
||||
| **SP-7** | video-render Windows 서비스 | B | `web-ai-services/video-render/` (신규) | 3h |
|
||||
| **SP-8** | NAS video-lab 신설 | B | `web-backend/video-lab/` (신규 컨테이너) | 2h |
|
||||
| **SP-9** | NSSM 자동 시작 + 우선순위 | B | (Windows) | 1h |
|
||||
| **SP-10** | task-watcher (시간대 + 활동 감지) | B | `web-ai-services/task-watcher/` (신규) | 2h |
|
||||
|
||||
**총 작업시간**: ~22.5h (1주 일정에 부합)
|
||||
|
||||
### 의존성 그래프
|
||||
|
||||
```
|
||||
A 트랙 (병행, ~40분)
|
||||
SP-A1 ─╮
|
||||
├── V2 재시작 시 효과
|
||||
SP-A2 ─╯
|
||||
|
||||
B 트랙 Base (Day 1~2)
|
||||
SP-1 (Redis) ─┐
|
||||
├── 인스타·음악·영상 3 트랙 모두 의존
|
||||
SP-2 (WSL2) ──┘
|
||||
|
||||
인스타 트랙 (Day 3~4)
|
||||
SP-3 (insta-render) ──→ SP-4 (NAS insta-lab 분할)
|
||||
|
||||
음악 트랙 (Day 4~5)
|
||||
SP-5 (music-render) ──→ SP-6 (NAS music-lab 분할)
|
||||
|
||||
영상 트랙 (Day 5~6)
|
||||
SP-7 (video-render) ──→ SP-8 (NAS video-lab 신설)
|
||||
|
||||
인프라 마무리 (Day 6~7)
|
||||
SP-9 (NSSM) ──→ SP-10 (task-watcher)
|
||||
```
|
||||
|
||||
### Critical Path
|
||||
`SP-1 ∥ SP-2` → `SP-3` → `SP-4` → `SP-9` → `SP-10` (최단 약 11.5h)
|
||||
|
||||
병렬화: SP-1(NAS)·SP-2(Windows)는 다른 머신이라 동시 진행. 인스타·음악·영상 트랙은 패턴이 같아 한 번 정착 후 빠르게 복제.
|
||||
|
||||
---
|
||||
|
||||
## 5. 통합 패턴 — "Windows Render Worker"
|
||||
|
||||
인스타·음악·영상 3 트랙이 **완전히 같은 패턴**. 한 번만 정의하고 3번 재사용한다.
|
||||
|
||||
### 시퀀스
|
||||
|
||||
```
|
||||
사용자 ─POST /api/{kind}/generate ...──→ NAS {kind}-lab
|
||||
│
|
||||
├─ DB.create_task() → task_id
|
||||
├─ Redis RPUSH queue:{kind}-render {task_id, params, ...}
|
||||
└─ 200 {task_id} ─→ 사용자
|
||||
|
||||
[Windows {kind}-render]
|
||||
│ (queue:paused 체크 후 BLPOP queue:{kind}-render)
|
||||
│
|
||||
├─ POST /api/internal/{kind}/update
|
||||
│ {status: "processing", progress: 30} ─→ NAS DB update
|
||||
│
|
||||
├─ 무거운 작업 (Playwright / Suno / Runway 등)
|
||||
│ 결과 파일 → /mnt/nas/data/{kind}/{id}/{file} (SMB direct write)
|
||||
│
|
||||
└─ POST /api/internal/{kind}/update
|
||||
{status: "succeeded", progress: 100,
|
||||
result_path: "/media/{kind}/{id}/{file}"} ─→ NAS DB update
|
||||
|
||||
사용자 ─GET /api/{kind}/tasks/{task_id}──→ NAS {kind}-lab
|
||||
└─ DB.get_task() → {status, progress, result_path}
|
||||
─→ 사용자 (폴링)
|
||||
```
|
||||
|
||||
### 4가지 미세 개선 (반영됨)
|
||||
|
||||
1. **결과물 저장**: SMB direct write (`/mnt/nas/data/`) — 별도 HTTP upload 단계 제거
|
||||
2. **NAS 알림**: Windows → NAS internal webhook (`POST /api/internal/{kind}/update`) — NAS polling 부담 0
|
||||
3. **사용자 응답**: 폴링 유지 (YAGNI, 미래 SSE 검토)
|
||||
4. **인증 키 분리**: `X-WebAI-Key`(read, web-ai→NAS) vs `X-Internal-Key`(write, Windows→NAS)
|
||||
|
||||
---
|
||||
|
||||
## 6. Redis 키 컨벤션
|
||||
|
||||
| 키 | 종류 | TTL | 용도 |
|
||||
|----|------|-----|------|
|
||||
| `queue:insta-render` | list | (없음) | 인스타 카드 렌더 작업 큐 |
|
||||
| `queue:music-render` | list | (없음) | 음악 생성 작업 큐 |
|
||||
| `queue:video-render` | list | (없음) | 영상 생성 작업 큐 |
|
||||
| `queue:paused` | string `"1"` | 600s | task-watcher가 set/del. worker가 BLPOP 전 확인 |
|
||||
| (옵션) `cache:stock:*` | string (json) | 120~600s | NAS stock Redis 캐시 (SP-A2와 별개 옵션) |
|
||||
|
||||
### 큐 payload 표준 (JSON)
|
||||
|
||||
```json
|
||||
{
|
||||
"task_id": "uuid-...",
|
||||
"kind": "insta|music|video",
|
||||
"params": { ... },
|
||||
"submitted_at": "2026-05-18T08:30:00+09:00"
|
||||
}
|
||||
```
|
||||
|
||||
Worker는 `BLPOP queue:{kind}-render` (1초 timeout) → `queue:paused` 체크 → 처리.
|
||||
|
||||
---
|
||||
|
||||
## 7. NAS 볼륨 레이아웃 + nginx 서빙
|
||||
|
||||
### 실 파일 시스템
|
||||
```
|
||||
/volume1/docker/webpage/data/
|
||||
├── insta/{slate_id}/01.png ~ 10.png
|
||||
├── music/{track_id}/{file}.mp3
|
||||
└── video/{video_id}/{file}.mp4
|
||||
```
|
||||
|
||||
### WSL2 마운트
|
||||
```bash
|
||||
# WSL2 /etc/fstab
|
||||
//gahusb.synology.me/docker/webpage/data /mnt/nas cifs username=...,vers=3.0,uid=1000,_netdev 0 0
|
||||
```
|
||||
|
||||
### nginx 서빙
|
||||
```
|
||||
https://gahusb.synology.me/media/insta/{id}/01.png
|
||||
/music/{id}/...
|
||||
/video/{id}/...
|
||||
```
|
||||
|
||||
→ nginx `location /media/` 블록은 `/volume1/docker/webpage/data/`를 alias로 서빙 (기존 패턴).
|
||||
|
||||
---
|
||||
|
||||
## 8. NAS internal webhook 명세
|
||||
|
||||
### Endpoint
|
||||
`POST /api/internal/{kind}/update` (kind ∈ `insta`|`music`|`video`)
|
||||
|
||||
### 인증 — 3-layer 차단
|
||||
1. **nginx IP 화이트리스트** (Layer 1·2):
|
||||
```nginx
|
||||
location /api/internal/ {
|
||||
allow 192.168.45.0/24; # LAN 화이트리스트
|
||||
allow 100.64.0.0/10; # Tailscale CGNAT 대역
|
||||
deny all;
|
||||
...
|
||||
}
|
||||
```
|
||||
2. **`X-Internal-Key` 헤더 검증** (Layer 3): `verify_internal_key` dependency
|
||||
|
||||
### Payload
|
||||
```json
|
||||
{
|
||||
"task_id": "uuid-...",
|
||||
"status": "processing|succeeded|failed",
|
||||
"progress": 0-100,
|
||||
"result_path": "/media/insta/123/01.png", // succeeded일 때만, nginx 경로
|
||||
"error": "exception message" // failed일 때만
|
||||
}
|
||||
```
|
||||
|
||||
### NAS 측 처리
|
||||
1. `tasks` 테이블 row update (status, progress, result_path, error)
|
||||
2. (옵션) Redis PUBLISH `task:{id}` — 미래 SSE 통합 시 활용
|
||||
3. 200 응답 (또는 401 if invalid key)
|
||||
|
||||
### 인증 키 정책
|
||||
|
||||
| 키 | 방향 | 권한 | 위치 |
|
||||
|----|------|------|------|
|
||||
| `X-WebAI-Key` | web-ai → NAS | read-only (`GET /api/webai/*`) | NAS `.env` + web-ai `.env` |
|
||||
| `X-Internal-Key` | Windows worker → NAS | write-only (`POST /api/internal/*`) | NAS `.env` + Windows `.env` |
|
||||
|
||||
분리 사유: Principle of Least Privilege, 독립 로테이션, 감사 로그 명확성.
|
||||
|
||||
### 인증 helper (NAS 공통 모듈, `web-backend/_shared/auth.py` 또는 각 컨테이너 복제)
|
||||
|
||||
```python
|
||||
from fastapi import Header, HTTPException
|
||||
import os
|
||||
|
||||
async def verify_internal_key(x_internal_key: str = Header(...)):
|
||||
expected = os.getenv("INTERNAL_API_KEY")
|
||||
if not expected or x_internal_key != expected:
|
||||
raise HTTPException(401, "Invalid X-Internal-Key")
|
||||
|
||||
# 라우터 사용
|
||||
@app.post("/api/internal/insta/update", dependencies=[Depends(verify_internal_key)])
|
||||
async def insta_update(payload: InternalUpdate): ...
|
||||
```
|
||||
|
||||
기존 `verify_webai_key` 패턴(메모리 `reference_webai_auth_pattern.md`)을 복제.
|
||||
|
||||
---
|
||||
|
||||
## 9. Suno + 외부 영상 API 키 이전
|
||||
|
||||
NAS `.env`에서 다음 키들을 **제거** → Windows `.env`로 이전:
|
||||
|
||||
| 키 | NAS 이전 | Windows 이후 |
|
||||
|-----|---------|-------------|
|
||||
| `SUNO_API_KEY` | music-lab | music-render |
|
||||
| `RUNWAY_API_KEY` | (없음) | video-render |
|
||||
| `OPENAI_API_KEY` (Sora) | (있을 수도) | video-render |
|
||||
| `GEMINI_API_KEY` (Veo) | (없음) | video-render |
|
||||
| `PIKA_API_KEY` / `KLING_API_KEY` / `LUMA_API_KEY` | (없음) | video-render |
|
||||
|
||||
→ NAS music-lab + video-lab은 외부 API 호출 코드를 가지지 않음. Redis push만.
|
||||
|
||||
---
|
||||
|
||||
## 10. SP 상세 명세
|
||||
|
||||
### SP-A1 — web-ai 캐시 TTL 증가 (10분)
|
||||
|
||||
**파일**: `web-ai/signal_v2/stock_client.py`
|
||||
|
||||
변경:
|
||||
```python
|
||||
# 변경 전
|
||||
PORTFOLIO_TTL = 60
|
||||
NEWS_TTL = 300
|
||||
SCREENER_TTL = 60
|
||||
|
||||
# 변경 후
|
||||
PORTFOLIO_TTL = 180 # 3분
|
||||
NEWS_TTL = 600 # 10분
|
||||
SCREENER_TTL = 300 # 5분
|
||||
```
|
||||
|
||||
**효과**: 분당 12 → 3~4 호출 (~70% 감소), 캐시 hit ratio 0~50% → 66~80%
|
||||
|
||||
### SP-A2 — NAS stock TTLCache (30분)
|
||||
|
||||
**파일**: `web-backend/stock/app/*` (webai endpoint 위치 확인 후)
|
||||
|
||||
```python
|
||||
from cachetools import TTLCache
|
||||
|
||||
_PORTFOLIO_CACHE = TTLCache(maxsize=1, ttl=120)
|
||||
_NEWS_CACHE = TTLCache(maxsize=10, ttl=600)
|
||||
_SCREENER_CACHE = TTLCache(maxsize=10, ttl=180)
|
||||
|
||||
@app.get("/api/webai/portfolio", dependencies=[Depends(verify_webai_key)])
|
||||
async def portfolio():
|
||||
if "result" in _PORTFOLIO_CACHE:
|
||||
return _PORTFOLIO_CACHE["result"]
|
||||
result = await compute_portfolio()
|
||||
_PORTFOLIO_CACHE["result"] = result
|
||||
return result
|
||||
```
|
||||
|
||||
3 endpoint 적용: `/api/webai/portfolio` · `/api/webai/news-sentiment` · `/api/stock/screener/run`. `cachetools` 의존성 requirements.txt 확인.
|
||||
|
||||
**효과**: V1+V2 동시 호출도 NAS에서 1회 계산. KIS·LLM 재호출 방지.
|
||||
|
||||
### SP-1 — NAS Redis 컨테이너 (30분)
|
||||
|
||||
**파일**: `web-backend/docker-compose.yml`에 추가
|
||||
|
||||
```yaml
|
||||
redis:
|
||||
image: redis:7-alpine
|
||||
container_name: redis
|
||||
restart: unless-stopped
|
||||
ports:
|
||||
- "6379:6379"
|
||||
volumes:
|
||||
- ${RUNTIME_PATH}/redis-data:/data
|
||||
command: redis-server --appendonly yes --maxmemory 256mb --maxmemory-policy allkeys-lru
|
||||
healthcheck:
|
||||
test: ["CMD", "redis-cli", "ping"]
|
||||
interval: 60s
|
||||
timeout: 5s
|
||||
retries: 3
|
||||
```
|
||||
|
||||
검증: `docker exec redis redis-cli PING` → `PONG`
|
||||
|
||||
### SP-2 — Windows WSL2 + Docker Engine + Tailscale (2h)
|
||||
|
||||
박재오 Windows AI Server에서 (관리자 PowerShell):
|
||||
|
||||
```powershell
|
||||
wsl --install -d Ubuntu-22.04
|
||||
# 재부팅 후
|
||||
wsl -d Ubuntu-22.04
|
||||
```
|
||||
|
||||
WSL2 안:
|
||||
```bash
|
||||
# Docker Engine
|
||||
sudo apt update && sudo apt install -y ca-certificates curl gnupg
|
||||
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
|
||||
echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | \
|
||||
sudo tee /etc/apt/sources.list.d/docker.list
|
||||
sudo apt update && sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
|
||||
sudo usermod -aG docker $USER
|
||||
|
||||
# Tailscale
|
||||
curl -fsSL https://tailscale.com/install.sh | sh
|
||||
sudo tailscale up
|
||||
|
||||
# NAS SMB mount
|
||||
sudo mkdir -p /mnt/nas
|
||||
echo "//gahusb.synology.me/docker/webpage/data /mnt/nas cifs username=...,vers=3.0,uid=1000,_netdev 0 0" | sudo tee -a /etc/fstab
|
||||
sudo mount -a
|
||||
```
|
||||
|
||||
검증: `docker ps`, `tailscale status`, `ls /mnt/nas`
|
||||
|
||||
### SP-3 — insta-render Windows 서비스 (4h)
|
||||
|
||||
**디렉토리**: `C:\Users\jaeoh\Desktop\workspace\web-ai-services\insta-render\`
|
||||
|
||||
```
|
||||
insta-render/
|
||||
├── Dockerfile
|
||||
├── docker-compose.yml
|
||||
├── requirements.txt
|
||||
├── .env
|
||||
├── main.py
|
||||
├── worker.py
|
||||
└── card_renderer.py # 기존 NAS insta-lab/app/card_renderer.py 이식
|
||||
```
|
||||
|
||||
핵심 로직:
|
||||
- `worker.py`: Redis BLPOP `queue:insta-render` (paused 체크)
|
||||
- `card_renderer.py`: Browser pool (`init_browser`/`shutdown_browser`) + `render_slate`
|
||||
- `main.py`: 시작 시 browser init + worker async task spawn
|
||||
- 완료 시 `/mnt/nas/data/insta/{slate_id}/` 저장 + NAS webhook `POST /api/internal/insta/update`
|
||||
|
||||
### SP-4 — NAS insta-lab 분할 (2h)
|
||||
|
||||
**파일**: `web-backend/insta-lab/app/main.py` + `app/card_renderer.py`
|
||||
|
||||
변경:
|
||||
```python
|
||||
# 변경 전 — NAS에서 직접 렌더
|
||||
async def _bg_render(task_id: str, slate_id: int):
|
||||
async with RENDER_SEMAPHORE:
|
||||
await card_renderer.render_slate(slate_id, ...)
|
||||
|
||||
# 변경 후 — Redis 큐에 push만
|
||||
import redis.asyncio as aioredis
|
||||
redis_client = aioredis.from_url(os.getenv("REDIS_URL", "redis://redis:6379"))
|
||||
|
||||
async def _bg_render(task_id: str, slate_id: int):
|
||||
payload = {"task_id": task_id, "kind": "insta",
|
||||
"params": {"slate_id": slate_id, "theme": "hedgy75"},
|
||||
"submitted_at": datetime.now(KST).isoformat()}
|
||||
await redis_client.rpush("queue:insta-render", json.dumps(payload))
|
||||
```
|
||||
|
||||
추가: `POST /api/internal/insta/update` endpoint (Windows webhook 수신).
|
||||
삭제: `card_renderer.py` Playwright 코드 (Browser pool, Semaphore 등), `requirements.txt`에서 `playwright` 제거, Dockerfile에서 Chromium install 제거.
|
||||
|
||||
### SP-5 — music-render Windows 서비스 (3h)
|
||||
|
||||
**디렉토리**: `web-ai-services/music-render/`
|
||||
|
||||
- Suno API client (외부 SaaS, polling 1~5분)
|
||||
- MusicGen local call (Windows localhost:8765)
|
||||
- Redis BLPOP `queue:music-render`
|
||||
- 결과 mp3 → `/mnt/nas/data/music/{track_id}/{file}.mp3`
|
||||
- NAS webhook `POST /api/internal/music/update`
|
||||
|
||||
`SUNO_API_KEY` Windows `.env`에 단독 보관.
|
||||
|
||||
### SP-6 — NAS music-lab 분할 (2h)
|
||||
|
||||
Suno 호출 코드 + MusicGen 호출 코드 삭제. `_bg_generate` 함수를 Redis push로 변경. `POST /api/internal/music/update` endpoint 추가.
|
||||
|
||||
### SP-7 — video-render Windows 서비스 (3h)
|
||||
|
||||
**디렉토리**: `web-ai-services/video-render/`
|
||||
|
||||
6 provider gateway (Runway·Sora·Veo·Pika·Kling·Luma) — provider 선택은 payload에서. 각 외부 API 호출 + 결과 mp4 다운로드 → `/mnt/nas/data/video/{id}/`. NAS webhook.
|
||||
|
||||
### SP-8 — NAS video-lab 신설 (2h)
|
||||
|
||||
새 docker 컨테이너. `web-backend/video-lab/`:
|
||||
- `app/main.py`: 2 endpoint
|
||||
- `POST /api/video/generate` → Redis push `queue:video-render` + task_id 반환
|
||||
- `GET /api/video/tasks/{id}` → DB 조회
|
||||
- `app/db.py`: video_tasks 테이블 (sqlite)
|
||||
- `POST /api/internal/video/update` (Windows webhook)
|
||||
- Dockerfile, requirements, docker-compose.yml entry
|
||||
|
||||
매우 가벼움 (NAS CPU 부담 미미).
|
||||
|
||||
### SP-9 — NSSM 자동 시작 + 우선순위 (1h)
|
||||
|
||||
Windows AI에서 NSSM 다운로드 후:
|
||||
|
||||
```powershell
|
||||
# 트레이딩 (Native, HIGH)
|
||||
nssm install signal_v2 "C:\Python312\python.exe" "-m uvicorn main:app --host 0.0.0.0 --port 8001"
|
||||
nssm set signal_v2 AppDirectory "C:\Users\jaeoh\Desktop\workspace\web-ai\signal_v2"
|
||||
nssm set signal_v2 Priority HIGH_PRIORITY_CLASS
|
||||
nssm set signal_v2 AppStartup AUTO
|
||||
|
||||
# WSL2 Docker (NORMAL)
|
||||
nssm install wsl_docker "wsl" "-d Ubuntu-22.04 -- sudo service docker start && cd /workspace/web-ai-services && docker compose up -d"
|
||||
nssm set wsl_docker Priority NORMAL_PRIORITY_CLASS
|
||||
nssm set wsl_docker AppStartup AUTO
|
||||
|
||||
nssm start signal_v2
|
||||
nssm start wsl_docker
|
||||
```
|
||||
|
||||
### SP-10 — task-watcher (2h)
|
||||
|
||||
**디렉토리**: `web-ai-services/task-watcher/`
|
||||
|
||||
WSL2 Docker 컨테이너. 30초마다:
|
||||
1. `current_mode()` 판정 (시간대 + holidays.json 체크 + KST 시각)
|
||||
2. `is_user_active()` 판정 (마우스/키보드 idle < 5분 또는 게임 process 감지)
|
||||
3. 모드 + 활동 → `queue:paused` 토글
|
||||
- `mode == "free"` → `DEL queue:paused`
|
||||
- `mode != "free" and active` → `SET queue:paused 1 EX 600`
|
||||
- `mode != "free" and idle` → `DEL queue:paused`
|
||||
|
||||
---
|
||||
|
||||
## 11. 데이터 플로우 검증 — 인스타 사례 end-to-end
|
||||
|
||||
```
|
||||
1. 사용자 클릭 "카드 생성"
|
||||
POST /api/insta/slates/123/render
|
||||
↓ NAS insta-lab
|
||||
2. NAS insta-lab
|
||||
- db.create_task("slate_render", {slate_id: 123}) → task_id="t-abc"
|
||||
- redis.rpush("queue:insta-render", {task_id: "t-abc", kind: "insta", params: {slate_id: 123, theme: "hedgy75"}})
|
||||
- 응답 {task_id: "t-abc"}
|
||||
↓ 즉시 사용자
|
||||
3. Windows insta-render worker
|
||||
- redis.blpop("queue:insta-render", 1)
|
||||
- paused 체크 → 통과
|
||||
- webhook(processing, 10%) → NAS DB update
|
||||
- Playwright 카드 10장 렌더 → /mnt/nas/data/insta/123/01.png..10.png
|
||||
- webhook(processing, 90%) 진행률 보고
|
||||
- webhook(succeeded, 100, result_path="/media/insta/123/01.png") → NAS DB update
|
||||
4. 사용자 폴링
|
||||
GET /api/insta/tasks/t-abc → {status: "succeeded", result_path: "/media/insta/123/01.png"}
|
||||
브라우저에서 <img src="/media/insta/123/01.png" /> 렌더
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 12. Out of Scope
|
||||
|
||||
- V1/V2 재시작 결정 (사용자 보류, 두 process 정지 유지)
|
||||
- NAS 하드웨어 업그레이드 (#12 보류)
|
||||
- 컨테이너 리소스 제한 cpus 0.5 (#11 박재오 진행 금지)
|
||||
- SSE/WS push 모델 (YAGNI, 폴링 유지)
|
||||
- Grafana 모니터링 (NAS 자산 활용 옵션, 향후)
|
||||
|
||||
## 13. 위험 요소
|
||||
|
||||
| 위험 | 완화 |
|
||||
|------|------|
|
||||
| Windows 재부팅 시 worker 중단 | NSSM AppStartup AUTO + WSL2 자동 시작 (SP-9) |
|
||||
| Windows ↔ NAS 네트워크 단절 | task가 큐에 남음, NAS 측 timeout 처리 (예: 30분 timeout → failed) |
|
||||
| 박재오 게임·작업 중 worker 충돌 | task-watcher queue:paused (SP-10) + NORMAL priority |
|
||||
| Suno API rate limit | music-render 내부에서 retry + 큐 직렬 처리 |
|
||||
| SMB 마운트 실패 | WSL2 부팅 시 `mount -a`, 실패 시 alarm (로그) |
|
||||
| Redis 다운 | docker restart unless-stopped + healthcheck. 다운 시 모든 worker idle (NAS는 응답 계속) |
|
||||
| 키 노출 | 3-layer 차단 (IP 화이트리스트 + nginx + X-Internal-Key) |
|
||||
|
||||
## 14. 첫 plan 작성 대상
|
||||
|
||||
**옵션 A — Track A만 (사용자 선택 확정)**:
|
||||
- SP-A1: web-ai 캐시 TTL 증가 (10분)
|
||||
- SP-A2: NAS stock TTLCache (30분)
|
||||
|
||||
이 plan은 즉시 NAS CPU 70% 감소 효과 (V2 재시작 시). Track B는 별도 spec/plan으로 차후 진행.
|
||||
|
||||
차후 plan 작성 순서 권장:
|
||||
1. **Plan-A (이번)** — SP-A1 + SP-A2
|
||||
2. **Plan-B-Base** — SP-1 + SP-2
|
||||
3. **Plan-B-Insta** — SP-3 + SP-4 (1순위 패턴 정착)
|
||||
4. **Plan-B-Music** — SP-5 + SP-6
|
||||
5. **Plan-B-Video** — SP-7 + SP-8
|
||||
6. **Plan-B-Infra** — SP-9 + SP-10
|
||||
|
||||
## 15. 참고
|
||||
|
||||
- 박재오 7결정 통합: `Obsidian Vault/raw/2026-05-18-Windows-NAS-아키텍처-7결정-통합.md`
|
||||
- API 부하 해결: `Obsidian Vault/raw/2026-05-18-NAS-Window-AI-API-부하-해결방안.md`
|
||||
- 역할 분담 최적화: `Obsidian Vault/raw/2026-05-18-NAS-Windows-역할-분담-최적화.md`
|
||||
- web-backend CHECK_POINT.md (즉시·중기·장기 + 7결정 매핑)
|
||||
- web-ai CHECK_POINT.md (Phase 진행도)
|
||||
- 기존 인증 패턴: 메모리 `reference_webai_auth_pattern.md`
|
||||
301
docs/superpowers/specs/2026-05-20-lotto-active-agent-design.md
Normal file
@@ -0,0 +1,301 @@
|
||||
# LottoAgent 능동성 확장 설계
|
||||
|
||||
- **상태**: Draft (사용자 리뷰 대기)
|
||||
- **작성일**: 2026-05-20
|
||||
- **대상 컨테이너**: agent-office
|
||||
- **영향 외부 도메인**: lotto-lab (read-only API 소비만)
|
||||
|
||||
---
|
||||
|
||||
## 1. 문제 정의
|
||||
|
||||
현재 LottoAgent는 매주 월요일 09:05 cron으로 무조건 큐레이션을 1회 실행하고 헤드라인을 텔레그램으로 푸시한다. "결과가 좋지 않은 회차"도 동일하게 발화되며, **정량적 시그널이 평소보다 강할 때 별도로 알리는 능동성**이 없다.
|
||||
|
||||
사용자 의도: 통계·시뮬레이션·전략 가중치를 에이전트가 스스로 모니터링하다가 "좋은 수치"가 나오면 능동적으로 보고하는 패턴.
|
||||
|
||||
## 2. 의사결정 요약
|
||||
|
||||
| 결정 사항 | 선택 | 비고 |
|
||||
|---|---|---|
|
||||
| 분석 주기 | 다중 트리거 혼합 | 매일 정기 + 시뮬레이션 후 + 회차 후 |
|
||||
| 시그널 종류 | 3종 — Sim Consensus / Strategy Drift / Confidence | Hot/Cold 변화는 제외 (노이즈) |
|
||||
| 알림 정책 | 일일 요약 + 긴급 즉시 | 2개 동시 발화 OR 단일 z≥2.5 → 긴급 |
|
||||
| 임계치 전략 | 적응형 (최근 8회 μ + σ) | warmup·보수적 단계 포함 |
|
||||
| 시뮬 강도 조절 (Layer B) | v1 미포함 | 운영 검증 후 v2에서 도입 검토 |
|
||||
|
||||
## 3. 아키텍처
|
||||
|
||||
### 3.1 컴포넌트 다이어그램
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ agent-office │
|
||||
│ │
|
||||
│ cron (scheduler.py) │
|
||||
│ ├─ lotto_light_check 매일 09:15 │
|
||||
│ ├─ lotto_sim_check 4시간마다 :15 │
|
||||
│ ├─ lotto_deep_check 일/수 21:15 │
|
||||
│ ├─ lotto_daily_digest 매일 09:25 │
|
||||
│ └─ lotto_curate 월요일 09:05 (기존 유지) │
|
||||
│ ↓ │
|
||||
│ curator/signals.py (신규) │
|
||||
│ ├─ evaluate_sim_consensus() ← lotto_best API │
|
||||
│ ├─ evaluate_strategy_drift() ← strategy/weights API │
|
||||
│ ├─ evaluate_confidence() ← deep_check 시 큐레이션 결과 │
|
||||
│ └─ adaptive_baseline() ← μ, σ 갱신 │
|
||||
│ ↓ │
|
||||
│ agent_office.db │
|
||||
│ ├─ lotto_signals (이벤트 이력) │
|
||||
│ └─ lotto_baselines (롤링 8회 윈도우) │
|
||||
│ ↓ │
|
||||
│ notifiers/telegram_lotto.py │
|
||||
│ ├─ send_urgent_signal() ← 긴급 │
|
||||
│ └─ send_signal_summary() ← 일일 요약 │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
↑ (HTTP GET, 기존 lotto-lab API 재사용, 변경 없음)
|
||||
│
|
||||
lotto:8000
|
||||
├─ /api/lotto/best
|
||||
├─ /api/lotto/strategy/weights
|
||||
└─ /api/lotto/curator/*
|
||||
```
|
||||
|
||||
### 3.2 책임 경계
|
||||
|
||||
- **lotto-lab**: 변경 없음. 기존 GET API만 소비.
|
||||
- **agent-office**: 능동 모니터링 layer 전부 담당. DB도 `agent_office.db` 안에 분리해서 lotto.db와 결합 없음.
|
||||
- **프론트엔드**: Phase 4 별도 (web-ui repo). 본 spec 범위 밖.
|
||||
|
||||
## 4. 시그널 평가 로직
|
||||
|
||||
### 4.1 Sim Consensus Score
|
||||
|
||||
```
|
||||
best_picks 20개의 점수 5종 (s1..s5) 사용
|
||||
|
||||
normalize(s_k) = (s_k - min_k) / (max_k - min_k) per metric across 20 picks
|
||||
consensus_i = geomean( normalize(s1_i), ..., normalize(s5_i) )
|
||||
sim_signal = mean( sorted(consensus_i, desc)[:10] )
|
||||
```
|
||||
|
||||
- 기하평균: 5종 점수가 **동시에** 높을 때만 강한 시그널. 단일 폭주는 감쇠.
|
||||
- top-10 평균: 전체 20개 분포에서 강한 후보군의 농도 측정.
|
||||
|
||||
### 4.2 Strategy Drift Score
|
||||
|
||||
```
|
||||
drift_t = Σ | w_strategy_t - w_strategy_{t-1} | for each strategy in strategy_weights
|
||||
```
|
||||
|
||||
- 회차 단위로 비교. 한 전략이 EMA로 큰 폭 이동했을 때 누적값이 큼.
|
||||
- 시스템이 "지난 회차에서 의미 있게 학습한" 시그널.
|
||||
|
||||
### 4.3 Confidence Score
|
||||
|
||||
`curator.pipeline.curate_weekly()` 반환의 `validated.confidence` (0~1) 그대로.
|
||||
- light_check / sim_check: N/A (LLM 호출 없음)
|
||||
- deep_check: 직전 큐레이션 confidence를 baseline 윈도우에 push
|
||||
|
||||
### 4.4 Adaptive Baseline
|
||||
|
||||
```
|
||||
lotto_baselines.window_values = [v_{t-7}, v_{t-6}, ..., v_t] (FIFO 8)
|
||||
mu = mean(window_values)
|
||||
sigma = stddev(window_values, ddof=1)
|
||||
z_now = (v_now - mu) / sigma
|
||||
```
|
||||
|
||||
- **Cold start**: window 크기 < 4 → fire_level='warmup', 발화 X
|
||||
- **준비 단계**: window 4~7 → 임계치 z=2.0 (false positive 줄임)
|
||||
- **정상 운영**: window 8 풀 → z_normal=1.5, z_urgent=2.5
|
||||
|
||||
### 4.5 Trigger × Metric 매트릭스
|
||||
|
||||
| Trigger | Sim Consensus | Strategy Drift | Confidence |
|
||||
|---|---|---|---|
|
||||
| `light_check` (매일 09:15) | ✓ 평가 | ✓ 회차 변경 시만 | — |
|
||||
| `sim_check` (4h마다) | ✓ 평가 | ✓ 회차 변경 시만 | — |
|
||||
| `deep_check` (일/수 21:15) | ✓ 평가 | ✓ 회차 변경 시만 | ✓ (큐레이션 후) |
|
||||
| `lotto_curate` (월 09:05) | — | — | ✓ 큐레이션 결과 직접 push |
|
||||
|
||||
**회차 변경 가드**: Strategy Drift / Confidence는 **회차 단위 메트릭**. baseline 윈도우에 push할 때 `last_pushed_draw_no`를 비교, 동일 회차면 skip. 같은 회차 내에서 값 비교는 가능하지만 baseline 갱신은 회차당 1회만.
|
||||
|
||||
```
|
||||
if metric in ('drift', 'confidence'):
|
||||
if current_draw_no == baselines[metric].last_pushed_draw_no:
|
||||
# baseline 윈도우는 그대로, z-score만 현재값으로 비교
|
||||
skip_window_update = True
|
||||
```
|
||||
|
||||
Sim Consensus는 회차 무관 (4시간마다 시뮬 자체가 갱신) → 매 평가 시 window push.
|
||||
|
||||
### 4.6 Fire 결정
|
||||
|
||||
```
|
||||
fires = [m for m in [sim, drift, conf] if m.z >= LOTTO_Z_NORMAL]
|
||||
if len(fires) >= 2 or any(m.z >= LOTTO_Z_URGENT for m in fires):
|
||||
fire_level = 'urgent'
|
||||
elif len(fires) == 1:
|
||||
fire_level = 'normal'
|
||||
else:
|
||||
fire_level = 'noop'
|
||||
```
|
||||
|
||||
## 5. 알림 흐름
|
||||
|
||||
### 5.1 트리거→발송 다이어그램
|
||||
|
||||
```
|
||||
cron / signal_check
|
||||
↓
|
||||
signals.evaluate_all()
|
||||
↓
|
||||
lotto_signals INSERT (all results)
|
||||
↓
|
||||
fire_level == 'urgent' → send_urgent_signal() → 텔레그램 즉시
|
||||
fire_level == 'normal' → 09:25 digest 합류
|
||||
fire_level == 'noop' → 기록만
|
||||
```
|
||||
|
||||
### 5.2 텔레그램 메시지 폼
|
||||
|
||||
**Urgent**:
|
||||
```
|
||||
🚨 로또 능동 신호
|
||||
|
||||
[2026-05-20 16:18]
|
||||
강한 시그널 2종 동시 발화:
|
||||
• Sim Consensus 1.84 (μ=1.02, σ=0.21) z=3.9
|
||||
• Strategy Drift 0.18 (μ=0.06, σ=0.04) z=3.0
|
||||
|
||||
요인: gap_focus 전략이 지난 3회차 EMA +22%p
|
||||
다음 시뮬: 20:05
|
||||
|
||||
[자세히 보기] (→ /lotto/agent)
|
||||
```
|
||||
|
||||
**Daily digest** (09:25):
|
||||
```
|
||||
📊 로또 일일 요약 (지난 24h)
|
||||
|
||||
평가 6회 / 발화 2회
|
||||
• Sim Consensus normal z=1.7 (16:18)
|
||||
• Confidence normal z=1.6 (월 09:05)
|
||||
|
||||
전략 가중치 추세 (최근 8회 baseline):
|
||||
gap_focus ↑ +12%
|
||||
hot_focus → -2%
|
||||
pair_bias ↓ -8%
|
||||
```
|
||||
|
||||
- 24h 내 발화 0건이면 digest 자체 skip (조용한 날 강제 알림 없음).
|
||||
|
||||
### 5.3 Throttle 규칙
|
||||
|
||||
| 규칙 | 동작 |
|
||||
|---|---|
|
||||
| 같은 metric + 같은 fire_level이 6시간 이내 재발화 | 두 번째는 DB 기록만, 텔레그램 skip |
|
||||
| urgent 누적 ≥ 3통/day | 4번째부터 normal로 강등 → digest 합류 |
|
||||
| digest 24h 발화 0건 | digest skip |
|
||||
| Anthropic / 텔레그램 실패 | 평가는 success로 기록, 메시지만 60초 후 1회 retry |
|
||||
|
||||
## 6. 데이터 모델
|
||||
|
||||
### 6.1 lotto_signals
|
||||
|
||||
```sql
|
||||
CREATE TABLE IF NOT EXISTS lotto_signals (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
triggered_at TEXT NOT NULL, -- ISO8601 UTC
|
||||
source TEXT NOT NULL, -- 'light' | 'sim' | 'deep'
|
||||
metric TEXT NOT NULL, -- 'sim_signal' | 'drift' | 'confidence'
|
||||
value REAL NOT NULL,
|
||||
baseline_mu REAL,
|
||||
baseline_sigma REAL,
|
||||
z_score REAL,
|
||||
fire_level TEXT NOT NULL, -- 'noop' | 'warmup' | 'normal' | 'urgent'
|
||||
notified_at TEXT, -- 텔레그램 발송 시각 (NULL=미발송)
|
||||
payload TEXT -- JSON 부가 정보
|
||||
);
|
||||
CREATE INDEX idx_ls_triggered ON lotto_signals(triggered_at DESC);
|
||||
CREATE INDEX idx_ls_fire ON lotto_signals(fire_level, notified_at);
|
||||
```
|
||||
|
||||
### 6.2 lotto_baselines
|
||||
|
||||
```sql
|
||||
CREATE TABLE IF NOT EXISTS lotto_baselines (
|
||||
metric TEXT PRIMARY KEY,
|
||||
window_values TEXT NOT NULL, -- JSON: [v1..v8]
|
||||
mu REAL NOT NULL,
|
||||
sigma REAL NOT NULL,
|
||||
last_pushed_draw_no INTEGER, -- 회차 단위 메트릭의 중복 push 방지 (drift, confidence)
|
||||
updated_at TEXT NOT NULL
|
||||
);
|
||||
```
|
||||
|
||||
마이그레이션: `agent-office/app/db.py`의 `init_db()`에 `CREATE TABLE IF NOT EXISTS` 추가만으로 idempotent. 기존 테이블 영향 없음.
|
||||
|
||||
## 7. API 추가
|
||||
|
||||
| 메서드 | 경로 | 설명 |
|
||||
|---|---|---|
|
||||
| GET | `/api/agent-office/lotto/signals?days=7` | 시그널 이력 (timeline, 차트용) |
|
||||
| GET | `/api/agent-office/lotto/baselines` | 현재 baseline μ/σ 조회 |
|
||||
| POST | `/api/agent-office/lotto/signal-check` | 수동 트리거 (디버깅·테스트용) |
|
||||
|
||||
## 8. 환경 변수
|
||||
|
||||
```bash
|
||||
LOTTO_SIGNAL_WINDOW=8 # baseline 윈도우 크기
|
||||
LOTTO_Z_NORMAL=1.5 # normal fire 임계치
|
||||
LOTTO_Z_URGENT=2.5 # urgent fire 임계치
|
||||
LOTTO_DIGEST_HOUR=9 # digest cron hour (KST)
|
||||
LOTTO_DIGEST_MIN=25
|
||||
LOTTO_THROTTLE_HOURS=6 # 같은 메트릭 재발화 throttle
|
||||
LOTTO_URGENT_DAILY_MAX=3 # urgent 하루 cap
|
||||
```
|
||||
|
||||
모두 default 있음. `.env` 미설정 시 default로 동작.
|
||||
|
||||
## 9. 스케줄러 cron
|
||||
|
||||
```python
|
||||
scheduler.add_job(lotto_light_check, "cron", hour=9, minute=15, id="lotto_light_check")
|
||||
scheduler.add_job(lotto_sim_check, "cron", minute=15, hour="0,4,8,12,16,20", id="lotto_sim_check")
|
||||
scheduler.add_job(lotto_deep_check, "cron", day_of_week="sun,wed", hour=21, minute=15, id="lotto_deep_check")
|
||||
scheduler.add_job(lotto_daily_digest, "cron", hour=9, minute=25, id="lotto_digest")
|
||||
# 기존: lotto_curate (월 09:05) 유지
|
||||
```
|
||||
|
||||
## 10. 구현 Phase
|
||||
|
||||
| Phase | 범위 | 검증 |
|
||||
|---|---|---|
|
||||
| 1 | DB 마이그레이션 + `signals.py` (순수 함수, LLM X) | `POST /lotto/signal-check`로 수동 호출 → z-score 계산 확인 |
|
||||
| 2 | cron 4개 + `lotto_signals` INSERT (텔레그램 X) | 24h 가동 → DB에 시그널 누적 |
|
||||
| 3 | 텔레그램 urgent / digest + throttle | dry-run env로 메시지 검증 후 실제 발송 |
|
||||
| 4 | 프론트 (web-ui) — `/lotto/agent` 시그널 timeline UI | 별도 PR (본 spec 범위 외) |
|
||||
|
||||
Phase 1~3이 백엔드 능동성 완성. 각 Phase 끝에 commit + 자동 배포.
|
||||
|
||||
## 11. 비기능 요구
|
||||
|
||||
- **백워드 호환**: 기존 월요일 큐레이션 cron 변경 없음
|
||||
- **장애 격리**: signals 평가 실패해도 LottoAgent.state는 idle 유지 (try/except + add_log warning)
|
||||
- **테스트**: `signals.py`의 메트릭 함수는 input/output 순수형 → 단위 테스트 작성 가능
|
||||
- **관측**: `agent_logs` 테이블 그대로 활용 (별도 로깅 추가 없음)
|
||||
|
||||
## 12. 비목표 (Out of scope)
|
||||
|
||||
- 자동 구매·자동 픽 갱신 (보고만)
|
||||
- 시뮬레이션 강도 자동 조절 (Layer B는 v2)
|
||||
- 텔레그램 인라인 키보드 (v2에서 자동 액션 도입 시 함께)
|
||||
- 핫넘버/콜드넘버 시그널 (노이즈 위험, v1 제외)
|
||||
- 프론트 UI (별도 PR)
|
||||
|
||||
## 13. v2 후속 검토
|
||||
|
||||
- Layer B 시뮬 강도 조절 (모호 시그널 시 deep_simulate)
|
||||
- 사용자 피드백 루프 (텔레그램 [좋아요/별로] 버튼 → 임계치 가중 조정)
|
||||
- 회차 retrospective 자동 분석 (당첨번호 vs 추천번호 패턴 학습)
|
||||
419
docs/superpowers/specs/2026-05-22-lotto-weight-evolver-design.md
Normal file
@@ -0,0 +1,419 @@
|
||||
# Lotto Weight Evolver — 자율 학습 루프 설계 (v2)
|
||||
|
||||
- **상태**: Draft (사용자 리뷰 대기)
|
||||
- **작성일**: 2026-05-22
|
||||
- **대상 컨테이너**: lotto (lotto-lab) + agent-office (텔레그램 보고)
|
||||
- **선행 작업**: v1 LottoAgent 능동성 확장 (2026-05-20 배포)
|
||||
- **목표**: 5종 시뮬 점수 가중치를 매주 6가지로 변형 시도 → 토요일 회고 → winner 가중치를 다음 주 base로 적용 → 무한 반복 자가 학습 루프
|
||||
|
||||
---
|
||||
|
||||
## 1. 문제 정의
|
||||
|
||||
현재 `analyzer.score_combination()`은 5종 점수(`score_frequency`, `score_fingerprint`, `score_gap`, `score_cooccur`, `score_diversity`)를 **균등 합산**으로 `score_total`을 계산한다. 어떤 메트릭이 실제 추첨 결과와 더 잘 상관되는지에 대한 학습 없이 가중치가 고정.
|
||||
|
||||
또한 `purchase_history` 기반 `strategy_evolver`는 **사용자가 실제 구매한 번호만** 학습 시그널로 사용. 사람이 안 사면 학습 안 됨.
|
||||
|
||||
사용자 요구: 에이전트가 사람 없이도 **매일 다른 가중치로 시뮬레이션 → 번호 시도 → 토요일 추첨 후 best 가중치 식별 → 다음주 base 갱신**의 무한 학습 루프.
|
||||
|
||||
## 2. 의사결정 요약
|
||||
|
||||
| 결정 사항 | 선택 | 비고 |
|
||||
|---|---|---|
|
||||
| 학습 대상 | 시뮬 점수 5종 가중치 (`W = [w_freq, w_finger, w_gap, w_cooccur, w_diversity]`) | 메타 전략 가중치는 strategy_evolver가 별도 학습 (v2에서 손대지 않음) |
|
||||
| 탐험 전략 | 현재 base 주변 4개 perturbation + Dirichlet 무작위 2개 | 매주 월요일 6개 후보 |
|
||||
| 일일 시도량 | N = 5 세트/일 × 6일 = 30 세트/주 | 통계적 의미 + 비용 균형 |
|
||||
| 평가 시그널 | strategy_evolver의 `RANK_BONUS` + `correct/6` | 기존 패턴 재사용으로 일관성 |
|
||||
| Base 적용 강도 | Hybrid — winner_max_correct ≥ 4면 교체, =3이면 EMA blend (0.3), ≤2면 유지 | 노이즈에 base가 헤매지 않도록 보호 |
|
||||
| v1과의 결합 | W가 `analyzer.score_combination`에 반영 → best_picks 점수 자동 영향 → v1 시그널 자동 cascade | 별도 통합 코드 없음 |
|
||||
| strategy_evolver와의 상호작용 | strategy_evolver는 `score_total`을 그대로 입력으로 사용 → W 변경 시 입력 분포가 함께 변함. **의도된 간접 영향** | v3에서 메타 가중치도 함께 학습할 때 명시적으로 분리 검토 |
|
||||
| 자동 구매 | v2 비포함 | 사람 결정 영역 — purchase_history는 사람이 등록 |
|
||||
|
||||
## 3. 아키텍처
|
||||
|
||||
### 3.1 컴포넌트 다이어그램
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ lotto-lab (자율 학습 루프 추가) │
|
||||
│ │
|
||||
│ ┌─────────────────────────────────────────────────────┐ │
|
||||
│ │ weight_evolver.py (신규) │ │
|
||||
│ │ • generate_weekly_candidates() ← 월 09:00 │ │
|
||||
│ │ • apply_today_weight() ← 매일 09:00 │ │
|
||||
│ │ • evaluate_weekly() ← 토 22:00 │ │
|
||||
│ │ • update_base() ← evaluate 안에서 │ │
|
||||
│ └─────────────────────────────────────────────────────┘ │
|
||||
│ ↓ │
|
||||
│ ┌─────────────────────────────────────────────────────┐ │
|
||||
│ │ analyzer.score_combination(numbers, cache, │ │
|
||||
│ │ weights=None) 확장 │ │
|
||||
│ │ • weights=None → 균등 합산 (기존 호환) │ │
|
||||
│ │ • weights=[..] → 가중 합산 │ │
|
||||
│ └─────────────────────────────────────────────────────┘ │
|
||||
│ ↓ │
|
||||
│ lotto.db 신규 테이블 3개 │
|
||||
│ • weight_trials (주별 6일치 후보 가중치) │
|
||||
│ • auto_picks (매일 N=5 시도 번호 + 채점 결과) │
|
||||
│ • weight_base_history (base 변경 이력) │
|
||||
│ │
|
||||
│ 기존 시뮬 cron (00/04/08/12/16/20:05) — 변경 없음. │
|
||||
│ 단 best_picks 재계산 시 활성 W를 읽어 적용. │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
↓ (HTTP)
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ agent-office │
|
||||
│ │
|
||||
│ cron 신규 1종: lotto_evolution_weekly (토 22:15) │
|
||||
│ LottoAgent.run_weekly_evolution_report() (신규) │
|
||||
│ notifiers/telegram_lotto.send_evolution_report() (신규) │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
### 3.2 책임 경계
|
||||
|
||||
- **lotto-lab**: 가중치 생성·적용·평가·base 갱신 + DB CRUD + API. 시그널/알림 책임 없음.
|
||||
- **agent-office**: 토요일 22:15 lotto-lab API 폴링 → 텔레그램 보고 1통.
|
||||
- **v1 (signals layer)**: 변경 없음. W 변경의 효과는 best_picks 분포 변화로 자동 흡수.
|
||||
- **strategy_evolver (메타 가중치 5종)**: 그대로 둠.
|
||||
|
||||
## 4. 가중치 진화 알고리즘
|
||||
|
||||
### 4.1 Weight Vector
|
||||
|
||||
```
|
||||
W = [w_freq, w_finger, w_gap, w_cooccur, w_diversity]
|
||||
제약: w_i ≥ 0.05, sum(W) = 1.0
|
||||
```
|
||||
|
||||
(MIN_WEIGHT=0.05는 한 메트릭이 죽지 않도록 보호. strategy_evolver의 MIN_WEIGHT 패턴.)
|
||||
|
||||
### 4.2 주간 6개 후보 생성
|
||||
|
||||
`generate_weekly_candidates()` — 매주 월요일 09:00 KST.
|
||||
|
||||
```python
|
||||
W_base = get_current_base() # weight_base_history 최신 row, 없으면 [0.2]*5
|
||||
|
||||
# 4개 Local Perturbation
|
||||
for i in range(4):
|
||||
noise = np.random.normal(0, 0.05, size=5)
|
||||
W_i = W_base + noise
|
||||
W_i = clamp(W_i, min=0.05)
|
||||
W_i = W_i / W_i.sum()
|
||||
save_trial(week_start, day=i, W_i, source='perturb', base=W_base)
|
||||
|
||||
# 2개 Dirichlet 탐험
|
||||
for i in range(4, 6):
|
||||
W_i = np.random.dirichlet([2.0]*5)
|
||||
W_i = clamp(W_i, min=0.05)
|
||||
W_i = W_i / W_i.sum()
|
||||
save_trial(week_start, day=i, W_i, source='dirichlet', base=W_base)
|
||||
```
|
||||
|
||||
- `σ=0.05` 정규분포: 각 메트릭 ±10%p 안쪽 변동
|
||||
- `α=2.0` Dirichlet: 균등 분포에 약간 치우치게, 극단 가중치도 포함
|
||||
|
||||
### 4.3 일일 W 적용
|
||||
|
||||
`apply_today_weight()` — 매일 09:00 KST.
|
||||
|
||||
```python
|
||||
W_today = get_trial(week_start, day_of_week=today)
|
||||
set_active_weight(W_today) # 메모리 캐시 or DB row (W_active 테이블 또는 file)
|
||||
generate_n_picks(N=5, weight=W_today) # auto_picks에 5세트 저장
|
||||
```
|
||||
|
||||
같은 W로 그날 기존 시뮬 cron (4시간마다 6회) best_picks 재계산.
|
||||
|
||||
### 4.4 토요일 회고
|
||||
|
||||
`evaluate_weekly()` — 매주 토요일 22:00 KST (추첨 20:35 KST + sync 21:10 → 22:00 안전).
|
||||
|
||||
```python
|
||||
winning_numbers = get_latest_draw().numbers # 1224, 1225, ...
|
||||
trials = get_trials(week_start) # 6 trials
|
||||
|
||||
scores_per_day = []
|
||||
for trial in trials:
|
||||
picks = get_auto_picks(trial.id) # N=5
|
||||
day_score = mean(
|
||||
calc_pick_score(p.numbers, winning_numbers) for p in picks
|
||||
)
|
||||
max_correct = max(
|
||||
count_match(p.numbers, winning_numbers) for p in picks
|
||||
)
|
||||
update_pick_grades(picks, winning_numbers) # auto_picks 채점 결과 저장
|
||||
scores_per_day.append({
|
||||
"trial_id": trial.id,
|
||||
"day": trial.day_of_week,
|
||||
"weight": trial.weight,
|
||||
"score": day_score,
|
||||
"max_correct": max_correct,
|
||||
})
|
||||
|
||||
winner = max(scores_per_day, key=lambda s: s.score)
|
||||
update_base(winner)
|
||||
```
|
||||
|
||||
**점수 함수** (strategy_evolver `calc_draw_score` 패턴, 단순화):
|
||||
|
||||
v2에서는 보너스 번호를 평가에 포함하지 않음 → 5개 일치를 2등/3등으로 구분 불가. 따라서 보너스 무시한 단순 매핑:
|
||||
|
||||
```python
|
||||
# correct → rank 매핑 (보너스 제외)
|
||||
RANK_BY_CORRECT = {
|
||||
6: 1, # 1등
|
||||
5: 3, # 3등 (보너스 평가 안 함 → 2등 표시 X)
|
||||
4: 4,
|
||||
3: 5,
|
||||
}
|
||||
RANK_BONUS = {1: 1.0, 2: 0.8, 3: 0.6, 4: 0.3, 5: 0.1}
|
||||
|
||||
def calc_pick_score(pick_numbers, winning_numbers):
|
||||
correct = count_match(pick_numbers, winning_numbers[:6])
|
||||
base = correct / 6.0
|
||||
rank = RANK_BY_CORRECT.get(correct)
|
||||
bonus = RANK_BONUS.get(rank, 0)
|
||||
return base + bonus
|
||||
```
|
||||
|
||||
(rank=2의 보너스 0.8은 매핑되지 않으므로 v2 점수에 등장하지 않음. v3에서 보너스 번호 평가 도입 시 활성화.)
|
||||
|
||||
### 4.5 Base 갱신 규칙 (Hybrid)
|
||||
|
||||
```python
|
||||
if winner.max_correct >= 4:
|
||||
W_base_next = winner.weight
|
||||
reason = "winner_4plus"
|
||||
elif winner.max_correct == 3:
|
||||
W_base_next = 0.3 * winner.weight + 0.7 * W_base_current
|
||||
reason = "ema_blend"
|
||||
else:
|
||||
W_base_next = W_base_current
|
||||
reason = "unchanged"
|
||||
|
||||
save_to_weight_base_history(W_base_next, reason, winner)
|
||||
```
|
||||
|
||||
성과가 약할 때 base를 그대로 두는 게 핵심 — base가 노이즈에 따라 헤매지 않음.
|
||||
|
||||
### 4.6 Cold start (첫 주)
|
||||
|
||||
`weight_base_history`가 비어있으면 `W_base = [0.2]*5` (균등) 가정. 첫 주는 4 perturbation이 모두 균등 주변, 2 Dirichlet 탐험.
|
||||
|
||||
## 5. 데이터 모델
|
||||
|
||||
### 5.1 weight_trials
|
||||
|
||||
```sql
|
||||
CREATE TABLE IF NOT EXISTS weight_trials (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
week_start TEXT NOT NULL, -- 'YYYY-MM-DD' (해당 주 월요일)
|
||||
day_of_week INTEGER NOT NULL, -- 0=월 .. 5=토
|
||||
weight_json TEXT NOT NULL, -- '[0.18, 0.22, ...]'
|
||||
source TEXT NOT NULL, -- 'perturb' | 'dirichlet'
|
||||
base_at_gen TEXT, -- 생성 시점 W_base (참조용)
|
||||
created_at TEXT NOT NULL DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now')),
|
||||
UNIQUE(week_start, day_of_week)
|
||||
);
|
||||
CREATE INDEX idx_wt_week ON weight_trials(week_start, day_of_week);
|
||||
```
|
||||
|
||||
### 5.2 auto_picks
|
||||
|
||||
```sql
|
||||
CREATE TABLE IF NOT EXISTS auto_picks (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
trial_id INTEGER NOT NULL REFERENCES weight_trials(id) ON DELETE CASCADE,
|
||||
pick_no INTEGER NOT NULL, -- 1..5
|
||||
numbers TEXT NOT NULL, -- JSON 정렬 6개
|
||||
meta_score REAL, -- 활성 W로 계산한 score_total
|
||||
correct INTEGER, -- 채점 후 채워짐
|
||||
rank INTEGER, -- 1..5 또는 NULL
|
||||
graded_at TEXT,
|
||||
created_at TEXT NOT NULL DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now')),
|
||||
UNIQUE(trial_id, pick_no)
|
||||
);
|
||||
CREATE INDEX idx_ap_trial ON auto_picks(trial_id);
|
||||
CREATE INDEX idx_ap_graded ON auto_picks(graded_at);
|
||||
```
|
||||
|
||||
### 5.3 weight_base_history
|
||||
|
||||
```sql
|
||||
CREATE TABLE IF NOT EXISTS weight_base_history (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
effective_from TEXT NOT NULL, -- 'YYYY-MM-DD' (적용 시작 월요일)
|
||||
weight_json TEXT NOT NULL,
|
||||
source_trial_id INTEGER REFERENCES weight_trials(id), -- NULL=cold start
|
||||
update_reason TEXT, -- 'winner_4plus' | 'ema_blend' | 'unchanged' | 'cold_start'
|
||||
winner_score REAL,
|
||||
winner_max_correct INTEGER,
|
||||
created_at TEXT NOT NULL DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now'))
|
||||
);
|
||||
```
|
||||
|
||||
마이그레이션: `lotto/app/db.py`의 `init_db()`에 `CREATE TABLE IF NOT EXISTS` 추가만으로 idempotent. 기존 테이블 영향 없음.
|
||||
|
||||
## 6. analyzer.score_combination 시그니처 확장
|
||||
|
||||
```python
|
||||
# 기존
|
||||
def score_combination(numbers, cache) -> Dict[str, float]:
|
||||
...
|
||||
return {
|
||||
"score_frequency": ...,
|
||||
"score_fingerprint": ...,
|
||||
"score_gap": ...,
|
||||
"score_cooccur": ...,
|
||||
"score_diversity": ...,
|
||||
"score_total": sum(5 scores) # 균등 합산
|
||||
}
|
||||
|
||||
# 변경
|
||||
def score_combination(numbers, cache, weights: Optional[List[float]] = None) -> Dict[str, float]:
|
||||
...
|
||||
scores = [s_freq, s_finger, s_gap, s_cooccur, s_diversity]
|
||||
if weights is None:
|
||||
total = sum(scores)
|
||||
else:
|
||||
total = sum(s * w for s, w in zip(scores, weights))
|
||||
return {
|
||||
"score_frequency": ...,
|
||||
...
|
||||
"score_total": total
|
||||
}
|
||||
```
|
||||
|
||||
- 기본값 None → 기존 호출 호환 (변경 없는 효과)
|
||||
- 시뮬 cron / smart_recommendation 등은 `get_active_weight()` 결과 전달
|
||||
- 활성 W가 없으면 (cold start 이전) None 그대로 → 균등 합산 폴백
|
||||
|
||||
### 6.1 활성 W 조회 (`get_active_weight()`)
|
||||
|
||||
별도 캐시 테이블 없이 `weight_trials`에서 오늘 요일 row 직접 조회:
|
||||
|
||||
```python
|
||||
def get_active_weight() -> Optional[List[float]]:
|
||||
today = datetime.now(KST).date()
|
||||
week_start = today - timedelta(days=today.weekday()) # 이번주 월요일
|
||||
day_of_week = today.weekday() # 0=월, 6=일
|
||||
if day_of_week == 6: # 일요일은 trial 없음 → 직전 토요일 W 유지
|
||||
day_of_week = 5
|
||||
row = db.get_weight_trial(week_start.isoformat(), day_of_week)
|
||||
return json.loads(row["weight_json"]) if row else None
|
||||
```
|
||||
|
||||
- 컨테이너 재시작·timezone 변화에 영향 없음 (DB 진실 기준)
|
||||
- 일요일(6)은 토요일 W를 그대로 사용 (회고 cron 22:00 전까지)
|
||||
- 첫 주 월요일 generate가 안 끝났을 때만 None 반환 → 균등 폴백
|
||||
|
||||
## 7. API 추가 (lotto-lab)
|
||||
|
||||
| 메서드 | 경로 | 설명 |
|
||||
|---|---|---|
|
||||
| GET | `/api/lotto/evolver/status` | 현재 base + 이번주 6 trials + 진행 상황 |
|
||||
| GET | `/api/lotto/evolver/history?weeks=12` | 주별 winner + base 변경 이력 |
|
||||
| GET | `/api/lotto/evolver/trials/{week_start}` | 특정 주 trials + 채점 결과 |
|
||||
| POST | `/api/lotto/evolver/generate-now` | 수동 트리거 (다음 월요일 후보 생성) |
|
||||
| POST | `/api/lotto/evolver/evaluate-now` | 수동 채점 (디버그) |
|
||||
|
||||
## 8. 스케줄러 cron (lotto-lab)
|
||||
|
||||
```python
|
||||
scheduler.add_job(generate_weekly_candidates, "cron", day_of_week="mon", hour=9, minute=0, id="weight_evolver_weekly")
|
||||
scheduler.add_job(apply_today_weight, "cron", hour=9, minute=0, id="weight_evolver_daily")
|
||||
scheduler.add_job(evaluate_weekly, "cron", day_of_week="sat", hour=22, minute=0, id="weight_evolver_eval")
|
||||
```
|
||||
|
||||
순서 보장: 월요일 09:00에 generate가 먼저 row 저장 후 commit, 그 다음 같은 시각 apply가 그 row 읽음. APScheduler가 동일 시간 job 직렬 실행 보장하지 않으므로 **월요일에 generate 함수 마지막에 inline으로 apply_today_weight 호출** — race 제거.
|
||||
|
||||
## 9. agent-office 통합 (텔레그램 주간 보고)
|
||||
|
||||
### 9.1 cron 추가
|
||||
|
||||
```python
|
||||
scheduler.add_job(_run_lotto_weekly_evolution_report, "cron", day_of_week="sat", hour=22, minute=15, id="lotto_evolution_weekly")
|
||||
```
|
||||
|
||||
### 9.2 LottoAgent.run_weekly_evolution_report (신규)
|
||||
|
||||
```python
|
||||
async def run_weekly_evolution_report(self) -> dict:
|
||||
from ..service_proxy import lotto_evolver_status
|
||||
from ..notifiers.telegram_lotto import send_evolution_report
|
||||
status = await lotto_evolver_status()
|
||||
await send_evolution_report(status)
|
||||
return {"ok": True, **status}
|
||||
```
|
||||
|
||||
### 9.3 텔레그램 메시지 폼
|
||||
|
||||
```
|
||||
🧬 로또 학습 주간 리포트 (1225회차)
|
||||
|
||||
이번주 시도: 6일 × 5세트 = 30번
|
||||
|
||||
🏆 Winner: 목요일 (W_4)
|
||||
W = [freq 0.18, finger 0.32, gap 0.20, cooccur 0.22, divers 0.08]
|
||||
최고 적중: 4개 일치 (1세트)
|
||||
평균 점수: 0.42 (vs 다른 요일 0.18~0.30)
|
||||
|
||||
📊 다음주 base 변경:
|
||||
freq 0.20 → 0.18 (-)
|
||||
finger 0.20 → 0.32 (+)
|
||||
gap 0.20 → 0.20 (=)
|
||||
cooccur 0.20 → 0.22 (+)
|
||||
divers 0.20 → 0.08 (--)
|
||||
reason: winner_4plus (4개 이상 일치 → base 교체)
|
||||
|
||||
[웹에서 차트 보기] (/lotto/evolver)
|
||||
```
|
||||
|
||||
## 10. v1 시그널과의 연동 (자동 cascade)
|
||||
|
||||
별도 코드 추가 없음. 활성 W가 `analyzer.score_combination`에 반영되면:
|
||||
1. 매 4시간 시뮬 cron이 새 W로 best_picks 갱신
|
||||
2. score 분포 자체가 변하므로 v1의 `sim_consensus_score`가 자동으로 새 분포 평가
|
||||
3. W 변경 직후 outlier 패턴이 나오면 자연스럽게 sim_signal urgent fire
|
||||
|
||||
→ 사용자는 두 종류 텔레그램 받음:
|
||||
- **🧬 토 22:15 weekly evolution report** (정해진 리듬)
|
||||
- **🚨 평시 v1 urgent / 📊 v1 digest** (시그널 기반)
|
||||
|
||||
## 11. 구현 Phase
|
||||
|
||||
| Phase | 범위 | 검증 |
|
||||
|---|---|---|
|
||||
| 1 | DB 마이그레이션 + `weight_evolver.py` (순수 함수: generate/evaluate + 점수 함수) + 단위 테스트 | pytest로 perturbation·Dirichlet·점수·base 갱신 룰 검증 |
|
||||
| 2 | analyzer.score_combination 시그니처 확장 + active weight 캐시 | 기존 시뮬 cron이 새 시그니처로 정상 동작 (regression X) |
|
||||
| 3 | cron 3종 등록 + API 5종 | 수동 트리거로 generate→apply→evaluate 전체 흐름 확인 |
|
||||
| 4 | agent-office 통합 (cron + 텔레그램 폼 + 테스트) | 토요일 22:15 자동 발송 확인 |
|
||||
|
||||
각 Phase 끝 commit + 자동 배포.
|
||||
|
||||
## 12. 비기능 요구
|
||||
|
||||
- **백워드 호환**: `analyzer.score_combination` 기본값 None → 기존 호출 그대로 작동
|
||||
- **장애 격리**: 가중치 적용 실패 시 균등 합산 폴백, evaluate 실패해도 다음 주 base는 직전 값 유지
|
||||
- **테스트**:
|
||||
- `weight_evolver` 순수 함수 (clamp, normalize, perturbation, base update rule) — 단위 테스트
|
||||
- `analyzer.score_combination(weights=...)` — 가중 합산 정확성 테스트
|
||||
- `evaluate_weekly` mock 추첨번호 시나리오 — base 갱신 분기 3가지 (winner_4plus / ema_blend / unchanged)
|
||||
- **관측**: `weight_base_history` 테이블로 모든 base 변경 추적 가능 (rollback도 가능)
|
||||
|
||||
## 13. 비목표 (Out of scope)
|
||||
|
||||
- 메타 전략(combined/simulation/heatmap/manual/custom) 가중치 학습 — strategy_evolver 영역, v3 후속
|
||||
- 6일 trials의 day-transition에서 이전 W로 계산된 best_picks를 새 W로 재계산하는 처리 — 다음 시뮬 cron에서 자동 덮어씀
|
||||
- Multi-objective 학습 (적중 + 분포 균등 등 복합 점수)
|
||||
- 자동 구매 (purchase_history 자동 채움)
|
||||
- 프론트 `/lotto/evolver` UI — v2 백엔드 완성 후 별도 PR (web-ui repo)
|
||||
|
||||
## 14. v3 후속 검토
|
||||
|
||||
- Multi-armed bandit (UCB1) — 탐험·활용 균형 더 정교
|
||||
- 메타 전략 가중치도 함께 학습 (2-layer Bayesian Optimization)
|
||||
- 가중치 공간을 RL agent로 학습 (policy gradient)
|
||||
- 자동 구매 후보 픽 (winner W로 1주 N장 자동 발주, 사람 승인 후)
|
||||
368
docs/superpowers/specs/2026-05-23-lotto-evolver-ui-design.md
Normal file
@@ -0,0 +1,368 @@
|
||||
# Lotto Evolver UI + 에이전트 활동 가시화 설계 (v2.1)
|
||||
|
||||
- **상태**: Draft (사용자 리뷰 대기)
|
||||
- **작성일**: 2026-05-23
|
||||
- **대상 저장소**:
|
||||
- `web-ui` (프론트엔드) — `/lotto/evolver` 페이지 신설 + 공용 활동 컴포넌트
|
||||
- `web-backend` agent-office — LottoAgent task_id 도입 + sync_evolver_activity cron
|
||||
- **선행 작업**: v2 Lotto Weight Evolver (2026-05-22 배포, 운영 중)
|
||||
- **목표**: 토요일 22:15 텔레그램 리포트의 "[웹에서 차트 보기]" 링크가 가리키는 페이지 구축 + 로또 에이전트의 모든 활동(시그널·digest·큐레이션·evolver)을 한 곳에서 추적 가능하게.
|
||||
|
||||
---
|
||||
|
||||
## 1. 문제 정의
|
||||
|
||||
v2 텔레그램 메시지가 `https://gahusb.synology.me/lotto/evolver` 링크를 포함하지만 web-ui repo에 해당 라우트가 없음 → React Router catch-all 404. spec section 13에서 "프론트 UI는 별도 PR"로 명시했지만 링크는 미리 박혀있음 → UX 깨짐.
|
||||
|
||||
또한 LottoAgent의 활동(signals / digest / weekly_evolution_report / curate)이 agent_office.db의 `agent_logs`에는 기록되지만 `agent_tasks` 테이블에는 **`curate_weekly`만** 들어감 → agent-office UI에서 "Tasks" 섹션 봤을 때 활동 이력이 누락. lotto-lab의 weight_evolver cron(매일 apply / 월 generate / 토 evaluate)은 lotto.db에만 기록 → agent_office에서 완전히 안 보임.
|
||||
|
||||
사용자 의도: "로또 에이전트가 무엇을 했는지" 한 곳에서 확인 가능하게.
|
||||
|
||||
## 2. 의사결정 요약
|
||||
|
||||
| 결정 사항 | 선택 | 비고 |
|
||||
|---|---|---|
|
||||
| 라우트 위치 | 별도 `/lotto/evolver` (텔레그램 링크와 일치) | `/stock/trade`, `/stock/screener` 패턴 따름 |
|
||||
| 사용 시나리오 | 토 22:15 텔레그램 직후 주간 요약 대시보드 | 평일 운영·장기 분석은 부차 |
|
||||
| 페이지 구조 | 단일 스크롤, 5개 카드 (Header / Winner / TrialsGrid / BaseDiff / BaseHistory / Actions) | sub-tab 불필요 |
|
||||
| 차트 | Recharts (이미 dep) — Radar / Bar / Line + 인라인 metric-card | small multiples 대신 텍스트 강조 |
|
||||
| 활동 노출 위치 | `/lotto/evolver` + `/agent-office` 양쪽 (공용 컴포넌트) | DRY |
|
||||
| 백엔드 보강 | 기존 add_log만 있던 LottoAgent 메서드에 task_id 도입 + 신규 sync_evolver_activity cron | 멱등 guard 포함 |
|
||||
|
||||
## 3. 아키텍처
|
||||
|
||||
### 3.1 컴포넌트 다이어그램
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ web-ui (신규 컴포넌트) │
|
||||
│ │
|
||||
│ src/pages/lotto/ │
|
||||
│ Evolver.jsx ← /lotto/evolver 진입점 │
|
||||
│ Evolver.css │
|
||||
│ evolver/ │
|
||||
│ WinnerCard.jsx ← Radar (5축) + 메타 │
|
||||
│ TrialsGrid.jsx ← 6일 Bar 비교 + 펼치기 │
|
||||
│ BaseDiff.jsx ← 5 metric-card (텍스트+arrow)│
|
||||
│ BaseHistory.jsx ← LineChart 12주 시계열 │
|
||||
│ EvolverActions.jsx ← 수동 트리거 (dev) │
|
||||
│ useEvolverApi.js ← status+history+activity hook│
|
||||
│ │
|
||||
│ src/components/lotto/ │
|
||||
│ LottoActivityTimeline.jsx ← 공용 활동 timeline │
|
||||
│ /lotto/evolver + /agent-office│
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
↓ (HTTP)
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ web-backend (보강) │
|
||||
│ │
|
||||
│ agent-office/app/agents/lotto.py │
|
||||
│ • run_signal_check → task_id 도입 (신규) │
|
||||
│ • run_daily_digest → task_id 도입 (신규) │
|
||||
│ • run_weekly_evolution_report → task_id 도입 (신규) │
|
||||
│ • sync_evolver_activity → 신규 메서드 │
|
||||
│ │
|
||||
│ agent-office/app/scheduler.py │
|
||||
│ • lotto_evolver_activity_sync — 매일 09:30 cron 신규 │
|
||||
│ │
|
||||
│ agent-office/app/db.py │
|
||||
│ • get_tasks_by_agent_date_kind — 멱등 guard helper 신규 │
|
||||
│ │
|
||||
│ agent-office/app/main.py │
|
||||
│ • GET /agents/{id}/tasks에 task_type 필터 추가 (확장) │
|
||||
│ │
|
||||
│ lotto-lab: 변경 없음 (web-ui가 evolver API 직접 소비) │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
### 3.2 책임 경계
|
||||
|
||||
- **web-ui Evolver 페이지**: 데이터 시각화 전담. 비즈니스 로직 없음. fetch는 useEvolverApi에 집중.
|
||||
- **LottoActivityTimeline**: 시간순 timeline 표현만. logs/tasks/evolverEvents 3종 입력 받아 merge sort + 렌더.
|
||||
- **LottoAgent**: 모든 자율 작업 시 task row 생성 (다른 에이전트와 동일 패턴).
|
||||
- **sync_evolver_activity**: lotto-lab의 결과를 agent_office.db에 거울 비추기. 백엔드 polling 패턴. 멱등.
|
||||
- **lotto-lab**: 변경 없음. 모든 evolver API는 web-ui가 직접 호출.
|
||||
|
||||
## 4. 페이지 정보 layout
|
||||
|
||||
```
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ HEADER │
|
||||
│ Lotto · Weight Evolver │
|
||||
│ "스스로 가중치를 조절하는 자율 학습 루프" │
|
||||
│ 마지막 회고: 1225회 (2026-05-21 22:00) │
|
||||
├─────────────────────────────────────────────────────────────┤
|
||||
│ ① WinnerCard (대형, 메인) │
|
||||
│ 🏆 목요일 · W_4 · max=4개 일치 │
|
||||
│ ┌─ Radar Chart (5축) ──┐ │
|
||||
│ │ freq, finger, gap, │ │
|
||||
│ │ cooccur, divers │ │
|
||||
│ └──────────────────────┘ │
|
||||
│ avg_score · n_picks graded · update reason │
|
||||
├─────────────────────────────────────────────────────────────┤
|
||||
│ ② TrialsGrid │
|
||||
│ 월 화 수 목⭐ 금 토 (가로 6개 Bar) │
|
||||
│ ░░ ▓▓ ░░ ██ ▒▒ ░░ │
|
||||
│ max=2 1 3 4 2 1 │
|
||||
│ 클릭 → 그날 5세트 numbers + scores 펼침 │
|
||||
├─────────────────────────────────────────────────────────────┤
|
||||
│ ③ BaseDiff │
|
||||
│ 5개 metric-card 가로 정렬 │
|
||||
│ freq 0.20 → 0.18 ↓ -10% │
|
||||
│ finger 0.20 → 0.32 ↑↑ +60% │
|
||||
│ gap 0.20 → 0.20 = (변화 없음) │
|
||||
│ cooccur 0.20 → 0.22 ↑ +10% │
|
||||
│ divers 0.20 → 0.08 ↓↓ -60% │
|
||||
│ → reason: winner_4plus │
|
||||
├─────────────────────────────────────────────────────────────┤
|
||||
│ ④ BaseHistory (12주) │
|
||||
│ LineChart 5 라인 (freq/finger/gap/cooccur/divers) │
|
||||
│ X축: effective_from, Y축: weight 0~1 │
|
||||
│ dot click → reason tooltip + 회차 표시 │
|
||||
├─────────────────────────────────────────────────────────────┤
|
||||
│ ⑤ LottoActivityTimeline (compact=false) │
|
||||
│ 최근 7일 — task + log + lotto-lab evolver 이벤트 merge │
|
||||
│ 2026-05-23 22:15 🧬 weekly_evolution_report succeeded │
|
||||
│ 2026-05-23 22:00 ⚖️ weight_evolver_eval (lotto-lab) │
|
||||
│ 2026-05-23 21:15 🔍 deep_check succeeded │
|
||||
│ ... │
|
||||
├─────────────────────────────────────────────────────────────┤
|
||||
│ ⑥ EvolverActions (개발자 모드) │
|
||||
│ [수동 generate-now] [수동 evaluate-now] │
|
||||
│ 응답 JSON 콘솔에 표시 │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
### 4.1 모바일 반응형
|
||||
|
||||
- ≤640px: 1 컬럼, 차트는 가로폭 100%
|
||||
- 641-1024px: WinnerCard·TrialsGrid 가로 분할 (50/50)
|
||||
- ≥1025px: 위 layout 그대로
|
||||
|
||||
## 5. 데이터 흐름
|
||||
|
||||
### 5.1 useEvolverApi hook
|
||||
|
||||
```js
|
||||
function useEvolverApi({ days = 7, weeks = 12 } = {}) {
|
||||
// 4개 fetch 동시 — Promise.all
|
||||
// 1. GET /api/lotto/evolver/status → status
|
||||
// 2. GET /api/lotto/evolver/history?weeks=12 → history
|
||||
// 3. GET /api/agent-office/agents/lotto/logs?days=7 → logs
|
||||
// 4. GET /api/agent-office/agents/lotto/tasks?days=7 → tasks
|
||||
//
|
||||
// activity = merge(logs, tasks, evolverEventsFromHistory) sorted by timestamp DESC
|
||||
return { status, history, activity, loading, error, refetch };
|
||||
}
|
||||
```
|
||||
|
||||
`activity` 합성 규칙:
|
||||
- agent_logs의 created_at + level + message + task_id
|
||||
- agent_tasks의 created_at + task_type + status + result_data
|
||||
- history.items의 created_at + update_reason + weight (evolver eval 자체 이벤트로 별도 표시)
|
||||
- 클라이언트에서 timestamp DESC sort → React에서 렌더링
|
||||
|
||||
### 5.2 Recharts 매핑
|
||||
|
||||
| 컴포넌트 | 차트 | data prop |
|
||||
|---|---|---|
|
||||
| WinnerCard | `RadarChart` | `[{metric, value, previous}]` 5점 (overlay: previous_base) |
|
||||
| TrialsGrid | `BarChart` 수평 6개 | `[{day_name, avg_score, max_correct, is_winner}]` |
|
||||
| BaseHistory | `LineChart` | `[{effective_from, freq, finger, gap, cooccur, divers}, ...]` |
|
||||
|
||||
### 5.3 LottoActivityTimeline
|
||||
|
||||
```jsx
|
||||
<LottoActivityTimeline
|
||||
logs={agentLogs}
|
||||
tasks={agentTasks}
|
||||
evolverEvents={evolverEventsFromHistory}
|
||||
days={7}
|
||||
compact={false}
|
||||
/>
|
||||
```
|
||||
|
||||
merge & sort:
|
||||
```js
|
||||
const stream = [
|
||||
...logs.map(l => ({ ts: l.created_at, kind: 'log', payload: l })),
|
||||
...tasks.map(t => ({ ts: t.created_at, kind: 'task', payload: t })),
|
||||
...evolverEvents.map(e => ({ ts: e.created_at, kind: 'evolver', payload: e })),
|
||||
].sort((a, b) => b.ts.localeCompare(a.ts));
|
||||
```
|
||||
|
||||
각 stream item:
|
||||
- kind='task': 아이콘 + task_type label + status badge + (completed_at - created_at) 소요시간
|
||||
- kind='log': 아이콘(level) + message
|
||||
- kind='evolver': ⚖️ + update_reason + winner_score
|
||||
|
||||
icon · color mapping (task_type 기준):
|
||||
```
|
||||
curate_weekly 📋 blue
|
||||
signal_check 🔍 green / fired면 amber
|
||||
daily_digest 📊 cyan
|
||||
weekly_evolution_report 🧬 purple
|
||||
evolver_generate 🌱 teal
|
||||
evolver_apply 🎲 gray
|
||||
```
|
||||
|
||||
### 5.4 cold start / empty state
|
||||
|
||||
- `weight_base_history` empty → 큰 빈 카드: "아직 학습 시작 전. 다음 월요일 09:00 자동 시작" + `[수동 generate-now 트리거]` 버튼
|
||||
- `trials` empty (월 09:00 전) → 안내 카드
|
||||
- `activity` empty → 회색 "최근 활동 없음"
|
||||
|
||||
## 6. 백엔드 보강
|
||||
|
||||
### 6.1 LottoAgent 메서드 — task_id 도입
|
||||
|
||||
3개 메서드에 `_run` 패턴(`create_task` + try/except + `update_task_status` + `add_log(..., task_id=...)`) 적용:
|
||||
|
||||
| 메서드 | 새 task_type | result_data 핵심 |
|
||||
|---|---|---|
|
||||
| `run_signal_check(source)` | `signal_check` | source, overall_fire, n_results, fired_metrics |
|
||||
| `run_daily_digest()` | `daily_digest` | evaluated, fired, signals_count |
|
||||
| `run_weekly_evolution_report()` | `weekly_evolution_report` | draw_no, update_reason, winner_day |
|
||||
|
||||
기존 `_run`(`curate_weekly`)은 그대로.
|
||||
|
||||
### 6.2 sync_evolver_activity — 신규 메서드
|
||||
|
||||
매일 09:30 cron. lotto-lab의 today_trial 가져와 agent_office.db에 task+log 기록. 멱등 guard.
|
||||
|
||||
```python
|
||||
async def sync_evolver_activity(self):
|
||||
"""lotto-lab evolver 상태 polling → agent_office.db에 거울. 멱등."""
|
||||
today_iso = _today_kst_iso()
|
||||
dow = _today_dow()
|
||||
|
||||
status = await service_proxy.lotto_evolver_status()
|
||||
|
||||
# 오늘 trial + picks → evolver_apply task
|
||||
today_trial = next((t for t in status["trials"] if t["day_of_week"] == dow), None)
|
||||
if today_trial and today_trial.get("picks") and not db.get_tasks_by_agent_date_kind("lotto", today_iso, "evolver_apply"):
|
||||
tid = db.create_task("lotto", "evolver_apply", {
|
||||
"date": today_iso, "trial_id": today_trial["id"],
|
||||
"day_of_week": dow, "weight": today_trial["weight"],
|
||||
})
|
||||
db.update_task_status(tid, "succeeded", result_data={
|
||||
"n_picks": len(today_trial["picks"]),
|
||||
"meta_scores": [p["meta_score"] for p in today_trial["picks"]],
|
||||
})
|
||||
db.add_log("lotto", f"evolver_apply: 오늘 W로 {len(today_trial['picks'])}세트 추출", task_id=tid)
|
||||
|
||||
# 월요일 + 6 trials 완성 → evolver_generate task
|
||||
if dow == 0 and len(status["trials"]) == 6 and not db.get_tasks_by_agent_date_kind("lotto", today_iso, "evolver_generate"):
|
||||
tid = db.create_task("lotto", "evolver_generate", {"week_start": status["week_start"]})
|
||||
db.update_task_status(tid, "succeeded", result_data={"trials_count": 6})
|
||||
db.add_log("lotto", f"evolver_generate: {status['week_start']} 주의 6 trials 생성", task_id=tid)
|
||||
```
|
||||
|
||||
토요일 22:15 evaluate는 `run_weekly_evolution_report`가 이미 task 기록 → sync 불필요.
|
||||
|
||||
### 6.3 db.py — 신규 helper
|
||||
|
||||
```python
|
||||
def get_tasks_by_agent_date_kind(agent_id: str, date_iso: str, task_type: str) -> List[Dict[str, Any]]:
|
||||
"""같은 (agent, date, task_type)으로 이미 생성된 task 조회 — 멱등 guard."""
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
"""
|
||||
SELECT * FROM agent_tasks
|
||||
WHERE agent_id = ? AND task_type = ?
|
||||
AND substr(created_at, 1, 10) = ?
|
||||
ORDER BY created_at DESC
|
||||
""",
|
||||
(agent_id, task_type, date_iso),
|
||||
).fetchall()
|
||||
return [dict(r) for r in rows]
|
||||
```
|
||||
|
||||
### 6.4 scheduler.py — cron 추가
|
||||
|
||||
```python
|
||||
async def _run_lotto_sync_evolver_activity():
|
||||
agent = AGENT_REGISTRY.get("lotto")
|
||||
if agent:
|
||||
await agent.sync_evolver_activity()
|
||||
|
||||
scheduler.add_job(
|
||||
_run_lotto_sync_evolver_activity,
|
||||
"cron", hour=9, minute=30,
|
||||
id="lotto_evolver_activity_sync",
|
||||
)
|
||||
```
|
||||
|
||||
### 6.5 main.py — API 확장
|
||||
|
||||
`GET /api/agent-office/agents/{id}/tasks`에 query param 추가:
|
||||
```python
|
||||
@app.get("/api/agent-office/agents/{agent_id}/tasks")
|
||||
async def get_agent_tasks(agent_id: str, days: int = 7, task_type: Optional[str] = None):
|
||||
return {"items": db.get_agent_tasks(agent_id, days=days, task_type=task_type)}
|
||||
```
|
||||
|
||||
`db.get_agent_tasks`도 task_type 필터 추가 (기존 함수 보강).
|
||||
|
||||
### 6.6 task_type 명세 (참조)
|
||||
|
||||
| task_type | 트리거 | 어디서 생성 |
|
||||
|---|---|---|
|
||||
| `curate_weekly` | 월 09:05 또는 deep_check | LottoAgent._run (기존) |
|
||||
| `signal_check` | light / sim / deep cron | LottoAgent.run_signal_check (신규 wrap) |
|
||||
| `daily_digest` | 매일 09:25 | LottoAgent.run_daily_digest (신규 wrap) |
|
||||
| `weekly_evolution_report` | 토 22:15 | LottoAgent.run_weekly_evolution_report (신규 wrap) |
|
||||
| `evolver_generate` | 월 09:30 sync | LottoAgent.sync_evolver_activity (신규) |
|
||||
| `evolver_apply` | 매일 09:30 sync | LottoAgent.sync_evolver_activity (신규) |
|
||||
|
||||
## 7. 라우터 등록
|
||||
|
||||
`web-ui/src/routes.jsx`에 추가:
|
||||
|
||||
```jsx
|
||||
const Evolver = lazy(() => import('./pages/lotto/Evolver'));
|
||||
|
||||
// appRoutes 배열에 추가:
|
||||
{
|
||||
path: 'lotto/evolver',
|
||||
element: <Evolver />,
|
||||
},
|
||||
```
|
||||
|
||||
## 8. 구현 Phase
|
||||
|
||||
| Phase | 범위 | 검증 |
|
||||
|---|---|---|
|
||||
| 1 | agent-office 백엔드 보강 (LottoAgent task_id wrap + sync cron + db helper) + 단위 테스트 | task row 생성 확인, 멱등 가드 동작 |
|
||||
| 2 | agent-office API 확장 (task_type 필터) | curl로 필터링 동작 확인 |
|
||||
| 3 | web-ui Evolver 페이지 — useEvolverApi + WinnerCard + TrialsGrid + BaseDiff + BaseHistory + EvolverActions | 로컬 dev 브라우저에서 모든 카드 정상 렌더, 모바일 반응형 |
|
||||
| 4 | LottoActivityTimeline 공용 컴포넌트 — /lotto/evolver에 통합 + /agent-office LottoAgent 카드에 compact 모드 통합 | 두 페이지에서 동일 데이터 보임 |
|
||||
| 5 | 라우터 등록 + 텔레그램 링크 404 해결 확인 | `release:nas` → 텔레그램 [차트 보기] 클릭 → 정상 페이지 |
|
||||
|
||||
Phase 1-2: web-backend repo, Phase 3-5: web-ui repo. 각 repo는 별도 git, 별도 배포 (web-backend git push → Gitea webhook auto, web-ui `npm run release:nas`).
|
||||
|
||||
## 9. 비기능 요구
|
||||
|
||||
- **백워드 호환**: 기존 LottoAgent 호출자 (cron 등) 시그니처 변경 없음. 내부 task_id wrap만 추가.
|
||||
- **장애 격리**: sync_evolver_activity 실패해도 lotto-lab 영향 없음. task_id wrap 실패 시 try/except로 메서드 자체는 계속 동작.
|
||||
- **멱등성**: sync_evolver_activity는 멱등 guard로 cron 재실행·재시작 안전.
|
||||
- **테스트**:
|
||||
- LottoAgent task_id wrap — mock task_id 받아 update 호출 확인
|
||||
- sync_evolver_activity 멱등 — 같은 날 2번 호출 시 1 row만
|
||||
- LottoActivityTimeline merge sort — unit test로 stream 순서·아이콘 매핑
|
||||
- **관측**: 모든 LottoAgent 메서드의 result_data 표준화 (Section 6.1 표 참조)
|
||||
|
||||
## 10. 비목표 (Out of scope)
|
||||
|
||||
- TrialsGrid에서 과거 주 deep dive 조회 (`GET /trials/{week_start}` 사용) — v2.2 후속, 별도 UI
|
||||
- 차트 export / CSV 다운로드
|
||||
- 가중치 수동 편집 UI — v3에서 사용자 개입 모드 도입 검토
|
||||
- 다른 에이전트(stock / music / realestate)의 활동 통합 timeline — 현재 spec은 lotto만
|
||||
- 실시간 WebSocket 푸시 (agent-office에 ws 있지만 evolver 활동은 polling으로 충분)
|
||||
|
||||
## 11. v3 후속 검토
|
||||
|
||||
- 다른 에이전트 활동도 같은 패턴(LottoActivityTimeline 제너릭화 → AgentActivityTimeline)으로 노출
|
||||
- /lotto/evolver 페이지에 사용자 의견 입력 (이번 winner가 마음에 듦/싫음) → 학습 시그널로 활용
|
||||
- BaseHistory에 brush 도입 (긴 history 시계열 zoom)
|
||||
- TrialsGrid에 picks 채점 결과 통계 (몇 개 trial에서 4개 일치 났는지 등)
|
||||
7
image-lab/Dockerfile
Normal file
@@ -0,0 +1,7 @@
|
||||
FROM python:3.12-slim
|
||||
WORKDIR /app
|
||||
COPY requirements.txt .
|
||||
RUN pip install --no-cache-dir -r requirements.txt
|
||||
COPY app ./app
|
||||
EXPOSE 8000
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "1"]
|
||||
0
image-lab/app/__init__.py
Normal file
13
image-lab/app/auth.py
Normal file
@@ -0,0 +1,13 @@
|
||||
"""Windows image-render worker → NAS image-lab internal webhook 인증."""
|
||||
from __future__ import annotations
|
||||
|
||||
import os
|
||||
from fastapi import Header, HTTPException
|
||||
|
||||
|
||||
def verify_internal_key(x_internal_key: str = Header(...)):
|
||||
expected = os.getenv("INTERNAL_API_KEY")
|
||||
if not expected:
|
||||
raise HTTPException(401, "INTERNAL_API_KEY not configured on server")
|
||||
if x_internal_key != expected:
|
||||
raise HTTPException(401, "Invalid X-Internal-Key")
|
||||
83
image-lab/app/db.py
Normal file
@@ -0,0 +1,83 @@
|
||||
"""SQLite persistence for image_tasks. Single table — task 단위 추적만."""
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import os
|
||||
import sqlite3
|
||||
from contextlib import contextmanager
|
||||
from typing import Any, Dict, Optional
|
||||
|
||||
DB_PATH = os.path.join(os.getenv("IMAGE_DATA_DIR", "/app/data"), "image.db")
|
||||
|
||||
|
||||
@contextmanager
|
||||
def _conn():
|
||||
os.makedirs(os.path.dirname(DB_PATH), exist_ok=True)
|
||||
conn = sqlite3.connect(DB_PATH)
|
||||
conn.row_factory = sqlite3.Row
|
||||
conn.execute("PRAGMA journal_mode=WAL")
|
||||
conn.execute("PRAGMA busy_timeout=5000")
|
||||
try:
|
||||
yield conn
|
||||
conn.commit()
|
||||
finally:
|
||||
conn.close()
|
||||
|
||||
|
||||
def init_db() -> None:
|
||||
with _conn() as conn:
|
||||
conn.execute(
|
||||
"""
|
||||
CREATE TABLE IF NOT EXISTS image_tasks (
|
||||
id TEXT PRIMARY KEY,
|
||||
provider TEXT NOT NULL,
|
||||
params TEXT NOT NULL,
|
||||
status TEXT DEFAULT 'queued',
|
||||
progress INTEGER DEFAULT 0,
|
||||
message TEXT DEFAULT '',
|
||||
image_url TEXT,
|
||||
error TEXT,
|
||||
created_at TEXT DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now')),
|
||||
updated_at TEXT DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now'))
|
||||
)
|
||||
"""
|
||||
)
|
||||
|
||||
|
||||
def _row_to_dict(row) -> Dict[str, Any]:
|
||||
return {
|
||||
"id": row["id"], "provider": row["provider"], "params": row["params"],
|
||||
"status": row["status"], "progress": row["progress"], "message": row["message"],
|
||||
"image_url": row["image_url"], "error": row["error"],
|
||||
"created_at": row["created_at"], "updated_at": row["updated_at"],
|
||||
}
|
||||
|
||||
|
||||
def create_task(task_id: str, provider: str, params: Dict[str, Any]) -> Dict[str, Any]:
|
||||
with _conn() as conn:
|
||||
conn.execute(
|
||||
"INSERT INTO image_tasks (id, provider, params) VALUES (?, ?, ?)",
|
||||
(task_id, provider, json.dumps(params)),
|
||||
)
|
||||
row = conn.execute("SELECT * FROM image_tasks WHERE id = ?", (task_id,)).fetchone()
|
||||
return _row_to_dict(row)
|
||||
|
||||
|
||||
def update_task(task_id: str, status: str, progress: int, message: str = "",
|
||||
image_url: Optional[str] = None, error: Optional[str] = None) -> None:
|
||||
with _conn() as conn:
|
||||
conn.execute(
|
||||
"""
|
||||
UPDATE image_tasks
|
||||
SET status = ?, progress = ?, message = ?, image_url = ?, error = ?,
|
||||
updated_at = strftime('%Y-%m-%dT%H:%M:%fZ','now')
|
||||
WHERE id = ?
|
||||
""",
|
||||
(status, progress, message, image_url, error, task_id),
|
||||
)
|
||||
|
||||
|
||||
def get_task(task_id: str) -> Optional[Dict[str, Any]]:
|
||||
with _conn() as conn:
|
||||
row = conn.execute("SELECT * FROM image_tasks WHERE id = ?", (task_id,)).fetchone()
|
||||
return _row_to_dict(row) if row else None
|
||||
52
image-lab/app/internal_router.py
Normal file
@@ -0,0 +1,52 @@
|
||||
"""Windows image-render → NAS image-lab internal webhook.
|
||||
|
||||
POST /api/internal/image/update
|
||||
- X-Internal-Key 인증 필수
|
||||
- image_tasks row update (status, progress, message, image_url, error)
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
from typing import Optional
|
||||
|
||||
from fastapi import APIRouter, Depends, HTTPException
|
||||
from pydantic import BaseModel, Field
|
||||
|
||||
from . import db
|
||||
from .auth import verify_internal_key
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
router = APIRouter()
|
||||
|
||||
|
||||
class UpdatePayload(BaseModel):
|
||||
task_id: str
|
||||
status: str = Field(..., description="processing|succeeded|failed")
|
||||
progress: int = Field(..., ge=0, le=100)
|
||||
message: str = ""
|
||||
image_url: Optional[str] = None
|
||||
error: Optional[str] = None
|
||||
|
||||
|
||||
@router.post(
|
||||
"/api/internal/image/update",
|
||||
dependencies=[Depends(verify_internal_key)],
|
||||
)
|
||||
def image_update(payload: UpdatePayload):
|
||||
task = db.get_task(payload.task_id)
|
||||
if task is None:
|
||||
raise HTTPException(404, f"task not found: {payload.task_id}")
|
||||
|
||||
db.update_task(
|
||||
payload.task_id,
|
||||
payload.status,
|
||||
payload.progress,
|
||||
message=payload.message,
|
||||
image_url=payload.image_url,
|
||||
error=payload.error,
|
||||
)
|
||||
logger.info(
|
||||
"internal/image/update task=%s status=%s progress=%d",
|
||||
payload.task_id, payload.status, payload.progress,
|
||||
)
|
||||
return {"ok": True}
|
||||
113
image-lab/app/main.py
Normal file
@@ -0,0 +1,113 @@
|
||||
"""FastAPI entrypoint for image-lab.
|
||||
|
||||
POST /api/image/generate — provider + prompt → Redis push → task_id
|
||||
GET /api/image/tasks/{id} — DB 조회
|
||||
GET /api/image/providers — 3 provider 메타
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import uuid
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from typing import Any, Dict, Optional
|
||||
|
||||
import redis.asyncio as aioredis
|
||||
from fastapi import FastAPI, HTTPException
|
||||
from fastapi.middleware.cors import CORSMiddleware
|
||||
from pydantic import BaseModel, Field
|
||||
|
||||
from . import db
|
||||
from .internal_router import router as internal_router
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
CORS_ALLOW_ORIGINS = os.getenv("CORS_ALLOW_ORIGINS", "http://localhost:3007,http://localhost:8080")
|
||||
REDIS_URL = os.getenv("REDIS_URL", "redis://redis:6379")
|
||||
redis_client = aioredis.from_url(REDIS_URL, decode_responses=False)
|
||||
|
||||
SUPPORTED_PROVIDERS = {"gpt_image", "nano_banana", "flux"}
|
||||
|
||||
app = FastAPI()
|
||||
app.include_router(internal_router)
|
||||
|
||||
app.add_middleware(
|
||||
CORSMiddleware,
|
||||
allow_origins=[o.strip() for o in CORS_ALLOW_ORIGINS.split(",")],
|
||||
allow_credentials=False,
|
||||
allow_methods=["GET", "POST", "PUT", "DELETE", "OPTIONS", "PATCH"],
|
||||
allow_headers=["Content-Type"],
|
||||
)
|
||||
|
||||
|
||||
@app.on_event("startup")
|
||||
def on_startup():
|
||||
db.init_db()
|
||||
|
||||
|
||||
@app.get("/health")
|
||||
def health():
|
||||
return {"ok": True, "service": "image-lab"}
|
||||
|
||||
|
||||
@app.get("/api/image/providers")
|
||||
def list_providers():
|
||||
"""3 provider 항상 노출 (key 누락은 worker가 failed 보고)."""
|
||||
return {"providers": [
|
||||
{"id": "gpt_image", "name": "GPT Image 2.0", "models": ["gpt-image-1"],
|
||||
"sizes": ["1024x1024", "1024x1536", "1536x1024"]},
|
||||
{"id": "nano_banana", "name": "Nano Banana (Gemini)", "models": ["gemini-2.5-flash-image"],
|
||||
"sizes": ["1024x1024"]},
|
||||
{"id": "flux", "name": "FLUX (local)", "models": ["flux-schnell", "flux-dev"],
|
||||
"sizes": ["1024x1024", "832x1216", "1216x832"]},
|
||||
]}
|
||||
|
||||
|
||||
class GenerateRequest(BaseModel):
|
||||
provider: str = Field(..., description="gpt_image|nano_banana|flux")
|
||||
model: Optional[str] = None
|
||||
prompt: str
|
||||
size: Optional[str] = None
|
||||
negative_prompt: Optional[str] = None
|
||||
# Provider 별 추가 키는 extra 허용
|
||||
extra: Optional[Dict[str, Any]] = None
|
||||
|
||||
class Config:
|
||||
extra = "allow"
|
||||
|
||||
|
||||
async def _push_render_job(task_id: str, job_type: str, params: dict) -> None:
|
||||
"""Redis queue:image-render에 push."""
|
||||
kst = timezone(timedelta(hours=9))
|
||||
payload = {
|
||||
"task_id": task_id,
|
||||
"kind": "image",
|
||||
"job_type": job_type,
|
||||
"params": params,
|
||||
"submitted_at": datetime.now(kst).isoformat(),
|
||||
}
|
||||
await redis_client.rpush("queue:image-render", json.dumps(payload))
|
||||
|
||||
|
||||
@app.post("/api/image/generate")
|
||||
async def generate_image(req: GenerateRequest):
|
||||
"""이미지 생성 — Redis 큐로 Windows image-render에 위임."""
|
||||
if req.provider not in SUPPORTED_PROVIDERS:
|
||||
raise HTTPException(400, f"지원하지 않는 provider: {req.provider} (supported: {sorted(SUPPORTED_PROVIDERS)})")
|
||||
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump(exclude_none=True)
|
||||
db.create_task(task_id, req.provider, params)
|
||||
|
||||
job_type = f"{req.provider}_generation" # gpt_image_generation, nano_banana_generation, flux_generation
|
||||
await _push_render_job(task_id, job_type, params)
|
||||
return {"task_id": task_id, "provider": req.provider}
|
||||
|
||||
|
||||
@app.get("/api/image/tasks/{task_id}")
|
||||
def get_task_status(task_id: str):
|
||||
t = db.get_task(task_id)
|
||||
if not t:
|
||||
raise HTTPException(404, "task not found")
|
||||
return t
|
||||
4
image-lab/env.example
Normal file
@@ -0,0 +1,4 @@
|
||||
INTERNAL_API_KEY=replace-me
|
||||
IMAGE_DATA_DIR=/app/data
|
||||
CORS_ALLOW_ORIGINS=http://localhost:3007,http://localhost:8080
|
||||
REDIS_URL=redis://redis:6379
|
||||
5
image-lab/requirements.txt
Normal file
@@ -0,0 +1,5 @@
|
||||
fastapi==0.115.0
|
||||
uvicorn[standard]==0.30.6
|
||||
pydantic==2.9.2
|
||||
redis==5.0.8
|
||||
httpx==0.27.2
|
||||
0
image-lab/tests/__init__.py
Normal file
19
image-lab/tests/test_auth.py
Normal file
@@ -0,0 +1,19 @@
|
||||
import pytest
|
||||
from fastapi import HTTPException
|
||||
from app.auth import verify_internal_key
|
||||
|
||||
def test_no_server_key_rejects(monkeypatch):
|
||||
monkeypatch.delenv("INTERNAL_API_KEY", raising=False)
|
||||
with pytest.raises(HTTPException) as e:
|
||||
verify_internal_key("anything")
|
||||
assert e.value.status_code == 401
|
||||
|
||||
def test_wrong_key_rejects(monkeypatch):
|
||||
monkeypatch.setenv("INTERNAL_API_KEY", "secret")
|
||||
with pytest.raises(HTTPException) as e:
|
||||
verify_internal_key("wrong")
|
||||
assert e.value.status_code == 401
|
||||
|
||||
def test_correct_key_passes(monkeypatch):
|
||||
monkeypatch.setenv("INTERNAL_API_KEY", "secret")
|
||||
assert verify_internal_key("secret") is None
|
||||
29
image-lab/tests/test_db.py
Normal file
@@ -0,0 +1,29 @@
|
||||
import os, tempfile, importlib
|
||||
|
||||
def _fresh_db(monkeypatch, tmp):
|
||||
monkeypatch.setenv("IMAGE_DATA_DIR", tmp)
|
||||
import app.db as db
|
||||
importlib.reload(db)
|
||||
db.init_db()
|
||||
return db
|
||||
|
||||
def test_create_and_get_task(monkeypatch):
|
||||
with tempfile.TemporaryDirectory() as tmp:
|
||||
db = _fresh_db(monkeypatch, tmp)
|
||||
row = db.create_task("t1", "gpt_image", {"prompt": "a cat"})
|
||||
assert row["id"] == "t1"
|
||||
assert row["provider"] == "gpt_image"
|
||||
assert row["status"] == "queued"
|
||||
got = db.get_task("t1")
|
||||
assert got["id"] == "t1"
|
||||
assert db.get_task("nope") is None
|
||||
|
||||
def test_update_task_sets_image_url(monkeypatch):
|
||||
with tempfile.TemporaryDirectory() as tmp:
|
||||
db = _fresh_db(monkeypatch, tmp)
|
||||
db.create_task("t2", "nano_banana", {"prompt": "x"})
|
||||
db.update_task("t2", "succeeded", 100, message="done", image_url="/media/image/t2.png")
|
||||
got = db.get_task("t2")
|
||||
assert got["status"] == "succeeded"
|
||||
assert got["image_url"] == "/media/image/t2.png"
|
||||
assert got["progress"] == 100
|
||||
38
image-lab/tests/test_internal_router.py
Normal file
@@ -0,0 +1,38 @@
|
||||
import os, tempfile, importlib
|
||||
from fastapi import FastAPI
|
||||
from fastapi.testclient import TestClient
|
||||
|
||||
def _client(monkeypatch, tmp):
|
||||
monkeypatch.setenv("IMAGE_DATA_DIR", tmp)
|
||||
monkeypatch.setenv("INTERNAL_API_KEY", "secret")
|
||||
import app.db as db; importlib.reload(db); db.init_db()
|
||||
import app.internal_router as ir; importlib.reload(ir)
|
||||
app = FastAPI(); app.include_router(ir.router)
|
||||
return TestClient(app), db
|
||||
|
||||
def test_update_requires_key(monkeypatch):
|
||||
with tempfile.TemporaryDirectory() as tmp:
|
||||
client, db = _client(monkeypatch, tmp)
|
||||
db.create_task("t1", "gpt_image", {"prompt": "x"})
|
||||
r = client.post("/api/internal/image/update",
|
||||
json={"task_id": "t1", "status": "succeeded", "progress": 100})
|
||||
assert r.status_code == 422 or r.status_code == 401 # header 누락
|
||||
|
||||
def test_update_succeeds_with_key(monkeypatch):
|
||||
with tempfile.TemporaryDirectory() as tmp:
|
||||
client, db = _client(monkeypatch, tmp)
|
||||
db.create_task("t1", "gpt_image", {"prompt": "x"})
|
||||
r = client.post("/api/internal/image/update",
|
||||
headers={"X-Internal-Key": "secret"},
|
||||
json={"task_id": "t1", "status": "succeeded", "progress": 100,
|
||||
"image_url": "/media/image/t1.png"})
|
||||
assert r.status_code == 200
|
||||
assert db.get_task("t1")["image_url"] == "/media/image/t1.png"
|
||||
|
||||
def test_update_unknown_task_404(monkeypatch):
|
||||
with tempfile.TemporaryDirectory() as tmp:
|
||||
client, db = _client(monkeypatch, tmp)
|
||||
r = client.post("/api/internal/image/update",
|
||||
headers={"X-Internal-Key": "secret"},
|
||||
json={"task_id": "nope", "status": "failed", "progress": 0})
|
||||
assert r.status_code == 404
|
||||
43
image-lab/tests/test_main.py
Normal file
@@ -0,0 +1,43 @@
|
||||
import os, tempfile, importlib
|
||||
from fastapi.testclient import TestClient
|
||||
|
||||
|
||||
def _client(monkeypatch, tmp):
|
||||
monkeypatch.setenv("IMAGE_DATA_DIR", tmp)
|
||||
import app.db as db
|
||||
importlib.reload(db)
|
||||
db.init_db()
|
||||
import app.main as main
|
||||
importlib.reload(main)
|
||||
pushed = []
|
||||
|
||||
async def fake_push(task_id, job_type, params):
|
||||
pushed.append((task_id, job_type, params))
|
||||
|
||||
monkeypatch.setattr(main, "_push_render_job", fake_push)
|
||||
return TestClient(main.app), db, pushed
|
||||
|
||||
|
||||
def test_providers_lists_three(monkeypatch):
|
||||
with tempfile.TemporaryDirectory() as tmp:
|
||||
client, _, _ = _client(monkeypatch, tmp)
|
||||
r = client.get("/api/image/providers")
|
||||
ids = {p["id"] for p in r.json()["providers"]}
|
||||
assert ids == {"gpt_image", "nano_banana", "flux"}
|
||||
|
||||
|
||||
def test_generate_rejects_unknown_provider(monkeypatch):
|
||||
with tempfile.TemporaryDirectory() as tmp:
|
||||
client, _, _ = _client(monkeypatch, tmp)
|
||||
r = client.post("/api/image/generate", json={"provider": "midjourney", "prompt": "x"})
|
||||
assert r.status_code == 400
|
||||
|
||||
|
||||
def test_generate_creates_task_and_pushes(monkeypatch):
|
||||
with tempfile.TemporaryDirectory() as tmp:
|
||||
client, db, pushed = _client(monkeypatch, tmp)
|
||||
r = client.post("/api/image/generate", json={"provider": "gpt_image", "prompt": "a cat"})
|
||||
assert r.status_code == 200
|
||||
task_id = r.json()["task_id"]
|
||||
assert db.get_task(task_id)["status"] == "queued"
|
||||
assert pushed[0][1] == "gpt_image_generation"
|
||||
@@ -3,24 +3,15 @@ ENV PYTHONUNBUFFERED=1
|
||||
|
||||
WORKDIR /app
|
||||
|
||||
# Korean fonts + Chromium runtime deps (Debian 12 / bookworm)
|
||||
# `playwright install --with-deps`를 쓰지 않는 이유: 그 명령은 Ubuntu 패키지명을
|
||||
# 사용해 Debian에서 ttf-ubuntu-font-family / ttf-unifont 등 없는 패키지를 시도
|
||||
# → apt 실패. 대신 Chromium이 실제 필요로 하는 라이브러리만 명시 설치.
|
||||
# Korean fonts (insta-lab가 자체 텍스트 처리는 안 하지만 향후 thumbnail 생성 등 위해 유지)
|
||||
RUN apt-get update && apt-get install -y --no-install-recommends \
|
||||
fonts-noto-cjk fonts-noto-cjk-extra \
|
||||
libnss3 libnspr4 libdbus-1-3 libatk1.0-0 libatk-bridge2.0-0 \
|
||||
libcups2 libdrm2 libxkbcommon0 libxcomposite1 libxdamage1 \
|
||||
libxfixes3 libxrandr2 libgbm1 libxshmfence1 libpango-1.0-0 \
|
||||
libcairo2 libasound2 libatspi2.0-0 \
|
||||
&& rm -rf /var/lib/apt/lists/*
|
||||
|
||||
COPY requirements.txt .
|
||||
# --timeout 600 --retries 5: NAS 느린 네트워크/CPU에서 pip 다운로드 timeout 방지
|
||||
RUN pip install --no-cache-dir --timeout 600 --retries 5 -r requirements.txt
|
||||
RUN playwright install chromium
|
||||
|
||||
COPY . .
|
||||
|
||||
EXPOSE 8000
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "1"]
|
||||
|
||||
17
insta-lab/app/auth.py
Normal file
@@ -0,0 +1,17 @@
|
||||
"""SP-4 — Windows worker → NAS internal webhook 인증.
|
||||
|
||||
X-Internal-Key 헤더를 .env의 INTERNAL_API_KEY와 비교.
|
||||
서버 측 키 미설정 시 401 (안전한 기본값).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import os
|
||||
from fastapi import Header, HTTPException
|
||||
|
||||
|
||||
def verify_internal_key(x_internal_key: str = Header(...)):
|
||||
expected = os.getenv("INTERNAL_API_KEY")
|
||||
if not expected:
|
||||
raise HTTPException(401, "INTERNAL_API_KEY not configured on server")
|
||||
if x_internal_key != expected:
|
||||
raise HTTPException(401, "Invalid X-Internal-Key")
|
||||
@@ -1,100 +1,7 @@
|
||||
"""Jinja → HTML → Playwright headless screenshot."""
|
||||
"""DEPRECATED 2026-05-19 — NAS에서 카드 렌더 안 함. Windows insta-render 워커로 이전됨.
|
||||
|
||||
import asyncio
|
||||
import hashlib
|
||||
import json
|
||||
import logging
|
||||
import os
|
||||
import tempfile
|
||||
from typing import List
|
||||
기존 render_slate, init_browser, shutdown_browser는 모두 web-ai/services/insta-render/card_renderer.py로 이식.
|
||||
NAS insta-lab은 Redis push (queue:insta-render)만 담당.
|
||||
|
||||
from jinja2 import Environment, FileSystemLoader, select_autoescape
|
||||
from playwright.async_api import async_playwright
|
||||
|
||||
from .config import CARDS_DIR, CARD_TEMPLATE_DIR
|
||||
from . import db
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
def _resolve_template_dir() -> str:
|
||||
"""Prefer config CARD_TEMPLATE_DIR if it exists; else fall back to in-repo templates/."""
|
||||
if os.path.isdir(CARD_TEMPLATE_DIR):
|
||||
return CARD_TEMPLATE_DIR
|
||||
return os.path.join(os.path.dirname(__file__), "templates")
|
||||
|
||||
|
||||
def _env() -> Environment:
|
||||
return Environment(
|
||||
loader=FileSystemLoader(_resolve_template_dir()),
|
||||
autoescape=select_autoescape(["html", "j2"]),
|
||||
)
|
||||
|
||||
|
||||
def _slate_dir(slate_id: int) -> str:
|
||||
out = os.path.join(CARDS_DIR, str(slate_id))
|
||||
os.makedirs(out, exist_ok=True)
|
||||
return out
|
||||
|
||||
|
||||
def _build_pages(slate: dict) -> List[dict]:
|
||||
cover = json.loads(slate["cover_copy"] or "{}")
|
||||
bodies = json.loads(slate["body_copies"] or "[]")
|
||||
cta = json.loads(slate["cta_copy"] or "{}")
|
||||
accent = cover.get("accent_color") or "#0F62FE"
|
||||
pages: List[dict] = []
|
||||
pages.append({
|
||||
"page_type": "cover", "page_no": 1, "total_pages": 10,
|
||||
"headline": cover.get("headline", ""), "body": cover.get("body", ""),
|
||||
"accent_color": accent, "cta": "",
|
||||
})
|
||||
for i, b in enumerate(bodies[:8]):
|
||||
pages.append({
|
||||
"page_type": "body", "page_no": i + 2, "total_pages": 10,
|
||||
"headline": b.get("headline", ""), "body": b.get("body", ""),
|
||||
"accent_color": accent, "cta": "",
|
||||
})
|
||||
pages.append({
|
||||
"page_type": "cta", "page_no": 10, "total_pages": 10,
|
||||
"headline": cta.get("headline", ""), "body": cta.get("body", ""),
|
||||
"accent_color": accent, "cta": cta.get("cta", ""),
|
||||
})
|
||||
return pages
|
||||
|
||||
|
||||
async def render_slate(slate_id: int, template: str = "default/card.html.j2") -> List[str]:
|
||||
slate = db.get_card_slate(slate_id)
|
||||
if not slate:
|
||||
raise ValueError(f"slate {slate_id} not found")
|
||||
env = _env()
|
||||
tmpl = env.get_template(template)
|
||||
pages = _build_pages(slate)
|
||||
out_dir = _slate_dir(slate_id)
|
||||
paths: List[str] = []
|
||||
|
||||
async with async_playwright() as p:
|
||||
browser = await p.chromium.launch()
|
||||
try:
|
||||
ctx = await browser.new_context(viewport={"width": 1080, "height": 1350})
|
||||
page = await ctx.new_page()
|
||||
for spec in pages:
|
||||
html_str = tmpl.render(**spec)
|
||||
with tempfile.NamedTemporaryFile("w", suffix=".html", delete=False, encoding="utf-8") as f:
|
||||
f.write(html_str)
|
||||
html_path = f.name
|
||||
try:
|
||||
await page.goto(f"file://{html_path}", wait_until="networkidle")
|
||||
out_path = os.path.join(out_dir, f"{spec['page_no']:02d}.png")
|
||||
await page.screenshot(path=out_path, full_page=False, omit_background=False)
|
||||
with open(out_path, "rb") as fp:
|
||||
file_hash = hashlib.md5(fp.read()).hexdigest()
|
||||
db.add_card_asset(slate_id, spec["page_no"], out_path, file_hash)
|
||||
paths.append(out_path)
|
||||
finally:
|
||||
try:
|
||||
os.unlink(html_path)
|
||||
except OSError:
|
||||
pass
|
||||
finally:
|
||||
await browser.close()
|
||||
return paths
|
||||
이 파일은 임포트 호환성 위해서만 존재. 새 코드는 이 모듈을 import하지 말 것.
|
||||
"""
|
||||
|
||||
@@ -11,6 +11,7 @@ INSTA_DATA_PATH = os.getenv("INSTA_DATA_PATH", "/app/data")
|
||||
DB_PATH = os.path.join(INSTA_DATA_PATH, "insta.db")
|
||||
CARDS_DIR = os.path.join(INSTA_DATA_PATH, "insta_cards")
|
||||
CARD_TEMPLATE_DIR = os.getenv("CARD_TEMPLATE_DIR", "/app/app/templates")
|
||||
INSTA_DEFAULT_THEME = os.getenv("INSTA_DEFAULT_THEME", "default")
|
||||
|
||||
CORS_ALLOW_ORIGINS = os.getenv(
|
||||
"CORS_ALLOW_ORIGINS", "http://localhost:3007,http://localhost:8080"
|
||||
|
||||
322
insta-lab/app/design_importer.py
Normal file
@@ -0,0 +1,322 @@
|
||||
"""사용자 디자인 PNG 10장 → Claude Sonnet Vision → Jinja card.html.j2 자동 생성.
|
||||
|
||||
⚠️ 실행 위치 — 로컬 권장:
|
||||
docker-compose의 insta-lab volume은 /app/data만 마운트. /app/app/templates는
|
||||
컨테이너 ephemeral이라 NAS docker exec로 돌리면 다음 rebuild에 결과물 소실됨.
|
||||
|
||||
로컬:
|
||||
cd insta-lab
|
||||
export ANTHROPIC_API_KEY=sk-ant-...
|
||||
python -m app.design_importer <theme> --templates-dir ./app/templates
|
||||
git add app/templates/<theme>/card.html.j2 && git commit + push
|
||||
|
||||
응급 hotfix만 NAS:
|
||||
docker exec insta-lab python -m app.design_importer <theme>
|
||||
docker cp insta-lab:/app/app/templates/<theme>/card.html.j2 ./<dst>
|
||||
# → 즉시 host repo에 commit + push (안 그러면 다음 rebuild에 소실)
|
||||
"""
|
||||
|
||||
import base64
|
||||
import datetime
|
||||
import json
|
||||
import logging
|
||||
import re
|
||||
from pathlib import Path
|
||||
from typing import Any, Dict, List, Tuple
|
||||
|
||||
from anthropic import Anthropic
|
||||
from jinja2 import BaseLoader, Environment, TemplateSyntaxError
|
||||
from PIL import Image
|
||||
|
||||
from .config import ANTHROPIC_API_KEY, ANTHROPIC_MODEL_SONNET
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
__all__ = [
|
||||
"_resolve_page_mapping",
|
||||
"_validate_images",
|
||||
"_call_vision",
|
||||
"_validate_html_template",
|
||||
"import_design_theme",
|
||||
]
|
||||
|
||||
# 페이지 1 (커버) 키워드 우선순위 — 먼저 매치된 키워드를 가진 첫 파일만 page 1
|
||||
_COVER_KEYWORDS = ("cover", "start", "intro")
|
||||
# 페이지 10 (CTA) 키워드 우선순위
|
||||
_CTA_KEYWORDS = ("cta", "outro", "finish", "end")
|
||||
|
||||
# 인스타그램 카드 규격 (세로형 4:5 비율)
|
||||
_EXPECTED_SIZE = (1080, 1350)
|
||||
|
||||
|
||||
def _resolve_page_mapping(pages_dir: Path) -> Dict[str, int]:
|
||||
"""templates/<theme>/pages/ 안의 PNG 10장을 page 1~10에 매핑.
|
||||
|
||||
우선순위:
|
||||
1. `_order.json` 있으면 그 매핑 그대로 사용 (검증 통과 시 반환)
|
||||
2. 자동 매핑:
|
||||
- _COVER_KEYWORDS 우선순위 순서로 가장 앞 키워드를 가진 첫 PNG → page 1
|
||||
- _CTA_KEYWORDS 우선순위 순서로 가장 앞 키워드를 가진 첫 PNG → page 10
|
||||
- 남은 8장은 알파벳 정렬 → page 2~9
|
||||
"""
|
||||
pages_dir = Path(pages_dir)
|
||||
pngs = sorted([p.name for p in pages_dir.glob("*.png")])
|
||||
if len(pngs) != 10:
|
||||
raise ValueError(
|
||||
f"{pages_dir}에 PNG 10장 필요, 발견 {len(pngs)}장: {pngs}"
|
||||
)
|
||||
|
||||
order_path = pages_dir / "_order.json"
|
||||
if order_path.exists():
|
||||
try:
|
||||
mapping = json.loads(order_path.read_text(encoding="utf-8"))
|
||||
except Exception as e:
|
||||
logger.warning("_order.json 파싱 실패, 자동 매핑으로 폴백: %s", e)
|
||||
else:
|
||||
if set(mapping.keys()) == set(pngs) and set(mapping.values()) == set(range(1, 11)):
|
||||
return {k: int(v) for k, v in mapping.items()}
|
||||
logger.warning(
|
||||
"_order.json 형식 오류 (파일 누락·page 중복), 자동 매핑으로 폴백"
|
||||
)
|
||||
|
||||
return _build_mapping(pngs)
|
||||
|
||||
|
||||
def _pick_by_keywords(names: List[str], keywords: tuple) -> str | None:
|
||||
"""names 중 keywords의 우선순위에 따라 첫 매치 파일명 반환 (없으면 None)."""
|
||||
lower_names = [(n, n.lower()) for n in names]
|
||||
for kw in keywords:
|
||||
for orig, low in lower_names:
|
||||
if kw in low:
|
||||
return orig
|
||||
return None
|
||||
|
||||
|
||||
def _build_mapping(pngs: List[str]) -> Dict[str, int]:
|
||||
"""자동 매핑 알고리즘 본체."""
|
||||
mapping: Dict[str, int] = {}
|
||||
remaining = list(pngs)
|
||||
|
||||
cover = _pick_by_keywords(remaining, _COVER_KEYWORDS)
|
||||
if cover:
|
||||
mapping[cover] = 1
|
||||
remaining.remove(cover)
|
||||
|
||||
cta = _pick_by_keywords(remaining, _CTA_KEYWORDS)
|
||||
if cta:
|
||||
mapping[cta] = 10
|
||||
remaining.remove(cta)
|
||||
|
||||
remaining_sorted = sorted(remaining)
|
||||
free_pages = sorted(set(range(1, 11)) - set(mapping.values()))
|
||||
for name, page in zip(remaining_sorted, free_pages):
|
||||
mapping[name] = page
|
||||
|
||||
return mapping
|
||||
|
||||
|
||||
_EXPECTED_RATIO = 1080 / 1350 # 4:5 = 0.8
|
||||
_RATIO_TOLERANCE = 0.02 # ±2% (1122/1402 ≈ 0.80028도 통과)
|
||||
|
||||
|
||||
def _validate_images(pages_dir: Path) -> None:
|
||||
"""모든 PNG가 4:5 종횡비(1080x1350 권장)에 가까운지 검증.
|
||||
|
||||
Vision은 base64로 원본을 분석하고 Playwright는 background-size: cover로
|
||||
1080x1350 컨테이너에 fit하므로 절대 사이즈는 유연. 단 종횡비가 어긋나면
|
||||
카드가 늘어나거나 잘리므로 ±2% 허용 범위 내에서만 통과.
|
||||
|
||||
early-exit 하지 않고 전체 파일을 검사한 뒤 한 메시지에 모아 raise.
|
||||
"""
|
||||
pages_dir = Path(pages_dir)
|
||||
bad = []
|
||||
for png_path in sorted(pages_dir.glob("*.png")):
|
||||
with Image.open(png_path) as img:
|
||||
w, h = img.size
|
||||
if h == 0:
|
||||
bad.append((png_path.name, img.size))
|
||||
continue
|
||||
ratio = w / h
|
||||
if abs(ratio - _EXPECTED_RATIO) > _RATIO_TOLERANCE:
|
||||
bad.append((png_path.name, img.size))
|
||||
if bad:
|
||||
msg = "; ".join(f"{n}: {s[0]}x{s[1]}" for n, s in bad)
|
||||
raise ValueError(
|
||||
f"카드 디자인은 4:5 비율(1080x1350 권장)이어야 함. 잘못된 파일: {msg}"
|
||||
)
|
||||
|
||||
|
||||
# ── Vision 호출 + HTML 생성 ───────────────────────────────────────────────────
|
||||
|
||||
_VISION_SYSTEM_PROMPT = """너는 인스타그램 카드 뉴스 디자인을 모방하는 프론트엔드 디자이너다.
|
||||
|
||||
입력: 10장의 카드 디자인 이미지 (각 1080×1350, placeholder 텍스트가 박혀있음) + 파일명 → 페이지 번호 매핑.
|
||||
출력: 단일 Jinja2 HTML 파일 본문 (코드펜스·설명 텍스트 금지).
|
||||
|
||||
핵심 제약 — placeholder 텍스트 마스킹:
|
||||
PNG에는 디자인 placeholder 텍스트가 이미 그려져 있다. 동적 카피로 교체할 때
|
||||
원본 텍스트가 비치면 안 된다. 각 텍스트 영역마다 두 layer를 그려라:
|
||||
(a) 마스킹 박스: position: absolute로 placeholder 영역과 같은 좌표.
|
||||
background는 그 영역 주변 픽셀 색 (카드 배경색)에서 추출. padding 8px 여유.
|
||||
(b) 동적 텍스트 layer: 마스킹 박스와 동일 좌표.
|
||||
font-size·font-weight·color는 원본 placeholder의 스타일을 모방.
|
||||
{{ headline }} / {{ body }} / {{ cta }} Jinja 변수 사용.
|
||||
|
||||
페이지 종류별 영역 가이드:
|
||||
- page 1 (cover): 메인 headline 1개 영역
|
||||
- page 2~9 (body): headline 영역 + body 영역
|
||||
- page 10 (cta): headline + body + cta 영역
|
||||
|
||||
요구사항:
|
||||
- 컨테이너 width 1080px, height 1350px
|
||||
- 각 페이지마다 `background-image: url('pages/{{filename}}')`로 사용자 PNG 로드
|
||||
- page_no 1~10 분기: {% if page_no == N %}...{% endif %} 구조
|
||||
- 폰트는 Noto Sans KR (Google Fonts CDN). letter-spacing -0.02em, line-height 1.3 기본
|
||||
- 텍스트 영역은 word-wrap: break-word + overflow: hidden (동적 카피가 길어도 마스킹 박스 밖으로 안 새도록)
|
||||
- HTML <head>에 <style>로 모든 CSS 인라인. <link> 외부 stylesheet 금지
|
||||
- 출력은 <!DOCTYPE html>로 시작하는 완전한 HTML 문서
|
||||
"""
|
||||
|
||||
|
||||
def _call_vision(images_with_pages: List[Tuple[str, int, bytes]],
|
||||
theme_name: str) -> Dict[str, Any]:
|
||||
"""Claude Sonnet Vision 호출. images_with_pages: [(filename, page_no, png_bytes), ...].
|
||||
|
||||
Returns: {"html": str, "tokens": int, "summary": str}
|
||||
"""
|
||||
if not ANTHROPIC_API_KEY:
|
||||
raise RuntimeError("ANTHROPIC_API_KEY 미설정 — design_importer 사용 불가")
|
||||
|
||||
client = Anthropic(api_key=ANTHROPIC_API_KEY)
|
||||
content: List[Dict[str, Any]] = []
|
||||
for filename, page_no, png_bytes in sorted(images_with_pages, key=lambda x: x[1]):
|
||||
content.append({
|
||||
"type": "image",
|
||||
"source": {
|
||||
"type": "base64",
|
||||
"media_type": "image/png",
|
||||
"data": base64.b64encode(png_bytes).decode("ascii"),
|
||||
},
|
||||
})
|
||||
content.append({
|
||||
"type": "text",
|
||||
"text": f"위 이미지 = '{filename}' = page {page_no}",
|
||||
})
|
||||
content.append({
|
||||
"type": "text",
|
||||
"text": (
|
||||
f"theme 이름: '{theme_name}'. 위 10장 디자인을 모방한 단일 Jinja2 HTML을 출력해라."
|
||||
),
|
||||
})
|
||||
|
||||
msg = client.messages.create(
|
||||
model=ANTHROPIC_MODEL_SONNET,
|
||||
max_tokens=16000,
|
||||
system=_VISION_SYSTEM_PROMPT,
|
||||
messages=[{"role": "user", "content": content}],
|
||||
)
|
||||
raw = msg.content[0].text.strip()
|
||||
# 코드펜스 자르기
|
||||
if raw.startswith("```"):
|
||||
raw = re.sub(r"^```(?:html)?\s*|\s*```$", "", raw).strip()
|
||||
summary = raw[:200].replace("\n", " ") # 첫 200자만 분석 요약으로
|
||||
return {
|
||||
"html": raw,
|
||||
"tokens": msg.usage.input_tokens + msg.usage.output_tokens,
|
||||
"summary": summary,
|
||||
}
|
||||
|
||||
|
||||
def _validate_html_template(html: str) -> None:
|
||||
"""Jinja2 Environment로 sanity render. 문법 오류면 TemplateSyntaxError 전파."""
|
||||
env = Environment(loader=BaseLoader())
|
||||
env.from_string(html) # 파싱만으로도 syntax error 검출
|
||||
|
||||
|
||||
def import_design_theme(theme_dir: str) -> Dict[str, Any]:
|
||||
"""templates/<theme>/pages/*.png 10장 → Vision → card.html.j2 생성.
|
||||
|
||||
Args:
|
||||
theme_dir: theme 디렉토리 절대 경로 (예: /app/app/templates/minimal)
|
||||
Returns:
|
||||
{theme_name, html_path, page_mapping, analysis_summary, tokens_used}
|
||||
"""
|
||||
theme_path = Path(theme_dir)
|
||||
theme_name = theme_path.name
|
||||
pages_dir = theme_path / "pages"
|
||||
|
||||
# 1. 매핑 + 검증
|
||||
mapping = _resolve_page_mapping(pages_dir)
|
||||
_validate_images(pages_dir)
|
||||
|
||||
# 2. Vision 호출
|
||||
images_with_pages = []
|
||||
for filename, page_no in mapping.items():
|
||||
png_bytes = (pages_dir / filename).read_bytes()
|
||||
images_with_pages.append((filename, page_no, png_bytes))
|
||||
|
||||
vision_result = _call_vision(images_with_pages, theme_name)
|
||||
html = vision_result["html"]
|
||||
|
||||
# 3. Jinja sanity
|
||||
html_path = theme_path / "card.html.j2"
|
||||
try:
|
||||
_validate_html_template(html)
|
||||
except TemplateSyntaxError as e:
|
||||
error_path = theme_path / "card.html.j2.error.txt"
|
||||
error_path.write_text(html, encoding="utf-8")
|
||||
raise ValueError(
|
||||
f"Vision 응답이 Jinja 문법 오류: {e}. 원본 HTML은 {error_path}에 저장됨"
|
||||
)
|
||||
|
||||
# 4. 백업 + 저장
|
||||
if html_path.exists():
|
||||
ts = datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
|
||||
backup_path = theme_path / f"card.html.j2.bak.{ts}"
|
||||
html_path.rename(backup_path)
|
||||
logger.info("기존 HTML 백업: %s", backup_path)
|
||||
|
||||
html_path.write_text(html, encoding="utf-8")
|
||||
|
||||
return {
|
||||
"theme_name": theme_name,
|
||||
"html_path": str(html_path),
|
||||
"page_mapping": mapping,
|
||||
"analysis_summary": vision_result["summary"],
|
||||
"tokens_used": vision_result["tokens"],
|
||||
}
|
||||
|
||||
|
||||
# ── CLI entrypoint ───────────────────────────────────────────────────────────
|
||||
|
||||
def main_cli():
|
||||
"""CLI: python -m app.design_importer <theme_name> [--templates-dir PATH]"""
|
||||
import argparse
|
||||
parser = argparse.ArgumentParser(
|
||||
prog="design_importer",
|
||||
description="사용자 카드 디자인 PNG 10장을 Claude Vision으로 분석해 card.html.j2 생성",
|
||||
)
|
||||
parser.add_argument("theme_name", help="templates/<theme_name>/ 디렉토리명")
|
||||
parser.add_argument(
|
||||
"--templates-dir",
|
||||
default="/app/app/templates",
|
||||
help="templates 루트 디렉토리 (기본 컨테이너 내부 경로)",
|
||||
)
|
||||
args = parser.parse_args()
|
||||
|
||||
theme_dir = Path(args.templates_dir) / args.theme_name
|
||||
if not theme_dir.is_dir():
|
||||
print(f"ERROR: theme 디렉토리 없음: {theme_dir}")
|
||||
raise SystemExit(1)
|
||||
|
||||
try:
|
||||
result = import_design_theme(str(theme_dir))
|
||||
except Exception as e:
|
||||
print(f"ERROR: {e}")
|
||||
raise SystemExit(1)
|
||||
|
||||
print(json.dumps(result, ensure_ascii=False, indent=2))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main_cli()
|
||||
69
insta-lab/app/internal_router.py
Normal file
@@ -0,0 +1,69 @@
|
||||
"""SP-4 — Windows insta-render → NAS internal webhook.
|
||||
|
||||
POST /api/internal/insta/update
|
||||
- X-Internal-Key 인증 필수
|
||||
- task DB row update (status, progress, result_path, error)
|
||||
- result_path는 nginx 서빙 경로 (예: /media/insta/{slate_id}/01.png)
|
||||
- succeeded 시 params에서 slate_id 추출 → result_id 세팅
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import json
|
||||
import logging
|
||||
from typing import Optional
|
||||
|
||||
from fastapi import APIRouter, Depends, HTTPException
|
||||
from pydantic import BaseModel, Field
|
||||
|
||||
from . import db
|
||||
from .auth import verify_internal_key
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
router = APIRouter()
|
||||
|
||||
|
||||
class UpdatePayload(BaseModel):
|
||||
task_id: str
|
||||
status: str = Field(..., description="processing|succeeded|failed")
|
||||
progress: int = Field(..., ge=0, le=100)
|
||||
result_path: Optional[str] = None
|
||||
error: Optional[str] = None
|
||||
|
||||
|
||||
@router.post(
|
||||
"/api/internal/insta/update",
|
||||
dependencies=[Depends(verify_internal_key)],
|
||||
)
|
||||
def insta_update(payload: UpdatePayload):
|
||||
task = db.get_task(payload.task_id)
|
||||
if task is None:
|
||||
raise HTTPException(404, f"task not found: {payload.task_id}")
|
||||
|
||||
result_id = None
|
||||
if payload.status == "succeeded":
|
||||
try:
|
||||
# DB stores params (not input_data) from create_task
|
||||
params_data = json.loads(task.get("params") or "{}")
|
||||
result_id = params_data.get("slate_id")
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
db.update_task(
|
||||
payload.task_id,
|
||||
payload.status,
|
||||
payload.progress,
|
||||
message=payload.result_path or "",
|
||||
result_id=result_id,
|
||||
error=payload.error,
|
||||
)
|
||||
# succeeded 시 slate_status도 'rendered'로 갱신 (cutover 후 NAS가 처리)
|
||||
if payload.status == "succeeded" and result_id is not None:
|
||||
try:
|
||||
db.update_slate_status(result_id, "rendered")
|
||||
except Exception:
|
||||
logger.exception("update_slate_status %s 실패 (무시)", result_id)
|
||||
logger.info(
|
||||
"internal/insta/update task=%s status=%s progress=%d",
|
||||
payload.task_id, payload.status, payload.progress,
|
||||
)
|
||||
return {"ok": True}
|
||||
@@ -14,11 +14,20 @@ from pydantic import BaseModel
|
||||
from .config import (
|
||||
CORS_ALLOW_ORIGINS, NAVER_CLIENT_ID, ANTHROPIC_API_KEY,
|
||||
INSTA_DATA_PATH, DB_PATH, DEFAULT_CATEGORY_SEEDS, KEYWORDS_PER_CATEGORY,
|
||||
INSTA_DEFAULT_THEME,
|
||||
)
|
||||
from . import db, news_collector, keyword_extractor, card_writer, card_renderer, trend_collector
|
||||
import redis.asyncio as aioredis
|
||||
|
||||
from . import db, news_collector, keyword_extractor, card_writer, trend_collector
|
||||
from .internal_router import router as internal_router
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
REDIS_URL = os.getenv("REDIS_URL", "redis://redis:6379")
|
||||
redis_client = aioredis.from_url(REDIS_URL, decode_responses=False)
|
||||
|
||||
app = FastAPI()
|
||||
app.include_router(internal_router)
|
||||
|
||||
app.add_middleware(
|
||||
CORSMiddleware,
|
||||
@@ -30,11 +39,16 @@ app.add_middleware(
|
||||
|
||||
|
||||
@app.on_event("startup")
|
||||
def on_startup():
|
||||
async def on_startup():
|
||||
os.makedirs(INSTA_DATA_PATH, exist_ok=True)
|
||||
db.init_db()
|
||||
|
||||
|
||||
@app.on_event("shutdown")
|
||||
async def on_shutdown():
|
||||
pass
|
||||
|
||||
|
||||
@app.get("/health")
|
||||
def health():
|
||||
return {"ok": True}
|
||||
@@ -145,12 +159,20 @@ async def _bg_create_slate(task_id: str, keyword: str, category: str, keyword_id
|
||||
try:
|
||||
db.update_task(task_id, "processing", 30, "카피 생성 중")
|
||||
sid = card_writer.write_slate(keyword=keyword, category=category)
|
||||
db.update_task(task_id, "processing", 70, "카드 렌더 중")
|
||||
await card_renderer.render_slate(sid)
|
||||
db.update_slate_status(sid, "rendered")
|
||||
if keyword_id:
|
||||
db.mark_keyword_used(keyword_id)
|
||||
db.update_task(task_id, "succeeded", 100, "완료", result_id=sid)
|
||||
# Redis 큐에 push — Windows insta-render worker가 BLPOP 후 렌더
|
||||
from datetime import datetime, timezone, timedelta
|
||||
kst = timezone(timedelta(hours=9))
|
||||
payload = {
|
||||
"task_id": task_id,
|
||||
"kind": "insta",
|
||||
"params": {"slate_id": sid, "theme": INSTA_DEFAULT_THEME},
|
||||
"submitted_at": datetime.now(kst).isoformat(),
|
||||
}
|
||||
await redis_client.rpush("queue:insta-render", json.dumps(payload))
|
||||
# 사용자는 GET /api/insta/tasks/{task_id}로 폴링 — worker가 webhook으로 status update
|
||||
db.update_task(task_id, "processing", 70, "Redis 큐 푸시 → Windows worker 대기 중", result_id=sid)
|
||||
except Exception as e:
|
||||
logger.exception("create slate failed")
|
||||
db.update_task(task_id, "failed", 0, "", error=str(e))
|
||||
@@ -184,13 +206,20 @@ def get_slate(slate_id: int):
|
||||
|
||||
|
||||
async def _bg_render(task_id: str, slate_id: int):
|
||||
"""Redis 큐에 push. 실 렌더는 Windows insta-render worker."""
|
||||
try:
|
||||
db.update_task(task_id, "processing", 30, "재렌더 중")
|
||||
await card_renderer.render_slate(slate_id)
|
||||
db.update_slate_status(slate_id, "rendered")
|
||||
db.update_task(task_id, "succeeded", 100, "완료", result_id=slate_id)
|
||||
from datetime import datetime, timezone, timedelta
|
||||
kst = timezone(timedelta(hours=9))
|
||||
payload = {
|
||||
"task_id": task_id,
|
||||
"kind": "insta",
|
||||
"params": {"slate_id": slate_id, "theme": INSTA_DEFAULT_THEME},
|
||||
"submitted_at": datetime.now(kst).isoformat(),
|
||||
}
|
||||
await redis_client.rpush("queue:insta-render", json.dumps(payload))
|
||||
db.update_task(task_id, "processing", 30, "Redis 큐 푸시 → Windows worker 대기 중")
|
||||
except Exception as e:
|
||||
logger.exception("render failed")
|
||||
logger.exception("queue push failed")
|
||||
db.update_task(task_id, "failed", 0, "", error=str(e))
|
||||
|
||||
|
||||
@@ -242,12 +271,40 @@ class TemplateBody(BaseModel):
|
||||
description: str = ""
|
||||
|
||||
|
||||
def _default_prompt_templates() -> dict:
|
||||
"""DB에 저장된 override가 없을 때 노출할 코드 기본값.
|
||||
생성 파이프라인이 실제로 폴백하는 값과 동일한 단일 소스를 사용."""
|
||||
return {
|
||||
"slate_writer": {
|
||||
"template": card_writer.DEFAULT_PROMPT,
|
||||
"description": "카드 10페이지 카피 생성 마스터 프롬프트 (Claude Sonnet). "
|
||||
"{category}/{keyword}/{articles} 치환자 필수.",
|
||||
},
|
||||
"category_seeds": {
|
||||
"template": json.dumps(DEFAULT_CATEGORY_SEEDS, ensure_ascii=False, indent=2),
|
||||
"description": "트렌드 수집·분류용 카테고리별 시드 키워드 (JSON). "
|
||||
"최상위 키가 분류 라벨로도 쓰임.",
|
||||
},
|
||||
}
|
||||
|
||||
|
||||
@app.get("/api/insta/templates/prompts/{name}")
|
||||
def get_prompt(name: str):
|
||||
pt = db.get_prompt_template(name)
|
||||
if not pt:
|
||||
raise HTTPException(404)
|
||||
return pt
|
||||
if pt:
|
||||
return pt
|
||||
# DB override 없음 → 코드 기본값 노출 (편집 UI가 마스터 프롬프트를 보고 수정 가능)
|
||||
defaults = _default_prompt_templates()
|
||||
if name in defaults:
|
||||
d = defaults[name]
|
||||
return {
|
||||
"name": name,
|
||||
"template": d["template"],
|
||||
"description": d["description"],
|
||||
"updated_at": None,
|
||||
"is_default": True,
|
||||
}
|
||||
raise HTTPException(404)
|
||||
|
||||
|
||||
@app.put("/api/insta/templates/prompts/{name}")
|
||||
|
||||
788
insta-lab/app/templates/minimal/card.html.j2
Normal file
@@ -0,0 +1,788 @@
|
||||
<!DOCTYPE html>
|
||||
<html lang="ko">
|
||||
<head>
|
||||
<meta charset="UTF-8">
|
||||
<meta name="viewport" content="width=device-width, initial-scale=1.0">
|
||||
<title>Hedgy Card News – {{ page_no }}/10</title>
|
||||
<link href="https://fonts.googleapis.com/css2?family=Noto+Sans+KR:wght@400;500;700;900&display=swap" rel="stylesheet">
|
||||
<style>
|
||||
*, *::before, *::after { box-sizing: border-box; margin: 0; padding: 0; }
|
||||
|
||||
body {
|
||||
background: #d0d0d0;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
justify-content: center;
|
||||
min-height: 100vh;
|
||||
font-family: 'Noto Sans KR', sans-serif;
|
||||
letter-spacing: -0.02em;
|
||||
line-height: 1.3;
|
||||
}
|
||||
|
||||
.card {
|
||||
position: relative;
|
||||
width: 1080px;
|
||||
height: 1350px;
|
||||
overflow: hidden;
|
||||
border-radius: 48px;
|
||||
background-size: cover;
|
||||
background-position: center center;
|
||||
background-repeat: no-repeat;
|
||||
}
|
||||
|
||||
/* ── shared overlay layer ── */
|
||||
.mask {
|
||||
position: absolute;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 1 insta_card_start.png
|
||||
bg: #f2f2f0 (light warm white)
|
||||
═══════════════════════════════════════════ */
|
||||
.p1-headline-mask {
|
||||
top: 222px; left: 48px;
|
||||
width: 580px; height: 150px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p1-headline-text {
|
||||
position: absolute;
|
||||
top: 222px; left: 48px;
|
||||
width: 580px; height: 150px;
|
||||
padding: 8px;
|
||||
font-size: 108px;
|
||||
font-weight: 900;
|
||||
color: #1e2235;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p1-body-mask {
|
||||
top: 400px; left: 48px;
|
||||
width: 460px; height: 120px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p1-body-text {
|
||||
position: absolute;
|
||||
top: 400px; left: 48px;
|
||||
width: 460px; height: 120px;
|
||||
padding: 8px;
|
||||
font-size: 34px;
|
||||
font-weight: 500;
|
||||
color: #4a4e5e;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
.p1-cta-mask {
|
||||
top: 562px; left: 48px;
|
||||
width: 260px; height: 76px;
|
||||
background: #2f6ef7;
|
||||
border-radius: 38px;
|
||||
padding: 8px;
|
||||
}
|
||||
.p1-cta-text {
|
||||
position: absolute;
|
||||
top: 562px; left: 48px;
|
||||
width: 260px; height: 76px;
|
||||
border-radius: 38px;
|
||||
padding: 8px 24px;
|
||||
font-size: 34px;
|
||||
font-weight: 700;
|
||||
color: #ffffff;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
justify-content: center;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 2 insta_card_keyword.png
|
||||
bg: #3a3fdb (blue gradient)
|
||||
═══════════════════════════════════════════ */
|
||||
.p2-headline-mask {
|
||||
top: 148px; left: 56px;
|
||||
width: 880px; height: 200px;
|
||||
background: #3a3fdb;
|
||||
padding: 8px;
|
||||
}
|
||||
.p2-headline-text {
|
||||
position: absolute;
|
||||
top: 148px; left: 56px;
|
||||
width: 880px; height: 200px;
|
||||
padding: 8px;
|
||||
font-size: 88px;
|
||||
font-weight: 900;
|
||||
color: #ffffff;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p2-body-mask {
|
||||
top: 370px; left: 56px;
|
||||
width: 880px; height: 80px;
|
||||
background: #3a3fdb;
|
||||
padding: 8px;
|
||||
}
|
||||
.p2-body-text {
|
||||
position: absolute;
|
||||
top: 370px; left: 56px;
|
||||
width: 880px; height: 80px;
|
||||
padding: 8px;
|
||||
font-size: 38px;
|
||||
font-weight: 500;
|
||||
color: #e0e4ff;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 3 insta_card_highlight.png
|
||||
bg: #3a3fdb
|
||||
═══════════════════════════════════════════ */
|
||||
.p3-headline-mask {
|
||||
top: 148px; left: 56px;
|
||||
width: 880px; height: 260px;
|
||||
background: #3a3fdb;
|
||||
padding: 8px;
|
||||
}
|
||||
.p3-headline-text {
|
||||
position: absolute;
|
||||
top: 148px; left: 56px;
|
||||
width: 880px; height: 260px;
|
||||
padding: 8px;
|
||||
font-size: 88px;
|
||||
font-weight: 900;
|
||||
color: #ffffff;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
.p3-body-mask {
|
||||
top: 430px; left: 56px;
|
||||
width: 880px; height: 80px;
|
||||
background: #3a3fdb;
|
||||
padding: 8px;
|
||||
}
|
||||
.p3-body-text {
|
||||
position: absolute;
|
||||
top: 430px; left: 56px;
|
||||
width: 880px; height: 80px;
|
||||
padding: 8px;
|
||||
font-size: 38px;
|
||||
font-weight: 500;
|
||||
color: #e0e4ff;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 4 insta_card_observation.png
|
||||
bg: #f2f2f0
|
||||
═══════════════════════════════════════════ */
|
||||
.p4-label-mask {
|
||||
top: 72px; left: 64px;
|
||||
width: 200px; height: 52px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p4-label-text {
|
||||
position: absolute;
|
||||
top: 72px; left: 64px;
|
||||
width: 200px; height: 52px;
|
||||
padding: 8px;
|
||||
font-size: 32px;
|
||||
font-weight: 700;
|
||||
color: #2f6ef7;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p4-headline-mask {
|
||||
top: 148px; left: 56px;
|
||||
width: 700px; height: 110px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p4-headline-text {
|
||||
position: absolute;
|
||||
top: 148px; left: 56px;
|
||||
width: 700px; height: 110px;
|
||||
padding: 8px;
|
||||
font-size: 72px;
|
||||
font-weight: 900;
|
||||
color: #1e2235;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p4-body-mask {
|
||||
top: 290px; left: 56px;
|
||||
width: 700px; height: 180px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p4-body-text {
|
||||
position: absolute;
|
||||
top: 290px; left: 56px;
|
||||
width: 700px; height: 180px;
|
||||
padding: 8px;
|
||||
font-size: 36px;
|
||||
font-weight: 400;
|
||||
color: #3a3e50;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 5 insta_card_memo.png
|
||||
bg: #f2f2f0
|
||||
═══════════════════════════════════════════ */
|
||||
.p5-label-mask {
|
||||
top: 72px; left: 64px;
|
||||
width: 200px; height: 52px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p5-label-text {
|
||||
position: absolute;
|
||||
top: 72px; left: 64px;
|
||||
width: 200px; height: 52px;
|
||||
padding: 8px;
|
||||
font-size: 32px;
|
||||
font-weight: 700;
|
||||
color: #2f6ef7;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p5-headline-mask {
|
||||
top: 160px; left: 56px;
|
||||
width: 700px; height: 110px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p5-headline-text {
|
||||
position: absolute;
|
||||
top: 160px; left: 56px;
|
||||
width: 700px; height: 110px;
|
||||
padding: 8px;
|
||||
font-size: 70px;
|
||||
font-weight: 900;
|
||||
color: #1e2235;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p5-body-mask {
|
||||
top: 308px; left: 56px;
|
||||
width: 700px; height: 180px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p5-body-text {
|
||||
position: absolute;
|
||||
top: 308px; left: 56px;
|
||||
width: 700px; height: 180px;
|
||||
padding: 8px;
|
||||
font-size: 34px;
|
||||
font-weight: 400;
|
||||
color: #3a3e50;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 6 insta_card_oneline.png
|
||||
bg: #f5f4f2
|
||||
═══════════════════════════════════════════ */
|
||||
.p6-headline-mask {
|
||||
top: 188px; left: 96px;
|
||||
width: 820px; height: 240px;
|
||||
background: #f5f4f2;
|
||||
padding: 8px;
|
||||
}
|
||||
.p6-headline-text {
|
||||
position: absolute;
|
||||
top: 188px; left: 96px;
|
||||
width: 820px; height: 240px;
|
||||
padding: 8px;
|
||||
font-size: 68px;
|
||||
font-weight: 900;
|
||||
color: #1e2235;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
.p6-body-mask {
|
||||
top: 448px; left: 96px;
|
||||
width: 620px; height: 120px;
|
||||
background: #f5f4f2;
|
||||
padding: 8px;
|
||||
}
|
||||
.p6-body-text {
|
||||
position: absolute;
|
||||
top: 448px; left: 96px;
|
||||
width: 620px; height: 120px;
|
||||
padding: 8px;
|
||||
font-size: 34px;
|
||||
font-weight: 400;
|
||||
color: #5a5e70;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 7 insta_card_checklist.png
|
||||
bg: #f5f4f2
|
||||
═══════════════════════════════════════════ */
|
||||
.p7-headline-mask {
|
||||
top: 110px; left: 56px;
|
||||
width: 740px; height: 110px;
|
||||
background: #f5f4f2;
|
||||
padding: 8px;
|
||||
}
|
||||
.p7-headline-text {
|
||||
position: absolute;
|
||||
top: 110px; left: 56px;
|
||||
width: 740px; height: 110px;
|
||||
padding: 8px;
|
||||
font-size: 74px;
|
||||
font-weight: 900;
|
||||
color: #1e2235;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
/* checklist items – 4 rows */
|
||||
.p7-item1-mask { top: 258px; left: 164px; width: 720px; height: 80px; background: #f5f4f2; padding: 8px; }
|
||||
.p7-item1-text { position: absolute; top: 258px; left: 164px; width: 720px; height: 80px; padding: 8px; font-size: 40px; font-weight: 500; color: #2a2d3e; word-wrap: break-word; overflow: hidden; display: flex; align-items: center; }
|
||||
.p7-item2-mask { top: 388px; left: 164px; width: 720px; height: 80px; background: #f5f4f2; padding: 8px; }
|
||||
.p7-item2-text { position: absolute; top: 388px; left: 164px; width: 720px; height: 80px; padding: 8px; font-size: 40px; font-weight: 500; color: #2a2d3e; word-wrap: break-word; overflow: hidden; display: flex; align-items: center; }
|
||||
.p7-item3-mask { top: 518px; left: 164px; width: 720px; height: 80px; background: #f5f4f2; padding: 8px; }
|
||||
.p7-item3-text { position: absolute; top: 518px; left: 164px; width: 720px; height: 80px; padding: 8px; font-size: 40px; font-weight: 500; color: #2a2d3e; word-wrap: break-word; overflow: hidden; display: flex; align-items: center; }
|
||||
.p7-item4-mask { top: 648px; left: 164px; width: 720px; height: 80px; background: #f5f4f2; padding: 8px; }
|
||||
.p7-item4-text { position: absolute; top: 648px; left: 164px; width: 720px; height: 80px; padding: 8px; font-size: 40px; font-weight: 500; color: #2a2d3e; word-wrap: break-word; overflow: hidden; display: flex; align-items: center; }
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 8 insta_card_study.png
|
||||
bg: #f2f2f0
|
||||
═══════════════════════════════════════════ */
|
||||
.p8-label-mask {
|
||||
top: 72px; left: 64px;
|
||||
width: 200px; height: 52px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p8-label-text {
|
||||
position: absolute;
|
||||
top: 72px; left: 64px;
|
||||
width: 200px; height: 52px;
|
||||
padding: 8px;
|
||||
font-size: 32px;
|
||||
font-weight: 700;
|
||||
color: #2f6ef7;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p8-headline-mask {
|
||||
top: 160px; left: 56px;
|
||||
width: 700px; height: 110px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p8-headline-text {
|
||||
position: absolute;
|
||||
top: 160px; left: 56px;
|
||||
width: 700px; height: 110px;
|
||||
padding: 8px;
|
||||
font-size: 72px;
|
||||
font-weight: 900;
|
||||
color: #1e2235;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p8-body-mask {
|
||||
top: 306px; left: 56px;
|
||||
width: 700px; height: 180px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p8-body-text {
|
||||
position: absolute;
|
||||
top: 306px; left: 56px;
|
||||
width: 700px; height: 180px;
|
||||
padding: 8px;
|
||||
font-size: 34px;
|
||||
font-weight: 400;
|
||||
color: #3a3e50;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 9 insta_card_cta.png
|
||||
bg: #f5f4f2
|
||||
═══════════════════════════════════════════ */
|
||||
.p9-headline-mask {
|
||||
top: 182px; left: 56px;
|
||||
width: 970px; height: 120px;
|
||||
background: #f5f4f2;
|
||||
padding: 8px;
|
||||
}
|
||||
.p9-headline-text {
|
||||
position: absolute;
|
||||
top: 182px; left: 56px;
|
||||
width: 970px; height: 120px;
|
||||
padding: 8px;
|
||||
font-size: 82px;
|
||||
font-weight: 900;
|
||||
color: #1e2235;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
justify-content: center;
|
||||
text-align: center;
|
||||
}
|
||||
.p9-cta-mask {
|
||||
top: 332px; left: 180px;
|
||||
width: 720px; height: 88px;
|
||||
background: #2244cc;
|
||||
border-radius: 44px;
|
||||
padding: 8px;
|
||||
}
|
||||
.p9-cta-text {
|
||||
position: absolute;
|
||||
top: 332px; left: 180px;
|
||||
width: 720px; height: 88px;
|
||||
border-radius: 44px;
|
||||
padding: 8px;
|
||||
font-size: 42px;
|
||||
font-weight: 700;
|
||||
color: #ffffff;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
justify-content: center;
|
||||
}
|
||||
.p9-body-mask {
|
||||
top: 980px; left: 56px;
|
||||
width: 860px; height: 60px;
|
||||
background: #f5f4f2;
|
||||
padding: 8px;
|
||||
}
|
||||
.p9-body-text {
|
||||
position: absolute;
|
||||
top: 980px; left: 56px;
|
||||
width: 860px; height: 60px;
|
||||
padding: 8px;
|
||||
font-size: 30px;
|
||||
font-weight: 400;
|
||||
color: #5a5e70;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
|
||||
/* ═══════════════════════════════════════════
|
||||
PAGE 10 insta_card_finish.png
|
||||
bg: #f2f2f0
|
||||
═══════════════════════════════════════════ */
|
||||
.p10-label-mask {
|
||||
top: 72px; left: 64px;
|
||||
width: 200px; height: 52px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p10-label-text {
|
||||
position: absolute;
|
||||
top: 72px; left: 64px;
|
||||
width: 200px; height: 52px;
|
||||
padding: 8px;
|
||||
font-size: 32px;
|
||||
font-weight: 700;
|
||||
color: #2f6ef7;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p10-headline-mask {
|
||||
top: 155px; left: 56px;
|
||||
width: 700px; height: 110px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p10-headline-text {
|
||||
position: absolute;
|
||||
top: 155px; left: 56px;
|
||||
width: 700px; height: 110px;
|
||||
padding: 8px;
|
||||
font-size: 72px;
|
||||
font-weight: 900;
|
||||
color: #1e2235;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
}
|
||||
.p10-body-mask {
|
||||
top: 302px; left: 56px;
|
||||
width: 680px; height: 180px;
|
||||
background: #f2f2f0;
|
||||
padding: 8px;
|
||||
}
|
||||
.p10-body-text {
|
||||
position: absolute;
|
||||
top: 302px; left: 56px;
|
||||
width: 680px; height: 180px;
|
||||
padding: 8px;
|
||||
font-size: 34px;
|
||||
font-weight: 400;
|
||||
color: #3a3e50;
|
||||
word-wrap: break-word;
|
||||
overflow: hidden;
|
||||
}
|
||||
|
||||
/* checklist icon (page 7) */
|
||||
.check-icon {
|
||||
position: absolute;
|
||||
width: 76px; height: 76px;
|
||||
background: #3366ee;
|
||||
border-radius: 18px;
|
||||
display: flex;
|
||||
align-items: center;
|
||||
justify-content: center;
|
||||
}
|
||||
.check-icon svg { width: 44px; height: 44px; }
|
||||
|
||||
/* quote mark (page 2 & 3) */
|
||||
.quote-mark {
|
||||
position: absolute;
|
||||
font-size: 100px;
|
||||
font-weight: 900;
|
||||
color: #ffffff;
|
||||
line-height: 1;
|
||||
opacity: 0.95;
|
||||
}
|
||||
|
||||
/* left bar (page 6) */
|
||||
.left-bar {
|
||||
position: absolute;
|
||||
top: 196px; left: 64px;
|
||||
width: 10px; height: 232px;
|
||||
background: #7c5ce0;
|
||||
border-radius: 5px;
|
||||
}
|
||||
</style>
|
||||
</head>
|
||||
<body>
|
||||
|
||||
{% if page_no == 1 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 1 · COVER · insta_card_start.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_start.png');">
|
||||
<!-- headline mask + text -->
|
||||
<div class="mask p1-headline-mask"></div>
|
||||
<div class="mask p1-headline-text">{{ headline }}</div>
|
||||
<!-- body mask + text -->
|
||||
<div class="mask p1-body-mask"></div>
|
||||
<div class="mask p1-body-text">{{ body }}</div>
|
||||
<!-- cta mask + text -->
|
||||
<div class="mask p1-cta-mask"></div>
|
||||
<div class="mask p1-cta-text">{{ cta }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 2 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 2 · insta_card_keyword.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_keyword.png');">
|
||||
<!-- quote mark mask -->
|
||||
<div class="mask" style="top:60px;left:48px;width:120px;height:100px;background:#3a3fdb;padding:8px;"></div>
|
||||
<div class="quote-mark" style="top:52px;left:50px;">"</div>
|
||||
<!-- headline -->
|
||||
<div class="mask p2-headline-mask"></div>
|
||||
<div class="mask p2-headline-text">{{ headline }}</div>
|
||||
<!-- body -->
|
||||
<div class="mask p2-body-mask"></div>
|
||||
<div class="mask p2-body-text">{{ body }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 3 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 3 · insta_card_highlight.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_highlight.png');">
|
||||
<!-- quote mark mask -->
|
||||
<div class="mask" style="top:60px;left:48px;width:120px;height:100px;background:#3a3fdb;padding:8px;"></div>
|
||||
<div class="quote-mark" style="top:52px;left:50px;">"</div>
|
||||
<!-- headline -->
|
||||
<div class="mask p3-headline-mask"></div>
|
||||
<div class="mask p3-headline-text">{{ headline }}</div>
|
||||
<!-- body -->
|
||||
<div class="mask p3-body-mask"></div>
|
||||
<div class="mask p3-body-text">{{ body }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 4 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 4 · insta_card_observation.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_observation.png');">
|
||||
<!-- day label -->
|
||||
<div class="mask p4-label-mask"></div>
|
||||
<div class="mask p4-label-text">{{ label }}</div>
|
||||
<!-- headline -->
|
||||
<div class="mask p4-headline-mask"></div>
|
||||
<div class="mask p4-headline-text">{{ headline }}</div>
|
||||
<!-- body -->
|
||||
<div class="mask p4-body-mask"></div>
|
||||
<div class="mask p4-body-text">{{ body }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 5 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 5 · insta_card_memo.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_memo.png');">
|
||||
<!-- day label -->
|
||||
<div class="mask p5-label-mask"></div>
|
||||
<div class="mask p5-label-text">{{ label }}</div>
|
||||
<!-- headline -->
|
||||
<div class="mask p5-headline-mask"></div>
|
||||
<div class="mask p5-headline-text">{{ headline }}</div>
|
||||
<!-- body -->
|
||||
<div class="mask p5-body-mask"></div>
|
||||
<div class="mask p5-body-text">{{ body }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 6 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 6 · insta_card_oneline.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_oneline.png');">
|
||||
<!-- purple left bar -->
|
||||
<div class="left-bar"></div>
|
||||
<!-- headline -->
|
||||
<div class="mask p6-headline-mask"></div>
|
||||
<div class="mask p6-headline-text">{{ headline }}</div>
|
||||
<!-- body -->
|
||||
<div class="mask p6-body-mask"></div>
|
||||
<div class="mask p6-body-text">{{ body }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 7 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 7 · insta_card_checklist.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_checklist.png');">
|
||||
<!-- section title -->
|
||||
<div class="mask p7-headline-mask"></div>
|
||||
<div class="mask p7-headline-text">{{ headline }}</div>
|
||||
|
||||
<!-- check icons -->
|
||||
<div class="check-icon" style="top:252px;left:56px;">
|
||||
<svg viewBox="0 0 24 24" fill="none" stroke="#fff" stroke-width="3" stroke-linecap="round" stroke-linejoin="round"><polyline points="20 6 9 17 4 12"/></svg>
|
||||
</div>
|
||||
<div class="check-icon" style="top:382px;left:56px;">
|
||||
<svg viewBox="0 0 24 24" fill="none" stroke="#fff" stroke-width="3" stroke-linecap="round" stroke-linejoin="round"><polyline points="20 6 9 17 4 12"/></svg>
|
||||
</div>
|
||||
<div class="check-icon" style="top:512px;left:56px;">
|
||||
<svg viewBox="0 0 24 24" fill="none" stroke="#fff" stroke-width="3" stroke-linecap="round" stroke-linejoin="round"><polyline points="20 6 9 17 4 12"/></svg>
|
||||
</div>
|
||||
<div class="check-icon" style="top:642px;left:56px;">
|
||||
<svg viewBox="0 0 24 24" fill="none" stroke="#fff" stroke-width="3" stroke-linecap="round" stroke-linejoin="round"><polyline points="20 6 9 17 4 12"/></svg>
|
||||
</div>
|
||||
|
||||
<!-- checklist items -->
|
||||
<div class="mask p7-item1-mask"></div>
|
||||
<div class="mask p7-item1-text">{{ item1 }}</div>
|
||||
<div class="mask p7-item2-mask"></div>
|
||||
<div class="mask p7-item2-text">{{ item2 }}</div>
|
||||
<div class="mask p7-item3-mask"></div>
|
||||
<div class="mask p7-item3-text">{{ item3 }}</div>
|
||||
<div class="mask p7-item4-mask"></div>
|
||||
<div class="mask p7-item4-text">{{ item4 }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 8 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 8 · insta_card_study.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_study.png');">
|
||||
<!-- day label -->
|
||||
<div class="mask p8-label-mask"></div>
|
||||
<div class="mask p8-label-text">{{ label }}</div>
|
||||
<!-- headline -->
|
||||
<div class="mask p8-headline-mask"></div>
|
||||
<div class="mask p8-headline-text">{{ headline }}</div>
|
||||
<!-- body -->
|
||||
<div class="mask p8-body-mask"></div>
|
||||
<div class="mask p8-body-text">{{ body }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 9 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 9 · insta_card_cta.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_cta.png');">
|
||||
<!-- headline -->
|
||||
<div class="mask p9-headline-mask"></div>
|
||||
<div class="mask p9-headline-text">{{ headline }}</div>
|
||||
<!-- cta button -->
|
||||
<div class="mask p9-cta-mask"></div>
|
||||
<div class="mask p9-cta-text">{{ cta }}</div>
|
||||
<!-- body / next episode teaser -->
|
||||
<div class="mask p9-body-mask"></div>
|
||||
<div class="mask p9-body-text">{{ body }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
{% if page_no == 10 %}
|
||||
<!-- ══════════════════════════════════════
|
||||
PAGE 10 · insta_card_finish.png
|
||||
══════════════════════════════════════ -->
|
||||
<div class="card" style="background-image: url('pages/insta_card_finish.png');">
|
||||
<!-- day label -->
|
||||
<div class="mask p10-label-mask"></div>
|
||||
<div class="mask p10-label-text">{{ label }}</div>
|
||||
<!-- headline -->
|
||||
<div class="mask p10-headline-mask"></div>
|
||||
<div class="mask p10-headline-text">{{ headline }}</div>
|
||||
<!-- body -->
|
||||
<div class="mask p10-body-mask"></div>
|
||||
<div class="mask p10-body-text">{{ body }}</div>
|
||||
</div>
|
||||
{% endif %}
|
||||
|
||||
</body>
|
||||
</html>
|
||||
12
insta-lab/app/templates/minimal/pages/_order.json
Normal file
@@ -0,0 +1,12 @@
|
||||
{
|
||||
"insta_card_start.png": 1,
|
||||
"insta_card_keyword.png": 2,
|
||||
"insta_card_highlight.png": 3,
|
||||
"insta_card_observation.png": 4,
|
||||
"insta_card_memo.png": 5,
|
||||
"insta_card_oneline.png": 6,
|
||||
"insta_card_checklist.png": 7,
|
||||
"insta_card_study.png": 8,
|
||||
"insta_card_cta.png": 9,
|
||||
"insta_card_finish.png": 10
|
||||
}
|
||||
BIN
insta-lab/app/templates/minimal/pages/insta_card_checklist.png
Normal file
|
After Width: | Height: | Size: 1010 KiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_cta.png
Normal file
|
After Width: | Height: | Size: 1.1 MiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_finish.png
Normal file
|
After Width: | Height: | Size: 1.1 MiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_highlight.png
Normal file
|
After Width: | Height: | Size: 1.3 MiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_keyword.png
Normal file
|
After Width: | Height: | Size: 1.2 MiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_memo.png
Normal file
|
After Width: | Height: | Size: 1.1 MiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_observation.png
Normal file
|
After Width: | Height: | Size: 1.1 MiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_oneline.png
Normal file
|
After Width: | Height: | Size: 1.1 MiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_start.png
Normal file
|
After Width: | Height: | Size: 1.1 MiB |
BIN
insta-lab/app/templates/minimal/pages/insta_card_study.png
Normal file
|
After Width: | Height: | Size: 1.3 MiB |
@@ -4,6 +4,7 @@ requests==2.32.3
|
||||
httpx>=0.27
|
||||
anthropic==0.52.0
|
||||
jinja2>=3.1.4
|
||||
playwright==1.48.0
|
||||
Pillow>=10
|
||||
pytest>=8.0
|
||||
pytest-asyncio>=0.24
|
||||
redis>=5.0
|
||||
|
||||
25
insta-lab/tests/test_auth.py
Normal file
@@ -0,0 +1,25 @@
|
||||
"""verify_internal_key dependency — Windows webhook 인증."""
|
||||
import os
|
||||
import pytest
|
||||
from fastapi import HTTPException
|
||||
from app.auth import verify_internal_key
|
||||
|
||||
|
||||
def test_valid_key_passes(monkeypatch):
|
||||
monkeypatch.setenv("INTERNAL_API_KEY", "secret123")
|
||||
# dependency가 raise 안 하면 통과
|
||||
verify_internal_key(x_internal_key="secret123")
|
||||
|
||||
|
||||
def test_invalid_key_raises_401(monkeypatch):
|
||||
monkeypatch.setenv("INTERNAL_API_KEY", "secret123")
|
||||
with pytest.raises(HTTPException) as exc:
|
||||
verify_internal_key(x_internal_key="wrong")
|
||||
assert exc.value.status_code == 401
|
||||
|
||||
|
||||
def test_missing_env_key_raises_401(monkeypatch):
|
||||
monkeypatch.delenv("INTERNAL_API_KEY", raising=False)
|
||||
with pytest.raises(HTTPException) as exc:
|
||||
verify_internal_key(x_internal_key="any")
|
||||
assert exc.value.status_code == 401
|
||||
@@ -1,48 +0,0 @@
|
||||
import os
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
|
||||
from app import db as db_module
|
||||
from app import card_renderer
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def tmp_db_and_dirs(monkeypatch, tmp_path):
|
||||
fd, path = tempfile.mkstemp(suffix=".db")
|
||||
os.close(fd)
|
||||
monkeypatch.setattr(db_module, "DB_PATH", path)
|
||||
monkeypatch.setattr(card_renderer, "CARDS_DIR", str(tmp_path / "cards"))
|
||||
db_module.init_db()
|
||||
yield path
|
||||
import gc
|
||||
gc.collect()
|
||||
for ext in ("", "-wal", "-shm"):
|
||||
try:
|
||||
os.remove(path + ext)
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
|
||||
def _seed_slate() -> int:
|
||||
return db_module.add_card_slate({
|
||||
"keyword": "테스트",
|
||||
"category": "economy",
|
||||
"status": "draft",
|
||||
"cover_copy": {"headline": "커버 헤드라인", "body": "서브카피", "accent_color": "#0F62FE"},
|
||||
"body_copies": [{"headline": f"본문 {i+1}", "body": f"내용 {i+1}"} for i in range(8)],
|
||||
"cta_copy": {"headline": "마무리", "body": "감사합니다", "cta": "팔로우"},
|
||||
})
|
||||
|
||||
|
||||
@pytest.mark.asyncio
|
||||
async def test_render_slate_produces_ten_pngs(tmp_db_and_dirs):
|
||||
sid = _seed_slate()
|
||||
paths = await card_renderer.render_slate(sid)
|
||||
assert len(paths) == 10
|
||||
for p in paths:
|
||||
assert os.path.exists(p)
|
||||
assert os.path.getsize(p) > 1000 # > 1 KB sanity
|
||||
db_module.update_slate_status(sid, "rendered")
|
||||
assets = db_module.list_card_assets(sid)
|
||||
assert {a["page_index"] for a in assets} == set(range(1, 11))
|
||||
176
insta-lab/tests/test_design_importer.py
Normal file
@@ -0,0 +1,176 @@
|
||||
"""design_importer 회귀 테스트."""
|
||||
import json
|
||||
import os
|
||||
import tempfile
|
||||
from pathlib import Path
|
||||
|
||||
import pytest
|
||||
|
||||
from app import design_importer
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def tmp_theme(tmp_path):
|
||||
"""templates/<theme>/pages/ 구조를 가진 임시 디렉토리."""
|
||||
pages = tmp_path / "minimal" / "pages"
|
||||
pages.mkdir(parents=True)
|
||||
return tmp_path / "minimal"
|
||||
|
||||
|
||||
def _touch(pages_dir: Path, names: list[str]):
|
||||
for n in names:
|
||||
(pages_dir / n).write_bytes(b"") # 매핑 테스트는 dimension 검증 안 함
|
||||
|
||||
|
||||
def test_auto_page_mapping_with_cover_and_cta(tmp_theme):
|
||||
"""cover 키워드 → 1, cta 키워드 → 10, 나머지는 알파벳 순 2~9."""
|
||||
_touch(tmp_theme / "pages", [
|
||||
"insta_card_start.png", # start → page 1 (cover priority)
|
||||
"insta_card_keyword.png",
|
||||
"insta_card_highlight.png",
|
||||
"insta_card_observation.png",
|
||||
"insta_card_memo.png",
|
||||
"insta_card_oneline.png",
|
||||
"insta_card_checklist.png",
|
||||
"insta_card_study.png",
|
||||
"insta_card_cta.png", # cta → page 10
|
||||
"insta_card_finish.png", # finish은 cta가 이미 채워 본문 풀로
|
||||
])
|
||||
mapping = design_importer._resolve_page_mapping(tmp_theme / "pages")
|
||||
assert mapping["insta_card_start.png"] == 1
|
||||
assert mapping["insta_card_cta.png"] == 10
|
||||
# 본문 풀 (남은 8장)은 알파벳 정렬: checklist, finish, highlight, keyword, memo, observation, oneline, study
|
||||
body_pages = {p: n for n, p in mapping.items() if 2 <= p <= 9}
|
||||
assert body_pages[2] == "insta_card_checklist.png"
|
||||
assert body_pages[3] == "insta_card_finish.png"
|
||||
assert body_pages[9] == "insta_card_study.png"
|
||||
assert set(mapping.values()) == set(range(1, 11))
|
||||
|
||||
|
||||
def test_explicit_order_json_overrides_auto_mapping(tmp_theme):
|
||||
"""_order.json이 있으면 자동 매핑보다 우선."""
|
||||
pages = tmp_theme / "pages"
|
||||
_touch(pages, [
|
||||
"insta_card_start.png",
|
||||
"insta_card_cta.png",
|
||||
"insta_card_finish.png",
|
||||
] + [f"insta_card_body{i}.png" for i in range(1, 8)])
|
||||
(pages / "_order.json").write_text(json.dumps({
|
||||
"insta_card_start.png": 1,
|
||||
"insta_card_finish.png": 10, # cta 대신 finish를 page 10으로
|
||||
"insta_card_cta.png": 5, # cta를 본문 한가운데로 강제
|
||||
"insta_card_body1.png": 2,
|
||||
"insta_card_body2.png": 3,
|
||||
"insta_card_body3.png": 4,
|
||||
"insta_card_body4.png": 6,
|
||||
"insta_card_body5.png": 7,
|
||||
"insta_card_body6.png": 8,
|
||||
"insta_card_body7.png": 9,
|
||||
}), encoding="utf-8")
|
||||
mapping = design_importer._resolve_page_mapping(pages)
|
||||
assert mapping["insta_card_finish.png"] == 10
|
||||
assert mapping["insta_card_cta.png"] == 5
|
||||
assert mapping["insta_card_start.png"] == 1
|
||||
|
||||
|
||||
def test_validates_exactly_ten_pngs(tmp_theme):
|
||||
"""PNG가 정확히 10장이 아니면 ValueError."""
|
||||
_touch(tmp_theme / "pages", [f"x{i}.png" for i in range(5)]) # 5장
|
||||
with pytest.raises(ValueError, match="10"):
|
||||
design_importer._resolve_page_mapping(tmp_theme / "pages")
|
||||
|
||||
|
||||
def _make_png(path: Path, size: tuple[int, int]) -> None:
|
||||
"""size 픽셀의 단색 PNG를 생성."""
|
||||
from PIL import Image
|
||||
Image.new("RGB", size, color=(200, 200, 200)).save(path, format="PNG")
|
||||
|
||||
|
||||
def test_validate_images_accepts_higher_resolution_4_5_ratio(tmp_theme):
|
||||
"""1080x1350 외에도 같은 4:5 비율이면 통과 (예: 1122x1402, 디자인 도구 export 흔한 사이즈)."""
|
||||
pages = tmp_theme / "pages"
|
||||
for i in range(10):
|
||||
_make_png(pages / f"insta_card_{i:02d}.png", (1122, 1402))
|
||||
design_importer._validate_images(pages) # 예외 없으면 통과
|
||||
|
||||
|
||||
def test_validate_images_accepts_1080x1350(tmp_theme):
|
||||
pages = tmp_theme / "pages"
|
||||
for i in range(10):
|
||||
_make_png(pages / f"insta_card_{i:02d}.png", (1080, 1350))
|
||||
# 예외 없이 통과해야 함
|
||||
design_importer._validate_images(pages)
|
||||
|
||||
|
||||
def test_validate_images_rejects_wrong_dimensions(tmp_theme):
|
||||
pages = tmp_theme / "pages"
|
||||
for i in range(10):
|
||||
size = (800, 800) if i == 5 else (1080, 1350)
|
||||
_make_png(pages / f"insta_card_{i:02d}.png", size)
|
||||
with pytest.raises(ValueError, match="1080x1350"):
|
||||
design_importer._validate_images(pages)
|
||||
|
||||
|
||||
def test_import_design_theme_writes_html_via_mocked_vision(tmp_theme, monkeypatch):
|
||||
"""Vision mock이 정상 HTML 반환 시 card.html.j2 파일이 저장되고 결과 dict 반환."""
|
||||
pages = tmp_theme / "pages"
|
||||
names = [
|
||||
"insta_card_start.png",
|
||||
"insta_card_cta.png",
|
||||
] + [f"insta_card_body{i}.png" for i in range(8)]
|
||||
for n in names:
|
||||
_make_png(pages / n, (1080, 1350))
|
||||
|
||||
fake_html = """<!DOCTYPE html><html><body>
|
||||
{% if page_no == 1 %}<div class="cover">{{ headline }}</div>{% endif %}
|
||||
{% if page_no >= 2 and page_no <= 9 %}<div class="body">{{ headline }}<p>{{ body }}</p></div>{% endif %}
|
||||
{% if page_no == 10 %}<div class="cta">{{ headline }}<p>{{ cta }}</p></div>{% endif %}
|
||||
</body></html>"""
|
||||
|
||||
def fake_vision_call(images_with_pages, theme_name):
|
||||
return {"html": fake_html, "tokens": 12345, "summary": "test summary"}
|
||||
|
||||
monkeypatch.setattr(design_importer, "_call_vision", fake_vision_call)
|
||||
|
||||
result = design_importer.import_design_theme(str(tmp_theme))
|
||||
assert result["theme_name"] == "minimal"
|
||||
assert "card.html.j2" in result["html_path"]
|
||||
assert (tmp_theme / "card.html.j2").exists()
|
||||
assert (tmp_theme / "card.html.j2").read_text(encoding="utf-8") == fake_html
|
||||
assert "insta_card_start.png" in result["page_mapping"]
|
||||
assert result["tokens_used"] == 12345
|
||||
|
||||
|
||||
def test_import_design_theme_raises_on_jinja_parse_failure(tmp_theme, monkeypatch):
|
||||
"""Vision이 깨진 Jinja 반환 시 ValueError + .error.txt 보존."""
|
||||
pages = tmp_theme / "pages"
|
||||
for i in range(10):
|
||||
_make_png(pages / f"insta_card_{i:02d}.png", (1080, 1350))
|
||||
|
||||
broken_html = "<div>{% if page_no == 1 unclosed"
|
||||
|
||||
monkeypatch.setattr(design_importer, "_call_vision",
|
||||
lambda imgs, name: {"html": broken_html, "tokens": 100, "summary": ""})
|
||||
|
||||
with pytest.raises(ValueError, match="Jinja"):
|
||||
design_importer.import_design_theme(str(tmp_theme))
|
||||
assert (tmp_theme / "card.html.j2.error.txt").exists()
|
||||
|
||||
|
||||
def test_import_design_theme_backs_up_existing_html(tmp_theme, monkeypatch):
|
||||
"""기존 card.html.j2가 있으면 .bak.YYYYMMDD-HHMMSS로 백업 후 새로 작성."""
|
||||
pages = tmp_theme / "pages"
|
||||
for i in range(10):
|
||||
_make_png(pages / f"insta_card_{i:02d}.png", (1080, 1350))
|
||||
(tmp_theme / "card.html.j2").write_text("OLD HTML", encoding="utf-8")
|
||||
|
||||
monkeypatch.setattr(design_importer, "_call_vision",
|
||||
lambda imgs, name: {"html": "<div>{{ headline }}</div>", "tokens": 50, "summary": ""})
|
||||
|
||||
design_importer.import_design_theme(str(tmp_theme))
|
||||
# .bak.* 파일이 생성되었어야 함
|
||||
backups = list(tmp_theme.glob("card.html.j2.bak.*"))
|
||||
assert len(backups) == 1
|
||||
assert backups[0].read_text(encoding="utf-8") == "OLD HTML"
|
||||
# 새 파일은 새 내용
|
||||
assert "headline" in (tmp_theme / "card.html.j2").read_text(encoding="utf-8")
|
||||
80
insta-lab/tests/test_internal_router.py
Normal file
@@ -0,0 +1,80 @@
|
||||
"""POST /api/internal/insta/update — Windows worker webhook."""
|
||||
import os
|
||||
import pytest
|
||||
from fastapi import FastAPI
|
||||
from fastapi.testclient import TestClient
|
||||
from app.internal_router import router
|
||||
from app import db
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def _set_key(monkeypatch):
|
||||
monkeypatch.setenv("INTERNAL_API_KEY", "test-secret")
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def client(tmp_path, monkeypatch):
|
||||
# SQLite in-memory test
|
||||
monkeypatch.setenv("INSTA_DATA_PATH", str(tmp_path))
|
||||
db.init_db()
|
||||
app = FastAPI()
|
||||
app.include_router(router)
|
||||
return TestClient(app)
|
||||
|
||||
|
||||
def _make_task():
|
||||
return db.create_task("slate_render", {"slate_id": 42})
|
||||
|
||||
|
||||
def test_update_with_valid_key_updates_db(client):
|
||||
tid = _make_task()
|
||||
r = client.post(
|
||||
"/api/internal/insta/update",
|
||||
headers={"X-Internal-Key": "test-secret"},
|
||||
json={"task_id": tid, "status": "processing", "progress": 30},
|
||||
)
|
||||
assert r.status_code == 200
|
||||
task = db.get_task(tid)
|
||||
assert task["status"] == "processing"
|
||||
assert task["progress"] == 30
|
||||
|
||||
|
||||
def test_update_with_invalid_key_returns_401(client):
|
||||
tid = _make_task()
|
||||
r = client.post(
|
||||
"/api/internal/insta/update",
|
||||
headers={"X-Internal-Key": "wrong"},
|
||||
json={"task_id": tid, "status": "processing", "progress": 30},
|
||||
)
|
||||
assert r.status_code == 401
|
||||
|
||||
|
||||
def test_update_succeeded_sets_result_path(client):
|
||||
tid = _make_task()
|
||||
r = client.post(
|
||||
"/api/internal/insta/update",
|
||||
headers={"X-Internal-Key": "test-secret"},
|
||||
json={
|
||||
"task_id": tid,
|
||||
"status": "succeeded",
|
||||
"progress": 100,
|
||||
"result_path": "/media/insta/42/01.png",
|
||||
},
|
||||
)
|
||||
assert r.status_code == 200
|
||||
task = db.get_task(tid)
|
||||
assert task["status"] == "succeeded"
|
||||
assert task["result_id"] is not None # slate_id from input_data
|
||||
|
||||
|
||||
def test_update_failed_records_error(client):
|
||||
tid = _make_task()
|
||||
r = client.post(
|
||||
"/api/internal/insta/update",
|
||||
headers={"X-Internal-Key": "test-secret"},
|
||||
json={"task_id": tid, "status": "failed", "progress": 0, "error": "Chromium crashed"},
|
||||
)
|
||||
assert r.status_code == 200
|
||||
task = db.get_task(tid)
|
||||
assert task["status"] == "failed"
|
||||
assert "Chromium" in (task.get("error") or "")
|
||||
@@ -58,7 +58,11 @@ def test_keywords_listing(client):
|
||||
|
||||
|
||||
def test_create_slate_kicks_background_task(client, monkeypatch):
|
||||
from app import main, card_writer, card_renderer
|
||||
"""Plan-B-Insta SP-4: 슬레이트 생성 후 Redis push → task status=processing (Windows worker 대기).
|
||||
|
||||
card_renderer는 NAS에서 제거됨. write_slate → Redis rpush 경로만 검증.
|
||||
"""
|
||||
from app import main, card_writer
|
||||
|
||||
def fake_write(keyword, category, articles=None):
|
||||
return db_module.add_card_slate({
|
||||
@@ -68,24 +72,25 @@ def test_create_slate_kicks_background_task(client, monkeypatch):
|
||||
"cta_copy": {"headline": "C", "body": "B", "cta": "F"},
|
||||
})
|
||||
|
||||
async def fake_render(slate_id, template="default/card.html.j2"):
|
||||
for i in range(1, 11):
|
||||
db_module.add_card_asset(slate_id, i, f"/tmp/{slate_id}_{i}.png", "h")
|
||||
return [f"/tmp/{slate_id}_{i}.png" for i in range(1, 11)]
|
||||
async def fake_rpush(queue, payload):
|
||||
pass # Redis 없이도 테스트 통과
|
||||
|
||||
monkeypatch.setattr(card_writer, "write_slate", fake_write)
|
||||
monkeypatch.setattr(card_renderer, "render_slate", fake_render)
|
||||
monkeypatch.setattr(main.redis_client, "rpush", fake_rpush)
|
||||
|
||||
resp = client.post("/api/insta/slates", json={"keyword": "K", "category": "economy"})
|
||||
assert resp.status_code == 200
|
||||
task_id = resp.json()["task_id"]
|
||||
# poll task
|
||||
# 잠시 대기 후 폴링 — background task가 완료될 때까지
|
||||
import time
|
||||
for _ in range(20):
|
||||
st = client.get(f"/api/insta/tasks/{task_id}").json()
|
||||
if st["status"] in ("succeeded", "failed"):
|
||||
if st["status"] != "pending":
|
||||
break
|
||||
assert st["status"] == "succeeded"
|
||||
time.sleep(0.1)
|
||||
# Redis push 후 task는 processing 상태 (Windows worker가 rendered로 전환)
|
||||
assert st["status"] == "processing"
|
||||
assert st["result_id"] is not None # slate_id가 result_id에 기록됨
|
||||
slate_id = st["result_id"]
|
||||
detail = client.get(f"/api/insta/slates/{slate_id}").json()
|
||||
assert detail["status"] == "rendered"
|
||||
assert len(detail["assets"]) == 10
|
||||
assert detail["keyword"] == "K"
|
||||
|
||||
63
insta-lab/tests/test_main_prompt_defaults.py
Normal file
@@ -0,0 +1,63 @@
|
||||
import os
|
||||
import gc
|
||||
import json
|
||||
import tempfile
|
||||
|
||||
import pytest
|
||||
from fastapi.testclient import TestClient
|
||||
|
||||
from app import db as db_module
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def client(monkeypatch):
|
||||
fd, path = tempfile.mkstemp(suffix=".db")
|
||||
os.close(fd)
|
||||
monkeypatch.setattr(db_module, "DB_PATH", path)
|
||||
db_module.init_db()
|
||||
from app import main
|
||||
monkeypatch.setattr(main, "DB_PATH", path)
|
||||
with TestClient(main.app) as c:
|
||||
yield c
|
||||
gc.collect()
|
||||
for ext in ("", "-wal", "-shm"):
|
||||
try:
|
||||
os.remove(path + ext)
|
||||
except OSError:
|
||||
pass
|
||||
|
||||
|
||||
def test_get_slate_writer_returns_default_when_unset(client):
|
||||
"""DB에 없으면 코드 기본 마스터 프롬프트를 200으로 반환 (404 아님)."""
|
||||
resp = client.get("/api/insta/templates/prompts/slate_writer")
|
||||
assert resp.status_code == 200
|
||||
body = resp.json()
|
||||
assert body["is_default"] is True
|
||||
assert "{keyword}" in body["template"]
|
||||
assert "{category}" in body["template"]
|
||||
|
||||
|
||||
def test_get_category_seeds_returns_default_when_unset(client):
|
||||
"""category_seeds 기본값은 유효한 JSON (카테고리→시드 배열)."""
|
||||
resp = client.get("/api/insta/templates/prompts/category_seeds")
|
||||
assert resp.status_code == 200
|
||||
body = resp.json()
|
||||
assert body["is_default"] is True
|
||||
seeds = json.loads(body["template"])
|
||||
assert "economy" in seeds and isinstance(seeds["economy"], list)
|
||||
|
||||
|
||||
def test_get_unknown_prompt_still_404(client):
|
||||
resp = client.get("/api/insta/templates/prompts/does_not_exist")
|
||||
assert resp.status_code == 404
|
||||
|
||||
|
||||
def test_saved_template_overrides_default(client):
|
||||
"""PUT로 저장하면 이후 GET은 저장본(is_default 없음)을 반환."""
|
||||
client.put("/api/insta/templates/prompts/slate_writer",
|
||||
json={"template": "내 커스텀 프롬프트", "description": "custom"})
|
||||
resp = client.get("/api/insta/templates/prompts/slate_writer")
|
||||
assert resp.status_code == 200
|
||||
body = resp.json()
|
||||
assert body["template"] == "내 커스텀 프롬프트"
|
||||
assert not body.get("is_default")
|
||||
@@ -15,7 +15,7 @@ ENV PYTHONUNBUFFERED=1
|
||||
|
||||
EXPOSE 8000
|
||||
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "1"]
|
||||
|
||||
ARG APP_VERSION=dev
|
||||
ENV APP_VERSION=$APP_VERSION
|
||||
|
||||
@@ -170,7 +170,11 @@ def build_number_weights(cache: Dict[str, Any]) -> Dict[int, float]:
|
||||
return weights
|
||||
|
||||
|
||||
def score_combination(numbers: List[int], cache: Dict[str, Any]) -> Dict[str, float]:
|
||||
def score_combination(
|
||||
numbers: List[int],
|
||||
cache: Dict[str, Any],
|
||||
weights: Optional[List[float]] = None,
|
||||
) -> Dict[str, float]:
|
||||
"""
|
||||
6개 번호 조합의 통계적 품질 점수 계산 (0~1 범위 정규화).
|
||||
|
||||
@@ -181,6 +185,13 @@ def score_combination(numbers: List[int], cache: Dict[str, Any]) -> Dict[str, fl
|
||||
- score_cooccur (15%): 공동 출현 기댓값 대비
|
||||
- score_diversity (10%): 연속번호, 범위, 구간 다양성
|
||||
|
||||
Args:
|
||||
numbers: 6개 번호 리스트
|
||||
cache: build_analysis_cache() 반환 딕셔너리
|
||||
weights: 5가지 기법별 가중치 리스트 [frequency, fingerprint, gap, cooccur, diversity].
|
||||
None이면 기본값 [0.25, 0.30, 0.20, 0.15, 0.10] 사용.
|
||||
길이가 5가 아니면 ValueError 발생.
|
||||
|
||||
Returns:
|
||||
{"score_total": ..., "score_frequency": ..., ...}
|
||||
"""
|
||||
@@ -282,12 +293,16 @@ def score_combination(numbers: List[int], cache: Dict[str, Any]) -> Dict[str, fl
|
||||
)
|
||||
|
||||
# ── 최종 가중 합산 ────────────────────────────────────────────────────────
|
||||
if weights is None:
|
||||
weights = [0.25, 0.30, 0.20, 0.15, 0.10]
|
||||
if len(weights) != 5:
|
||||
raise ValueError("weights must have 5 elements")
|
||||
score_total = (
|
||||
score_frequency * 0.25
|
||||
+ score_fingerprint * 0.30
|
||||
+ score_gap * 0.20
|
||||
+ score_cooccur * 0.15
|
||||
+ score_diversity * 0.10
|
||||
score_frequency * weights[0]
|
||||
+ score_fingerprint * weights[1]
|
||||
+ score_gap * weights[2]
|
||||
+ score_cooccur * weights[3]
|
||||
+ score_diversity * weights[4]
|
||||
)
|
||||
|
||||
return {
|
||||
|
||||
237
lotto/app/db.py
@@ -300,7 +300,51 @@ def init_db() -> None:
|
||||
_ensure_column(conn, "lotto_briefings", "tier_rationale",
|
||||
"ALTER TABLE lotto_briefings ADD COLUMN tier_rationale TEXT NOT NULL DEFAULT '{}'")
|
||||
|
||||
|
||||
# ── weight_trials / auto_picks / weight_base_history 테이블 ──────────
|
||||
conn.execute("""
|
||||
CREATE TABLE IF NOT EXISTS weight_trials (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
week_start TEXT NOT NULL,
|
||||
day_of_week INTEGER NOT NULL,
|
||||
weight_json TEXT NOT NULL,
|
||||
source TEXT NOT NULL,
|
||||
base_at_gen TEXT,
|
||||
created_at TEXT NOT NULL DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now')),
|
||||
UNIQUE(week_start, day_of_week)
|
||||
)
|
||||
""")
|
||||
conn.execute("""
|
||||
CREATE INDEX IF NOT EXISTS idx_wt_week
|
||||
ON weight_trials(week_start, day_of_week)
|
||||
""")
|
||||
conn.execute("""
|
||||
CREATE TABLE IF NOT EXISTS auto_picks (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
trial_id INTEGER NOT NULL REFERENCES weight_trials(id) ON DELETE CASCADE,
|
||||
pick_no INTEGER NOT NULL,
|
||||
numbers TEXT NOT NULL,
|
||||
meta_score REAL,
|
||||
correct INTEGER,
|
||||
rank INTEGER,
|
||||
graded_at TEXT,
|
||||
created_at TEXT NOT NULL DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now')),
|
||||
UNIQUE(trial_id, pick_no)
|
||||
)
|
||||
""")
|
||||
conn.execute("CREATE INDEX IF NOT EXISTS idx_ap_trial ON auto_picks(trial_id)")
|
||||
conn.execute("CREATE INDEX IF NOT EXISTS idx_ap_graded ON auto_picks(graded_at)")
|
||||
conn.execute("""
|
||||
CREATE TABLE IF NOT EXISTS weight_base_history (
|
||||
id INTEGER PRIMARY KEY AUTOINCREMENT,
|
||||
effective_from TEXT NOT NULL,
|
||||
weight_json TEXT NOT NULL,
|
||||
source_trial_id INTEGER REFERENCES weight_trials(id),
|
||||
update_reason TEXT,
|
||||
winner_score REAL,
|
||||
winner_max_correct INTEGER,
|
||||
created_at TEXT NOT NULL DEFAULT (strftime('%Y-%m-%dT%H:%M:%fZ','now'))
|
||||
)
|
||||
""")
|
||||
|
||||
|
||||
def upsert_draw(row: Dict[str, Any]) -> None:
|
||||
@@ -645,30 +689,49 @@ def replace_best_picks(
|
||||
|
||||
|
||||
def get_best_picks(limit: int = 20) -> List[Dict[str, Any]]:
|
||||
"""현재 활성화된 best_picks 조회 (점수 내림차순)"""
|
||||
"""현재 활성화된 best_picks 조회 (점수 내림차순).
|
||||
|
||||
simulation_candidates와 LEFT JOIN하여 5종 점수 배열(scores)을 포함.
|
||||
매칭 키: sc.run_id = bp.source_run_id AND sc.numbers = bp.numbers
|
||||
LEFT JOIN 미매칭(NULL) 시 scores는 [0.0, 0.0, 0.0, 0.0, 0.0] 반환.
|
||||
"""
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
"""
|
||||
SELECT id, numbers, score_total, rank_in_run, source_run_id, based_on_draw, created_at
|
||||
FROM best_picks
|
||||
WHERE is_active = 1
|
||||
ORDER BY score_total DESC
|
||||
SELECT bp.id, bp.numbers, bp.score_total, bp.rank_in_run,
|
||||
bp.source_run_id, bp.based_on_draw, bp.created_at,
|
||||
sc.score_frequency, sc.score_fingerprint,
|
||||
sc.score_gap, sc.score_cooccur, sc.score_diversity
|
||||
FROM best_picks bp
|
||||
LEFT JOIN simulation_candidates sc
|
||||
ON sc.run_id = bp.source_run_id
|
||||
AND sc.numbers = bp.numbers
|
||||
WHERE bp.is_active = 1
|
||||
ORDER BY bp.score_total DESC
|
||||
LIMIT ?
|
||||
""",
|
||||
(limit,),
|
||||
).fetchall()
|
||||
return [
|
||||
{
|
||||
result = []
|
||||
for r in rows:
|
||||
scores = [
|
||||
float(r["score_frequency"] or 0.0),
|
||||
float(r["score_fingerprint"] or 0.0),
|
||||
float(r["score_gap"] or 0.0),
|
||||
float(r["score_cooccur"] or 0.0),
|
||||
float(r["score_diversity"] or 0.0),
|
||||
]
|
||||
result.append({
|
||||
"id": int(r["id"]),
|
||||
"numbers": json.loads(r["numbers"]),
|
||||
"score_total": r["score_total"],
|
||||
"scores": scores,
|
||||
"rank_in_run": r["rank_in_run"],
|
||||
"source_run_id": r["source_run_id"],
|
||||
"based_on_draw": r["based_on_draw"],
|
||||
"created_at": r["created_at"],
|
||||
}
|
||||
for r in rows
|
||||
]
|
||||
})
|
||||
return result
|
||||
|
||||
|
||||
def get_simulation_runs(limit: int = 10) -> List[Dict[str, Any]]:
|
||||
@@ -1228,3 +1291,155 @@ def list_reviews(limit: int = 10) -> List[Dict[str, Any]]:
|
||||
).fetchall()
|
||||
return [_review_row(r) for r in rows]
|
||||
|
||||
|
||||
# --- weight_trials / auto_picks / weight_base_history CRUD ---
|
||||
|
||||
def save_weight_trial(
|
||||
week_start: str,
|
||||
day_of_week: int,
|
||||
weight: List[float],
|
||||
source: str,
|
||||
base_at_gen: Optional[List[float]] = None,
|
||||
) -> int:
|
||||
with _conn() as conn:
|
||||
cur = conn.execute(
|
||||
"""
|
||||
INSERT INTO weight_trials (week_start, day_of_week, weight_json, source, base_at_gen)
|
||||
VALUES (?, ?, ?, ?, ?)
|
||||
ON CONFLICT(week_start, day_of_week) DO UPDATE SET
|
||||
weight_json = excluded.weight_json,
|
||||
source = excluded.source,
|
||||
base_at_gen = excluded.base_at_gen
|
||||
""",
|
||||
(week_start, day_of_week, json.dumps(weight),
|
||||
source, json.dumps(base_at_gen) if base_at_gen else None),
|
||||
)
|
||||
if cur.lastrowid:
|
||||
return cur.lastrowid
|
||||
row = conn.execute(
|
||||
"SELECT id FROM weight_trials WHERE week_start=? AND day_of_week=?",
|
||||
(week_start, day_of_week),
|
||||
).fetchone()
|
||||
return int(row["id"])
|
||||
|
||||
|
||||
def get_weight_trial(week_start: str, day_of_week: int) -> Optional[Dict[str, Any]]:
|
||||
with _conn() as conn:
|
||||
row = conn.execute(
|
||||
"SELECT * FROM weight_trials WHERE week_start=? AND day_of_week=?",
|
||||
(week_start, day_of_week),
|
||||
).fetchone()
|
||||
if not row:
|
||||
return None
|
||||
d = dict(row)
|
||||
d["weight"] = json.loads(d.pop("weight_json"))
|
||||
if d.get("base_at_gen"):
|
||||
d["base_at_gen"] = json.loads(d["base_at_gen"])
|
||||
return d
|
||||
|
||||
|
||||
def get_weekly_trials(week_start: str) -> List[Dict[str, Any]]:
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
"SELECT * FROM weight_trials WHERE week_start=? ORDER BY day_of_week",
|
||||
(week_start,),
|
||||
).fetchall()
|
||||
out = []
|
||||
for r in rows:
|
||||
d = dict(r)
|
||||
d["weight"] = json.loads(d.pop("weight_json"))
|
||||
if d.get("base_at_gen"):
|
||||
d["base_at_gen"] = json.loads(d["base_at_gen"])
|
||||
out.append(d)
|
||||
return out
|
||||
|
||||
|
||||
def save_auto_pick(
|
||||
trial_id: int,
|
||||
pick_no: int,
|
||||
numbers: List[int],
|
||||
meta_score: Optional[float] = None,
|
||||
) -> int:
|
||||
with _conn() as conn:
|
||||
cur = conn.execute(
|
||||
"""
|
||||
INSERT OR REPLACE INTO auto_picks (trial_id, pick_no, numbers, meta_score)
|
||||
VALUES (?, ?, ?, ?)
|
||||
""",
|
||||
(trial_id, pick_no, json.dumps(sorted(numbers)), meta_score),
|
||||
)
|
||||
return cur.lastrowid
|
||||
|
||||
|
||||
def get_auto_picks(trial_id: int) -> List[Dict[str, Any]]:
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
"SELECT * FROM auto_picks WHERE trial_id=? ORDER BY pick_no",
|
||||
(trial_id,),
|
||||
).fetchall()
|
||||
out = []
|
||||
for r in rows:
|
||||
d = dict(r)
|
||||
d["numbers"] = json.loads(d["numbers"])
|
||||
out.append(d)
|
||||
return out
|
||||
|
||||
|
||||
def update_auto_pick_grade(pick_id: int, correct: int, rank: Optional[int]) -> None:
|
||||
with _conn() as conn:
|
||||
conn.execute(
|
||||
"""
|
||||
UPDATE auto_picks
|
||||
SET correct=?, rank=?, graded_at=strftime('%Y-%m-%dT%H:%M:%fZ','now')
|
||||
WHERE id=?
|
||||
""",
|
||||
(correct, rank, pick_id),
|
||||
)
|
||||
|
||||
|
||||
def get_current_base() -> Optional[List[float]]:
|
||||
"""weight_base_history 최신 row의 weight. 없으면 None (cold start)."""
|
||||
with _conn() as conn:
|
||||
row = conn.execute(
|
||||
"SELECT weight_json FROM weight_base_history ORDER BY id DESC LIMIT 1",
|
||||
).fetchone()
|
||||
if not row:
|
||||
return None
|
||||
return json.loads(row["weight_json"])
|
||||
|
||||
|
||||
def save_base_history(
|
||||
effective_from: str,
|
||||
weight: List[float],
|
||||
source_trial_id: Optional[int],
|
||||
update_reason: str,
|
||||
winner_score: Optional[float],
|
||||
winner_max_correct: Optional[int],
|
||||
) -> int:
|
||||
with _conn() as conn:
|
||||
cur = conn.execute(
|
||||
"""
|
||||
INSERT INTO weight_base_history
|
||||
(effective_from, weight_json, source_trial_id, update_reason,
|
||||
winner_score, winner_max_correct)
|
||||
VALUES (?, ?, ?, ?, ?, ?)
|
||||
""",
|
||||
(effective_from, json.dumps(weight), source_trial_id,
|
||||
update_reason, winner_score, winner_max_correct),
|
||||
)
|
||||
return cur.lastrowid
|
||||
|
||||
|
||||
def get_base_history(limit: int = 12) -> List[Dict[str, Any]]:
|
||||
with _conn() as conn:
|
||||
rows = conn.execute(
|
||||
"SELECT * FROM weight_base_history ORDER BY id DESC LIMIT ?",
|
||||
(limit,),
|
||||
).fetchall()
|
||||
out = []
|
||||
for r in rows:
|
||||
d = dict(r)
|
||||
d["weight"] = json.loads(d.pop("weight_json"))
|
||||
out.append(d)
|
||||
return out
|
||||
|
||||
|
||||
@@ -25,6 +25,7 @@ from .db import (
|
||||
)
|
||||
from .analyzer import build_analysis_cache, build_number_weights, score_combination
|
||||
from .utils import weighted_sample_6
|
||||
from .weight_evolver import get_active_weight
|
||||
|
||||
|
||||
def run_simulation(
|
||||
@@ -54,6 +55,7 @@ def run_simulation(
|
||||
# ── 1. 통계 캐시 및 가중치 구성 (시뮬레이션 전체에서 재사용) ────────────
|
||||
cache = build_analysis_cache(draws)
|
||||
weights = build_number_weights(cache)
|
||||
active_weights = get_active_weight() # None → analyzer uses fixed default
|
||||
|
||||
# ── 2. 후보 생성 및 스코어링 ──────────────────────────────────────────────
|
||||
candidates: List[Dict[str, Any]] = []
|
||||
@@ -69,7 +71,7 @@ def run_simulation(
|
||||
continue
|
||||
seen_keys.add(key)
|
||||
|
||||
scores = score_combination(nums, cache)
|
||||
scores = score_combination(nums, cache, weights=active_weights)
|
||||
candidates.append({
|
||||
"numbers": sorted(nums),
|
||||
**scores,
|
||||
|
||||
@@ -38,6 +38,11 @@ from .strategy_evolver import (
|
||||
get_weights_with_trend, recalculate_weights,
|
||||
generate_smart_recommendation,
|
||||
)
|
||||
from .weight_evolver import (
|
||||
generate_weekly_candidates_and_save,
|
||||
apply_today_and_pick,
|
||||
evaluate_weekly,
|
||||
)
|
||||
from .routers import curator as curator_router
|
||||
from .routers import briefing as briefing_router
|
||||
from .routers import review as review_router
|
||||
@@ -83,7 +88,8 @@ def on_startup():
|
||||
def _run_simulation_job():
|
||||
run_simulation(n_candidates=20000, top_k=100, best_n=20)
|
||||
|
||||
scheduler.add_job(_run_simulation_job, "cron", hour="0,4,8,12,16,20", minute=5)
|
||||
# stock 08:00 cron과 분리하기 위해 minute=5 → 30 (CHECK_POINT FU-B)
|
||||
scheduler.add_job(_run_simulation_job, "cron", hour="0,4,8,12,16,20", minute=30)
|
||||
|
||||
# 3. 토요일 오전 9시 — 다음 회차 공략 리포트 자동 캐싱
|
||||
def _save_weekly_report_job():
|
||||
@@ -110,9 +116,42 @@ def on_startup():
|
||||
id="grade_weekly_review",
|
||||
)
|
||||
|
||||
scheduler.add_job(_run_weight_evolver_weekly, "cron", day_of_week="mon", hour=9, minute=0, id="weight_evolver_weekly")
|
||||
scheduler.add_job(_run_weight_evolver_daily, "cron", hour=9, minute=0, id="weight_evolver_daily")
|
||||
scheduler.add_job(_run_weight_evolver_eval, "cron", day_of_week="sat", hour=22, minute=0, id="weight_evolver_eval")
|
||||
|
||||
scheduler.start()
|
||||
|
||||
|
||||
async def _run_weight_evolver_weekly():
|
||||
"""월 09:00 — 6개 후보 생성 후 inline으로 apply_today도 호출."""
|
||||
try:
|
||||
generate_weekly_candidates_and_save()
|
||||
apply_today_and_pick(n=5)
|
||||
except Exception as e:
|
||||
logger.error(f"[weight_evolver_weekly] {e}")
|
||||
|
||||
|
||||
async def _run_weight_evolver_daily():
|
||||
"""매일 09:00 (월/일 제외 — 월=weekly inline, 일=토 trial 보호)."""
|
||||
try:
|
||||
from datetime import datetime, timezone, timedelta
|
||||
KST = timezone(timedelta(hours=9))
|
||||
if datetime.now(KST).weekday() in (0, 6):
|
||||
return
|
||||
apply_today_and_pick(n=5)
|
||||
except Exception as e:
|
||||
logger.error(f"[weight_evolver_daily] {e}")
|
||||
|
||||
|
||||
async def _run_weight_evolver_eval():
|
||||
"""토 22:00 — 회고 + 다음주 base 갱신."""
|
||||
try:
|
||||
evaluate_weekly()
|
||||
except Exception as e:
|
||||
logger.error(f"[weight_evolver_eval] {e}")
|
||||
|
||||
|
||||
@app.get("/health")
|
||||
def health():
|
||||
return {"ok": True}
|
||||
@@ -382,6 +421,62 @@ def api_strategy_evolve():
|
||||
return {"ok": True, "weights": new_weights}
|
||||
|
||||
|
||||
# ── weight-evolver API ───────────────────────────────────────────────────────
|
||||
|
||||
@app.get("/api/lotto/evolver/status")
|
||||
async def evolver_status():
|
||||
"""현재 base + 이번주 trials + auto_picks 진행 상황."""
|
||||
from .weight_evolver import get_week_start
|
||||
from .db import get_current_base, get_weekly_trials, get_auto_picks, get_latest_draw
|
||||
ws = get_week_start()
|
||||
trials = get_weekly_trials(ws)
|
||||
trials_with_picks = []
|
||||
for t in trials:
|
||||
picks = get_auto_picks(t["id"])
|
||||
trials_with_picks.append({**t, "picks": picks})
|
||||
latest = get_latest_draw()
|
||||
return {
|
||||
"week_start": ws,
|
||||
"current_base": get_current_base(),
|
||||
"trials": trials_with_picks,
|
||||
"latest_draw": latest["drw_no"] if latest else None,
|
||||
}
|
||||
|
||||
|
||||
@app.get("/api/lotto/evolver/history")
|
||||
async def evolver_history(weeks: int = 12):
|
||||
"""weight_base_history 최근 N개."""
|
||||
from .db import get_base_history
|
||||
return {"items": get_base_history(limit=weeks)}
|
||||
|
||||
|
||||
@app.get("/api/lotto/evolver/trials/{week_start}")
|
||||
async def evolver_trials(week_start: str):
|
||||
"""특정 주 6 trials + 채점 결과."""
|
||||
from .db import get_weekly_trials, get_auto_picks
|
||||
trials = get_weekly_trials(week_start)
|
||||
out = []
|
||||
for t in trials:
|
||||
picks = get_auto_picks(t["id"])
|
||||
out.append({**t, "picks": picks})
|
||||
return {"week_start": week_start, "trials": out}
|
||||
|
||||
|
||||
@app.post("/api/lotto/evolver/generate-now")
|
||||
async def evolver_generate_now():
|
||||
"""수동 트리거 — 이번주 후보 생성."""
|
||||
from .weight_evolver import generate_weekly_candidates_and_save
|
||||
candidates = generate_weekly_candidates_and_save()
|
||||
return {"ok": True, "candidates_count": len(candidates), "candidates": candidates}
|
||||
|
||||
|
||||
@app.post("/api/lotto/evolver/evaluate-now")
|
||||
async def evolver_evaluate_now():
|
||||
"""수동 회고 + 다음주 base 갱신."""
|
||||
from .weight_evolver import evaluate_weekly
|
||||
return evaluate_weekly()
|
||||
|
||||
|
||||
# ── 스마트 추천 API ────────────────────────────────────────────────────────
|
||||
|
||||
@app.get("/api/lotto/recommend/smart")
|
||||
@@ -434,6 +529,7 @@ def api_best_picks(limit: int = 20):
|
||||
"rank": p["rank_in_run"],
|
||||
"numbers": nums,
|
||||
"score_total": p["score_total"],
|
||||
"scores": p["scores"],
|
||||
"based_on_draw": p["based_on_draw"],
|
||||
"simulation_run_id": p["source_run_id"],
|
||||
"created_at": p["created_at"],
|
||||
|
||||
@@ -4,3 +4,4 @@ requests==2.32.3
|
||||
httpx==0.27.2
|
||||
beautifulsoup4==4.12.3
|
||||
APScheduler==3.10.4
|
||||
numpy>=1.26
|
||||
|
||||
314
lotto/app/weight_evolver.py
Normal file
@@ -0,0 +1,314 @@
|
||||
# lotto/app/weight_evolver.py
|
||||
"""5종 시뮬 점수 가중치 자율 학습 루프.
|
||||
|
||||
순수 함수 (clamp/perturb/Dirichlet/score/base-rule) + DB 진입점은 별도 섹션.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
import math
|
||||
import random
|
||||
from datetime import datetime, timedelta, timezone
|
||||
from typing import Any, Dict, List, Optional, Tuple
|
||||
|
||||
import numpy as np
|
||||
|
||||
MIN_WEIGHT = 0.05
|
||||
N_METRICS = 5
|
||||
DEFAULT_UNIFORM = [0.2] * N_METRICS # cold start
|
||||
|
||||
RANK_BY_CORRECT = {6: 1, 5: 3, 4: 4, 3: 5}
|
||||
RANK_BONUS = {1: 1.0, 2: 0.8, 3: 0.6, 4: 0.3, 5: 0.1}
|
||||
|
||||
|
||||
def clamp_and_normalize(W: List[float], min_w: float = MIN_WEIGHT) -> List[float]:
|
||||
"""각 값 ≥ min_w + 합=1.0. 보장 안 되면 raise."""
|
||||
if len(W) != N_METRICS:
|
||||
raise ValueError(f"W must have {N_METRICS} elements")
|
||||
# Iteratively clamp then normalize until all values satisfy min_w floor.
|
||||
# (Normalizing after clamping can reduce some already-floored values below
|
||||
# min_w when the denominator is large — iterate to convergence.)
|
||||
vals = [float(w) for w in W]
|
||||
for _ in range(100): # converges in a few iterations in practice
|
||||
clamped = [max(min_w, v) for v in vals]
|
||||
total = sum(clamped)
|
||||
vals = [v / total for v in clamped]
|
||||
if all(v >= min_w - 1e-12 for v in vals):
|
||||
break
|
||||
return vals
|
||||
|
||||
|
||||
def perturb_weights(
|
||||
base: List[float],
|
||||
sigma: float = 0.05,
|
||||
seed: Optional[int] = None,
|
||||
) -> List[float]:
|
||||
"""base에 정규분포 noise(σ) 추가 → clamp+normalize."""
|
||||
if seed is not None:
|
||||
np.random.seed(seed)
|
||||
noise = np.random.normal(0, sigma, size=N_METRICS)
|
||||
perturbed = [b + n for b, n in zip(base, noise)]
|
||||
return clamp_and_normalize(perturbed)
|
||||
|
||||
|
||||
def dirichlet_weights(
|
||||
alpha: float = 2.0,
|
||||
seed: Optional[int] = None,
|
||||
) -> List[float]:
|
||||
"""Dirichlet(α, α, α, α, α) 샘플 → clamp+normalize."""
|
||||
if seed is not None:
|
||||
np.random.seed(seed)
|
||||
sample = np.random.dirichlet([alpha] * N_METRICS).tolist()
|
||||
return clamp_and_normalize(sample)
|
||||
|
||||
|
||||
def generate_weekly_candidates(
|
||||
base: Optional[List[float]] = None,
|
||||
seed: Optional[int] = None,
|
||||
) -> List[Dict[str, Any]]:
|
||||
"""6개 후보 — 4 perturb + 2 dirichlet. day_of_week 0..5 매핑.
|
||||
|
||||
Returns:
|
||||
[{"day_of_week": 0, "weight": [...], "source": "perturb"}, ...]
|
||||
"""
|
||||
if base is None:
|
||||
base = DEFAULT_UNIFORM[:]
|
||||
if seed is not None:
|
||||
np.random.seed(seed)
|
||||
|
||||
trials = []
|
||||
for i in range(4):
|
||||
trials.append({
|
||||
"day_of_week": i,
|
||||
"weight": perturb_weights(base, sigma=0.05),
|
||||
"source": "perturb",
|
||||
})
|
||||
for i in range(4, 6):
|
||||
trials.append({
|
||||
"day_of_week": i,
|
||||
"weight": dirichlet_weights(alpha=2.0),
|
||||
"source": "dirichlet",
|
||||
})
|
||||
return trials
|
||||
|
||||
|
||||
def count_match(pick: List[int], winning: List[int]) -> int:
|
||||
"""본번호 6개 일치 개수. 보너스 제외."""
|
||||
return len(set(pick) & set(winning[:6]))
|
||||
|
||||
|
||||
def calc_pick_score(pick_numbers: List[int], winning_numbers: List[int]) -> float:
|
||||
"""correct/6 + RANK_BONUS. 보너스 번호 미고려."""
|
||||
correct = count_match(pick_numbers, winning_numbers)
|
||||
base = correct / 6.0
|
||||
rank = RANK_BY_CORRECT.get(correct)
|
||||
bonus = RANK_BONUS.get(rank, 0) if rank else 0
|
||||
return base + bonus
|
||||
|
||||
|
||||
def decide_base_update(
|
||||
winner_max_correct: int,
|
||||
winner_W: List[float],
|
||||
current_base: Optional[List[float]],
|
||||
) -> Tuple[List[float], str]:
|
||||
"""Hybrid base update rule.
|
||||
|
||||
Returns:
|
||||
(new_base, reason) — reason ∈ {'winner_4plus','ema_blend','unchanged','cold_start'}
|
||||
"""
|
||||
if winner_max_correct >= 4:
|
||||
return list(winner_W), "winner_4plus"
|
||||
if winner_max_correct == 3 and current_base is not None:
|
||||
blended = [0.3 * w + 0.7 * c for w, c in zip(winner_W, current_base)]
|
||||
return clamp_and_normalize(blended), "ema_blend"
|
||||
if current_base is None:
|
||||
return DEFAULT_UNIFORM[:], "cold_start"
|
||||
return list(current_base), "unchanged"
|
||||
|
||||
|
||||
# ---------- DB-touching entry points ----------
|
||||
|
||||
KST = timezone(timedelta(hours=9))
|
||||
|
||||
|
||||
def _db():
|
||||
from . import db as _db_mod
|
||||
return _db_mod
|
||||
|
||||
|
||||
def _today_kst():
|
||||
return datetime.now(KST).date()
|
||||
|
||||
|
||||
def get_week_start(d=None) -> str:
|
||||
"""주어진 날짜의 월요일 ISO 'YYYY-MM-DD'."""
|
||||
if d is None:
|
||||
d = _today_kst()
|
||||
ws = d - timedelta(days=d.weekday())
|
||||
return ws.isoformat()
|
||||
|
||||
|
||||
def get_active_weight() -> Optional[List[float]]:
|
||||
"""오늘 적용 중인 W. 없으면 None (균등 폴백)."""
|
||||
today = _today_kst()
|
||||
week_start = get_week_start(today)
|
||||
dow = today.weekday()
|
||||
if dow == 6:
|
||||
dow = 5 # 일요일은 토요일 W 유지
|
||||
trial = _db().get_weight_trial(week_start, dow)
|
||||
if trial:
|
||||
return trial["weight"]
|
||||
return None
|
||||
|
||||
|
||||
def generate_weekly_candidates_and_save(seed: Optional[int] = None) -> List[Dict[str, Any]]:
|
||||
"""월요일 09:00 cron 진입점. 6 trials 생성 후 DB 저장."""
|
||||
db = _db()
|
||||
base = db.get_current_base()
|
||||
if base is None:
|
||||
base = DEFAULT_UNIFORM[:]
|
||||
db.save_base_history(
|
||||
effective_from=get_week_start(),
|
||||
weight=base,
|
||||
source_trial_id=None,
|
||||
update_reason="cold_start",
|
||||
winner_score=None,
|
||||
winner_max_correct=None,
|
||||
)
|
||||
|
||||
candidates = generate_weekly_candidates(base, seed=seed)
|
||||
week_start = get_week_start()
|
||||
for c in candidates:
|
||||
db.save_weight_trial(
|
||||
week_start=week_start,
|
||||
day_of_week=c["day_of_week"],
|
||||
weight=c["weight"],
|
||||
source=c["source"],
|
||||
base_at_gen=base,
|
||||
)
|
||||
return candidates
|
||||
|
||||
|
||||
def apply_today_and_pick(n: int = 5) -> Dict[str, Any]:
|
||||
"""매일 09:00 cron 진입점. 오늘 W로 N=5 세트 추출 후 auto_picks 저장."""
|
||||
db = _db()
|
||||
from . import analyzer, recommender
|
||||
today = _today_kst()
|
||||
week_start = get_week_start(today)
|
||||
dow = min(today.weekday(), 5)
|
||||
|
||||
trial = db.get_weight_trial(week_start, dow)
|
||||
if trial is None:
|
||||
return {"ok": False, "reason": "no_trial_for_today"}
|
||||
|
||||
W = trial["weight"]
|
||||
draws = db.get_all_draw_numbers()
|
||||
cache = analyzer.build_analysis_cache(draws)
|
||||
|
||||
picks_saved = []
|
||||
for i in range(1, n + 1):
|
||||
try:
|
||||
r = recommender.recommend_numbers(draws)
|
||||
nums = r["numbers"]
|
||||
s = analyzer.score_combination(nums, cache, weights=W)
|
||||
pid = db.save_auto_pick(trial["id"], i, nums, meta_score=s["score_total"])
|
||||
picks_saved.append({"id": pid, "numbers": nums, "score": s["score_total"]})
|
||||
except Exception:
|
||||
continue
|
||||
|
||||
return {
|
||||
"ok": True,
|
||||
"trial_id": trial["id"],
|
||||
"weight": W,
|
||||
"picks": picks_saved,
|
||||
}
|
||||
|
||||
|
||||
def evaluate_weekly() -> Dict[str, Any]:
|
||||
"""토 22:00 cron 진입점. 6일 trials × N picks 채점 + base 갱신."""
|
||||
db = _db()
|
||||
today = _today_kst()
|
||||
week_start = get_week_start(today)
|
||||
|
||||
trials = db.get_weekly_trials(week_start)
|
||||
if not trials:
|
||||
return {"ok": False, "reason": "no_trials"}
|
||||
|
||||
latest = db.get_latest_draw()
|
||||
if latest is None:
|
||||
return {"ok": False, "reason": "no_latest_draw"}
|
||||
winning = [
|
||||
latest["n1"], latest["n2"], latest["n3"],
|
||||
latest["n4"], latest["n5"], latest["n6"],
|
||||
]
|
||||
|
||||
per_day = []
|
||||
for trial in trials:
|
||||
picks = db.get_auto_picks(trial["id"])
|
||||
if not picks:
|
||||
continue
|
||||
day_scores = []
|
||||
max_c = 0
|
||||
for p in picks:
|
||||
correct = count_match(p["numbers"], winning)
|
||||
rank = RANK_BY_CORRECT.get(correct)
|
||||
db.update_auto_pick_grade(p["id"], correct, rank)
|
||||
day_scores.append(calc_pick_score(p["numbers"], winning))
|
||||
if correct > max_c:
|
||||
max_c = correct
|
||||
avg_score = sum(day_scores) / len(day_scores)
|
||||
per_day.append({
|
||||
"trial_id": trial["id"],
|
||||
"day_of_week": trial["day_of_week"],
|
||||
"weight": trial["weight"],
|
||||
"avg_score": avg_score,
|
||||
"max_correct": max_c,
|
||||
"n_picks": len(picks),
|
||||
})
|
||||
|
||||
if not per_day:
|
||||
return {"ok": False, "reason": "no_picks_graded"}
|
||||
|
||||
winner = max(per_day, key=lambda d: d["avg_score"])
|
||||
|
||||
current_base = db.get_current_base()
|
||||
new_base, reason = decide_base_update(
|
||||
winner_max_correct=winner["max_correct"],
|
||||
winner_W=winner["weight"],
|
||||
current_base=current_base,
|
||||
)
|
||||
|
||||
next_monday = today + timedelta(days=(7 - today.weekday()) % 7 or 7)
|
||||
next_monday_iso = next_monday.isoformat()
|
||||
|
||||
# Idempotent guard: 같은 effective_from으로 이미 저장된 row가 있으면 skip
|
||||
existing = db.get_base_history(limit=1)
|
||||
if existing and existing[0]["effective_from"] == next_monday_iso:
|
||||
return {
|
||||
"ok": True,
|
||||
"draw_no": latest["drw_no"],
|
||||
"week_start": week_start,
|
||||
"previous_base": existing[0].get("weight"),
|
||||
"winner": winner,
|
||||
"new_base": existing[0]["weight"], # 이미 저장된 값
|
||||
"update_reason": existing[0].get("update_reason", "idempotent_skip"),
|
||||
"per_day": per_day,
|
||||
}
|
||||
|
||||
db.save_base_history(
|
||||
effective_from=next_monday_iso,
|
||||
weight=new_base,
|
||||
source_trial_id=winner["trial_id"],
|
||||
update_reason=reason,
|
||||
winner_score=winner["avg_score"],
|
||||
winner_max_correct=winner["max_correct"],
|
||||
)
|
||||
|
||||
return {
|
||||
"ok": True,
|
||||
"draw_no": latest["drw_no"],
|
||||
"week_start": week_start,
|
||||
"previous_base": current_base, # save 이전에 캡처한 값 — diff 계산용
|
||||
"winner": winner,
|
||||
"new_base": new_base,
|
||||
"update_reason": reason,
|
||||
"per_day": per_day,
|
||||
}
|
||||
45
lotto/tests/test_analyzer_weighted.py
Normal file
@@ -0,0 +1,45 @@
|
||||
import sys
|
||||
import os
|
||||
sys.path.insert(0, os.path.join(os.path.dirname(__file__), "..", "app"))
|
||||
|
||||
import pytest
|
||||
from analyzer import score_combination, build_analysis_cache
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def cache():
|
||||
# build_analysis_cache expects [(drw_no, [n1,n2,n3,n4,n5,n6]), ...] tuples
|
||||
fake_draws = [
|
||||
(1, [1, 2, 3, 4, 5, 6]),
|
||||
(2, [7, 8, 9, 10, 11, 12]),
|
||||
]
|
||||
return build_analysis_cache(fake_draws)
|
||||
|
||||
|
||||
def test_score_default_uses_fixed_weights(cache):
|
||||
"""weights=None은 기존 fixed [0.25, 0.30, 0.20, 0.15, 0.10]과 동등."""
|
||||
s = score_combination([1, 2, 3, 4, 5, 6], cache)
|
||||
assert "score_total" in s
|
||||
assert 0.0 <= s["score_total"] <= 2.0
|
||||
for k in ("score_frequency", "score_fingerprint", "score_gap",
|
||||
"score_cooccur", "score_diversity"):
|
||||
assert k in s
|
||||
|
||||
|
||||
def test_score_with_custom_weights_sums_correctly(cache):
|
||||
"""weights=[1,0,0,0,0]은 score_total == score_frequency."""
|
||||
s = score_combination([1, 2, 3, 4, 5, 6], cache, weights=[1.0, 0.0, 0.0, 0.0, 0.0])
|
||||
assert s["score_total"] == pytest.approx(s["score_frequency"], rel=1e-3)
|
||||
|
||||
|
||||
def test_score_with_uniform_weights(cache):
|
||||
"""weights=[0.2]*5는 단순 평균."""
|
||||
s = score_combination([1, 2, 3, 4, 5, 6], cache, weights=[0.2] * 5)
|
||||
expected = 0.2 * (s["score_frequency"] + s["score_fingerprint"]
|
||||
+ s["score_gap"] + s["score_cooccur"] + s["score_diversity"])
|
||||
assert s["score_total"] == pytest.approx(expected, rel=1e-3)
|
||||
|
||||
|
||||
def test_score_weights_wrong_length_raises(cache):
|
||||
with pytest.raises((ValueError, AssertionError)):
|
||||
score_combination([1, 2, 3, 4, 5, 6], cache, weights=[0.5, 0.5])
|
||||
122
lotto/tests/test_weight_evolver.py
Normal file
@@ -0,0 +1,122 @@
|
||||
# lotto/tests/test_weight_evolver.py
|
||||
import json
|
||||
import math
|
||||
import pytest
|
||||
|
||||
from app import weight_evolver as we
|
||||
|
||||
|
||||
def test_clamp_and_normalize_min_floor():
|
||||
"""모든 값이 0.05 이상이 되도록 보장 + 합=1.0."""
|
||||
W = we.clamp_and_normalize([0.01, 0.6, 0.2, 0.1, 0.09])
|
||||
assert all(w >= 0.05 - 1e-9 for w in W)
|
||||
assert abs(sum(W) - 1.0) < 1e-9
|
||||
|
||||
|
||||
def test_clamp_and_normalize_negative_becomes_floor():
|
||||
W = we.clamp_and_normalize([-0.1, 0.5, 0.3, 0.2, 0.1])
|
||||
assert W[0] >= 0.05 - 1e-9
|
||||
assert abs(sum(W) - 1.0) < 1e-9
|
||||
|
||||
|
||||
def test_perturbation_changes_around_base():
|
||||
"""σ=0.05 정규분포 perturbation 후 정규화 — 각 값이 합리적 범위 안."""
|
||||
base = [0.2, 0.2, 0.2, 0.2, 0.2]
|
||||
W = we.perturb_weights(base, sigma=0.05, seed=42)
|
||||
assert abs(sum(W) - 1.0) < 1e-9
|
||||
assert all(w >= 0.05 - 1e-9 for w in W)
|
||||
|
||||
|
||||
def test_dirichlet_random_distribution():
|
||||
"""Dirichlet α=2 — 5종 비음수 합=1."""
|
||||
W = we.dirichlet_weights(alpha=2.0, seed=42)
|
||||
assert abs(sum(W) - 1.0) < 1e-9
|
||||
assert all(0.05 - 1e-9 <= w <= 1.0 for w in W)
|
||||
|
||||
|
||||
def test_generate_weekly_candidates_count():
|
||||
"""6개 후보 생성 — 4 perturb + 2 dirichlet."""
|
||||
base = [0.2, 0.2, 0.2, 0.2, 0.2]
|
||||
trials = we.generate_weekly_candidates(base, seed=42)
|
||||
assert len(trials) == 6
|
||||
sources = [t["source"] for t in trials]
|
||||
assert sources.count("perturb") == 4
|
||||
assert sources.count("dirichlet") == 2
|
||||
days = sorted(t["day_of_week"] for t in trials)
|
||||
assert days == [0, 1, 2, 3, 4, 5]
|
||||
|
||||
|
||||
def test_calc_pick_score_six_match():
|
||||
"""6개 모두 일치 → 1등 → base=1.0 + bonus 1.0 = 2.0."""
|
||||
score = we.calc_pick_score([1, 2, 3, 4, 5, 6], [1, 2, 3, 4, 5, 6])
|
||||
assert score == pytest.approx(2.0)
|
||||
|
||||
|
||||
def test_calc_pick_score_four_match():
|
||||
"""4개 일치 → 4등 → base=4/6 + bonus 0.3."""
|
||||
score = we.calc_pick_score([1, 2, 3, 4, 7, 8], [1, 2, 3, 4, 5, 6])
|
||||
assert score == pytest.approx(4/6 + 0.3)
|
||||
|
||||
|
||||
def test_calc_pick_score_three_match():
|
||||
"""3개 일치 → 5등 → base=3/6 + bonus 0.1."""
|
||||
score = we.calc_pick_score([1, 2, 3, 7, 8, 9], [1, 2, 3, 4, 5, 6])
|
||||
assert score == pytest.approx(3/6 + 0.1)
|
||||
|
||||
|
||||
def test_calc_pick_score_two_match_no_bonus():
|
||||
"""2개 일치 → 미당첨 → base=2/6 + bonus 0."""
|
||||
score = we.calc_pick_score([1, 2, 7, 8, 9, 10], [1, 2, 3, 4, 5, 6])
|
||||
assert score == pytest.approx(2/6)
|
||||
|
||||
|
||||
def test_decide_base_update_winner_4plus_replaces():
|
||||
"""winner_max_correct ≥ 4 → 교체."""
|
||||
current = [0.2, 0.2, 0.2, 0.2, 0.2]
|
||||
winner_W = [0.1, 0.3, 0.2, 0.3, 0.1]
|
||||
new_base, reason = we.decide_base_update(
|
||||
winner_max_correct=4,
|
||||
winner_W=winner_W,
|
||||
current_base=current,
|
||||
)
|
||||
assert new_base == winner_W
|
||||
assert reason == "winner_4plus"
|
||||
|
||||
|
||||
def test_decide_base_update_winner_3_ema_blend():
|
||||
"""winner_max_correct = 3 → 0.3*winner + 0.7*current."""
|
||||
current = [0.2, 0.2, 0.2, 0.2, 0.2]
|
||||
winner_W = [0.1, 0.3, 0.2, 0.3, 0.1]
|
||||
new_base, reason = we.decide_base_update(
|
||||
winner_max_correct=3,
|
||||
winner_W=winner_W,
|
||||
current_base=current,
|
||||
)
|
||||
expected = [0.3 * w + 0.7 * c for w, c in zip(winner_W, current)]
|
||||
assert all(abs(a - b) < 1e-9 for a, b in zip(new_base, expected))
|
||||
assert reason == "ema_blend"
|
||||
|
||||
|
||||
def test_decide_base_update_winner_lt3_unchanged():
|
||||
"""winner_max_correct ≤ 2 → 직전 base 유지."""
|
||||
current = [0.2, 0.2, 0.2, 0.2, 0.2]
|
||||
winner_W = [0.1, 0.3, 0.2, 0.3, 0.1]
|
||||
new_base, reason = we.decide_base_update(
|
||||
winner_max_correct=2,
|
||||
winner_W=winner_W,
|
||||
current_base=current,
|
||||
)
|
||||
assert new_base == current
|
||||
assert reason == "unchanged"
|
||||
|
||||
|
||||
def test_decide_base_update_cold_start_returns_default():
|
||||
"""current_base=None (첫 회) → 균등 default 반환."""
|
||||
winner_W = [0.1, 0.3, 0.2, 0.3, 0.1]
|
||||
new_base, reason = we.decide_base_update(
|
||||
winner_max_correct=4,
|
||||
winner_W=winner_W,
|
||||
current_base=None,
|
||||
)
|
||||
assert new_base == winner_W
|
||||
assert reason == "winner_4plus"
|
||||
@@ -15,4 +15,4 @@ RUN pip install --no-cache-dir -r requirements.txt
|
||||
|
||||
COPY . .
|
||||
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000"]
|
||||
CMD ["uvicorn", "app.main:app", "--host", "0.0.0.0", "--port", "8000", "--workers", "1"]
|
||||
|
||||
17
music-lab/app/auth.py
Normal file
@@ -0,0 +1,17 @@
|
||||
"""SP-6 — Windows worker → NAS internal webhook 인증.
|
||||
|
||||
X-Internal-Key 헤더를 .env의 INTERNAL_API_KEY와 비교.
|
||||
서버 측 키 미설정 시 401 (안전한 기본값).
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import os
|
||||
from fastapi import Header, HTTPException
|
||||
|
||||
|
||||
def verify_internal_key(x_internal_key: str = Header(...)):
|
||||
expected = os.getenv("INTERNAL_API_KEY")
|
||||
if not expected:
|
||||
raise HTTPException(401, "INTERNAL_API_KEY not configured on server")
|
||||
if x_internal_key != expected:
|
||||
raise HTTPException(401, "Invalid X-Internal-Key")
|
||||
@@ -102,8 +102,10 @@ async def run_batch(batch_id: int) -> None:
|
||||
|
||||
async def _generate_one_track(*, title: str, genre: str, duration_sec: int,
|
||||
params: dict) -> int | None:
|
||||
"""기존 Suno generate 호출 + 완료까지 polling. 성공 시 새 track id, 실패 시 None."""
|
||||
from .suno_provider import run_suno_generation
|
||||
"""Redis 큐에 push + task 상태 polling. 성공 시 새 track id, 실패 시 None."""
|
||||
import json
|
||||
from datetime import datetime, timezone, timedelta
|
||||
from .main import redis_client # 같은 컨테이너 — 동일 redis 클라이언트 공유
|
||||
|
||||
task_id = str(uuid.uuid4())
|
||||
suno_params = {
|
||||
@@ -116,11 +118,23 @@ async def _generate_one_track(*, title: str, genre: str, duration_sec: int,
|
||||
"key": params["key"],
|
||||
"scale": params["scale"],
|
||||
"prompt": params.get("prompt_modifier", ""),
|
||||
"provider": "suno",
|
||||
"model": "V4",
|
||||
"instrumental": False,
|
||||
"lyrics": "",
|
||||
}
|
||||
db.create_task(task_id, suno_params, provider="suno")
|
||||
|
||||
# Suno background task — 우리가 await로 기다림 (BackgroundTasks 미사용)
|
||||
asyncio.create_task(asyncio.to_thread(run_suno_generation, task_id, suno_params))
|
||||
# Redis push (Windows music-render가 BLPOP 처리)
|
||||
kst = timezone(timedelta(hours=9))
|
||||
payload = {
|
||||
"task_id": task_id,
|
||||
"kind": "music",
|
||||
"job_type": "suno_generation",
|
||||
"params": suno_params,
|
||||
"submitted_at": datetime.now(kst).isoformat(),
|
||||
}
|
||||
await redis_client.rpush("queue:music-render", json.dumps(payload))
|
||||
|
||||
waited = 0
|
||||
while waited < TRACK_GEN_TIMEOUT_S:
|
||||
@@ -131,14 +145,7 @@ async def _generate_one_track(*, title: str, genre: str, duration_sec: int,
|
||||
continue
|
||||
status = task.get("status")
|
||||
if status == "succeeded":
|
||||
# task["track"] 또는 task["result"]["track"] 형태 시도, 없으면 task_id로 조회
|
||||
tr = task.get("track")
|
||||
if tr and isinstance(tr, dict):
|
||||
return tr.get("id")
|
||||
result = task.get("result", {}) or {}
|
||||
if isinstance(result, dict) and isinstance(result.get("track"), dict):
|
||||
return result["track"].get("id")
|
||||
# Fallback: music_library에서 task_id로 검색
|
||||
# Windows webhook이 add_track 했으므로 task_id로 검색
|
||||
track = db.get_track_by_task_id(task_id)
|
||||
if track:
|
||||
return track.get("id")
|
||||
|
||||
61
music-lab/app/internal_router.py
Normal file
@@ -0,0 +1,61 @@
|
||||
"""SP-6 — Windows music-render → NAS internal webhook.
|
||||
|
||||
POST /api/internal/music/update
|
||||
- X-Internal-Key 인증 필수
|
||||
- music_tasks 테이블 row update (status, progress, message, audio_url, error)
|
||||
- 옵션 `track` 페이로드가 있으면 music_library에 add_track 호출
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
from typing import Any, Dict, Optional
|
||||
|
||||
from fastapi import APIRouter, Depends, HTTPException
|
||||
from pydantic import BaseModel, Field
|
||||
|
||||
from . import db
|
||||
from .auth import verify_internal_key
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
router = APIRouter()
|
||||
|
||||
|
||||
class UpdatePayload(BaseModel):
|
||||
task_id: str
|
||||
status: str = Field(..., description="processing|succeeded|failed")
|
||||
progress: int = Field(..., ge=0, le=100)
|
||||
message: str = ""
|
||||
audio_url: Optional[str] = None
|
||||
error: Optional[str] = None
|
||||
track: Optional[Dict[str, Any]] = None
|
||||
|
||||
|
||||
@router.post(
|
||||
"/api/internal/music/update",
|
||||
dependencies=[Depends(verify_internal_key)],
|
||||
)
|
||||
def music_update(payload: UpdatePayload):
|
||||
task = db.get_task(payload.task_id)
|
||||
if task is None:
|
||||
raise HTTPException(404, f"task not found: {payload.task_id}")
|
||||
|
||||
db.update_task(
|
||||
payload.task_id,
|
||||
payload.status,
|
||||
payload.progress,
|
||||
message=payload.message,
|
||||
audio_url=payload.audio_url,
|
||||
error=payload.error,
|
||||
)
|
||||
|
||||
if payload.track is not None:
|
||||
try:
|
||||
db.add_track(payload.track)
|
||||
except Exception:
|
||||
logger.exception("add_track 실패 task=%s (무시)", payload.task_id)
|
||||
|
||||
logger.info(
|
||||
"internal/music/update task=%s status=%s progress=%d",
|
||||
payload.task_id, payload.status, payload.progress,
|
||||
)
|
||||
return {"ok": True}
|
||||
@@ -1,122 +1,5 @@
|
||||
"""DEPRECATED 2026-05-19 — MusicGen 호출은 Windows music-render로 이전.
|
||||
|
||||
기존 run_local_generation은 web-ai/services/music-render/providers/local.py로 이식.
|
||||
NAS는 Redis push (queue:music-render, job_type=local_generation)만 담당.
|
||||
"""
|
||||
Local MusicGen Provider — Windows AI 서버(MusicGen)를 통한 음악 생성
|
||||
기존 _run_generation 로직을 그대로 분리.
|
||||
"""
|
||||
|
||||
import os
|
||||
import time
|
||||
import logging
|
||||
import requests
|
||||
|
||||
from .db import update_task, add_track
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
MUSIC_AI_SERVER_URL = os.getenv("MUSIC_AI_SERVER_URL", "")
|
||||
MUSIC_DATA_DIR = "/app/data"
|
||||
MUSIC_MEDIA_BASE = os.getenv("MUSIC_MEDIA_BASE", "/media/music")
|
||||
|
||||
|
||||
def run_local_generation(task_id: str, params: dict) -> None:
|
||||
"""BackgroundTask: Windows AI 서버(MusicGen)에 생성 요청 → 파일 저장 → 라이브러리 등록"""
|
||||
try:
|
||||
update_task(task_id, "processing", 10, "AI 서버에 연결 중...")
|
||||
|
||||
if not MUSIC_AI_SERVER_URL:
|
||||
update_task(task_id, "failed", 0, "",
|
||||
error="MUSIC_AI_SERVER_URL이 설정되지 않았습니다")
|
||||
return
|
||||
|
||||
update_task(task_id, "processing", 30, "음악 생성 중... (수 분 소요될 수 있습니다)")
|
||||
|
||||
# 1단계: 생성 요청 → ai_task_id 반환
|
||||
resp = requests.post(
|
||||
f"{MUSIC_AI_SERVER_URL}/generate",
|
||||
json=params,
|
||||
timeout=30,
|
||||
)
|
||||
|
||||
if resp.status_code != 200:
|
||||
update_task(task_id, "failed", 0, "",
|
||||
error=f"AI 서버 오류: {resp.status_code} {resp.text[:200]}")
|
||||
return
|
||||
|
||||
ai_task_id = resp.json().get("task_id")
|
||||
if not ai_task_id:
|
||||
update_task(task_id, "failed", 0, "",
|
||||
error="AI 서버 응답에 task_id가 없습니다")
|
||||
return
|
||||
|
||||
# 2단계: 상태 폴링 (최대 10분, 5초 간격)
|
||||
remote_url = None
|
||||
for _ in range(120):
|
||||
time.sleep(5)
|
||||
status_resp = requests.get(
|
||||
f"{MUSIC_AI_SERVER_URL}/status/{ai_task_id}", timeout=10,
|
||||
)
|
||||
status_data = status_resp.json()
|
||||
ai_status = status_data.get("status")
|
||||
|
||||
ai_progress = status_data.get("progress", 0)
|
||||
ai_message = status_data.get("message", "음악 생성 중...")
|
||||
scaled = 30 + int(ai_progress * 0.49) # 30% ~ 79%
|
||||
update_task(task_id, "processing", scaled, ai_message)
|
||||
|
||||
if ai_status == "succeeded":
|
||||
remote_url = status_data.get("audio_url")
|
||||
break
|
||||
elif ai_status == "failed":
|
||||
update_task(task_id, "failed", 0, "",
|
||||
error=status_data.get("error", "AI 서버 생성 실패"))
|
||||
return
|
||||
|
||||
if not remote_url:
|
||||
update_task(task_id, "failed", 0, "",
|
||||
error="AI 서버 타임아웃 (10분 초과)")
|
||||
return
|
||||
|
||||
update_task(task_id, "processing", 80, "파일 저장 중...")
|
||||
|
||||
filename = f"{task_id}.mp3"
|
||||
file_path = os.path.join(MUSIC_DATA_DIR, filename)
|
||||
|
||||
# 3단계: 오디오 파일 다운로드
|
||||
dl = requests.get(remote_url, timeout=120, stream=True)
|
||||
with open(file_path, "wb") as f:
|
||||
for chunk in dl.iter_content(chunk_size=8192):
|
||||
f.write(chunk)
|
||||
|
||||
audio_url = f"{MUSIC_MEDIA_BASE}/{filename}"
|
||||
|
||||
# 라이브러리 자동 등록
|
||||
genre = params.get("genre", "")
|
||||
moods = params.get("moods", [])
|
||||
mood_str = moods[0] if moods else "Original"
|
||||
title = params.get("title") or (
|
||||
f"{genre} — {mood_str} Mix" if genre else f"{mood_str} Mix"
|
||||
)
|
||||
|
||||
add_track({
|
||||
"title": title,
|
||||
"genre": genre,
|
||||
"moods": params.get("moods", []),
|
||||
"instruments": params.get("instruments", []),
|
||||
"duration_sec": params.get("duration_sec"),
|
||||
"bpm": params.get("bpm"),
|
||||
"key": params.get("key", ""),
|
||||
"scale": params.get("scale", ""),
|
||||
"prompt": params.get("prompt", ""),
|
||||
"audio_url": audio_url,
|
||||
"file_path": file_path,
|
||||
"task_id": task_id,
|
||||
"provider": "local",
|
||||
})
|
||||
|
||||
update_task(task_id, "succeeded", 100, "생성 완료", audio_url=audio_url)
|
||||
|
||||
except requests.Timeout:
|
||||
update_task(task_id, "failed", 0, "",
|
||||
error="AI 서버 타임아웃 (10분 초과)")
|
||||
except Exception as e:
|
||||
logger.exception("Local generation error for task %s", task_id)
|
||||
update_task(task_id, "failed", 0, "", error=str(e))
|
||||
|
||||
@@ -2,6 +2,7 @@ import json
|
||||
import os
|
||||
import shutil
|
||||
import uuid
|
||||
from datetime import datetime, timezone, timedelta
|
||||
from typing import Any, Dict, List, Optional
|
||||
from fastapi import FastAPI, HTTPException, BackgroundTasks, Query
|
||||
from fastapi.middleware.cors import CORSMiddleware
|
||||
@@ -25,20 +26,34 @@ from .db import (
|
||||
from . import db as _db_module
|
||||
from .compiler import run_compile
|
||||
from .market import ingest_trends, get_suggestions
|
||||
from .local_provider import run_local_generation
|
||||
from .pipeline import orchestrator
|
||||
from .pipeline import youtube as yt_module
|
||||
from .suno_provider import (
|
||||
run_suno_generation, run_suno_extend, run_vocal_removal,
|
||||
run_cover_image, run_wav_convert, run_stem_split,
|
||||
run_upload_cover, run_upload_extend, run_add_vocals, run_add_instrumental, run_video_generate,
|
||||
generate_lyrics, get_credits, get_timestamped_lyrics, generate_style_boost,
|
||||
SUNO_API_KEY, SUNO_MODELS,
|
||||
)
|
||||
from .suno_provider import SUNO_MODELS
|
||||
from .batch_generator import run_batch as _run_batch
|
||||
import redis.asyncio as aioredis
|
||||
from .internal_router import router as internal_router
|
||||
|
||||
app = FastAPI()
|
||||
|
||||
REDIS_URL = os.getenv("REDIS_URL", "redis://redis:6379")
|
||||
redis_client = aioredis.from_url(REDIS_URL, decode_responses=False)
|
||||
|
||||
app.include_router(internal_router)
|
||||
|
||||
|
||||
async def _push_render_job(task_id: str, job_type: str, params: dict) -> None:
|
||||
"""Redis queue:music-render에 push. Windows worker가 BLPOP 후 처리."""
|
||||
kst = timezone(timedelta(hours=9))
|
||||
payload = {
|
||||
"task_id": task_id,
|
||||
"kind": "music",
|
||||
"job_type": job_type,
|
||||
"params": params,
|
||||
"submitted_at": datetime.now(kst).isoformat(),
|
||||
}
|
||||
await redis_client.rpush("queue:music-render", json.dumps(payload))
|
||||
|
||||
|
||||
_cors_origins = os.getenv("CORS_ALLOW_ORIGINS", "http://localhost:3007,http://localhost:8080").split(",")
|
||||
app.add_middleware(
|
||||
CORSMiddleware,
|
||||
@@ -94,13 +109,13 @@ def get_providers():
|
||||
"description": "로컬 AI 서버 (인스트루멘탈 전용)",
|
||||
"features": ["instrumental"],
|
||||
})
|
||||
if SUNO_API_KEY:
|
||||
providers.append({
|
||||
"id": "suno",
|
||||
"name": "Suno",
|
||||
"description": "Suno AI (보컬·가사·인스트루멘탈)",
|
||||
"features": ["vocals", "lyrics", "instrumental"],
|
||||
})
|
||||
# SUNO는 Windows music-render에서 처리 — 항상 가용 (Suno 키 누락 시 worker가 failed 보고)
|
||||
providers.append({
|
||||
"id": "suno",
|
||||
"name": "Suno",
|
||||
"description": "Suno AI (보컬·가사·인스트루멘탈)",
|
||||
"features": ["vocals", "lyrics", "instrumental"],
|
||||
})
|
||||
return {"providers": providers}
|
||||
|
||||
|
||||
@@ -129,28 +144,22 @@ class GenerateRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/generate")
|
||||
def generate_music(req: GenerateRequest, background_tasks: BackgroundTasks):
|
||||
"""
|
||||
음악 생성 작업 시작. task_id 즉시 반환 후 백그라운드에서 AI 서버 호출.
|
||||
provider: "suno" (Suno API) 또는 "local" (MusicGen)
|
||||
"""
|
||||
async def generate_music(req: GenerateRequest):
|
||||
"""음악 생성 작업 — Redis 큐로 Windows music-render에 위임."""
|
||||
provider = req.provider
|
||||
if provider == "suno" and not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
if provider == "local" and not os.getenv("MUSIC_AI_SERVER_URL"):
|
||||
raise HTTPException(status_code=400, detail="로컬 AI 서버 URL이 설정되지 않았습니다")
|
||||
# SUNO_API_KEY 검증은 Windows로 위임 (NAS에서 키 보유 X).
|
||||
# 실패 시 worker가 webhook으로 failed 보고.
|
||||
if provider not in ("suno", "local"):
|
||||
raise HTTPException(status_code=400, detail=f"지원하지 않는 provider: {provider}")
|
||||
if provider == "local" and not os.getenv("MUSIC_AI_SERVER_URL"):
|
||||
# 이 env는 NAS에는 더 이상 없지만 사용자 친화 검증으로 유지 — 실제 호출은 Windows
|
||||
pass
|
||||
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider=provider)
|
||||
|
||||
if provider == "suno":
|
||||
background_tasks.add_task(run_suno_generation, task_id, params)
|
||||
else:
|
||||
background_tasks.add_task(run_local_generation, task_id, params)
|
||||
|
||||
job_type = "suno_generation" if provider == "suno" else "local_generation"
|
||||
await _push_render_job(task_id, job_type, params)
|
||||
return {"task_id": task_id, "provider": provider}
|
||||
|
||||
|
||||
@@ -189,12 +198,11 @@ class LyricsRequest(BaseModel):
|
||||
|
||||
@app.post("/api/music/lyrics")
|
||||
def gen_lyrics(req: LyricsRequest):
|
||||
"""Suno AI로 가사를 생성합니다. 곡 생성 전 가사 미리보기용."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
result = generate_lyrics(req.prompt)
|
||||
"""Suno AI 가사 생성 — Windows music-render로 forward."""
|
||||
from .sync_forward import forward_lyrics
|
||||
result = forward_lyrics(req.prompt)
|
||||
if not result:
|
||||
raise HTTPException(status_code=502, detail="가사 생성에 실패했습니다")
|
||||
raise HTTPException(status_code=502, detail="가사 생성 실패 (Windows worker 응답 없음)")
|
||||
return result
|
||||
|
||||
|
||||
@@ -373,10 +381,9 @@ def get_models():
|
||||
|
||||
@app.get("/api/music/credits")
|
||||
def check_credits():
|
||||
"""Suno 잔여 크레딧 조회."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
result = get_credits()
|
||||
"""Suno 잔여 크레딧 조회 — Windows music-render로 forward."""
|
||||
from .sync_forward import forward_credits
|
||||
result = forward_credits()
|
||||
if result is None:
|
||||
raise HTTPException(status_code=502, detail="크레딧 조회 실패")
|
||||
return result
|
||||
@@ -394,15 +401,12 @@ class ExtendRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/extend")
|
||||
def extend_music(req: ExtendRequest, background_tasks: BackgroundTasks):
|
||||
async def extend_music(req: ExtendRequest):
|
||||
"""기존 곡을 특정 지점부터 연장 (Suno Extend API)."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_suno_extend, task_id, params)
|
||||
await _push_render_job(task_id, "suno_extend", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -414,15 +418,12 @@ class VocalRemovalRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/vocal-removal")
|
||||
def vocal_removal(req: VocalRemovalRequest, background_tasks: BackgroundTasks):
|
||||
async def vocal_removal(req: VocalRemovalRequest):
|
||||
"""트랙에서 보컬과 인스트루멘탈을 분리 (Suno Vocal Removal API)."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_vocal_removal, task_id, params)
|
||||
await _push_render_job(task_id, "vocal_removal", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -434,15 +435,12 @@ class CoverImageRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/cover-image")
|
||||
def cover_image(req: CoverImageRequest, background_tasks: BackgroundTasks):
|
||||
async def cover_image(req: CoverImageRequest):
|
||||
"""Suno 곡의 커버 이미지 2장 생성."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_cover_image, task_id, params)
|
||||
await _push_render_job(task_id, "cover_image", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -455,14 +453,12 @@ class WavRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/wav")
|
||||
def wav_convert(req: WavRequest, background_tasks: BackgroundTasks):
|
||||
async def wav_convert(req: WavRequest):
|
||||
"""곡을 WAV 포맷으로 변환."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_wav_convert, task_id, params)
|
||||
await _push_render_job(task_id, "wav_convert", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -475,14 +471,12 @@ class StemSplitRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/stem-split")
|
||||
def stem_split(req: StemSplitRequest, background_tasks: BackgroundTasks):
|
||||
async def stem_split(req: StemSplitRequest):
|
||||
"""곡을 12개 스템으로 분리 (50 크레딧). 보컬, 드럼, 베이스, 기타 등."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_stem_split, task_id, params)
|
||||
await _push_render_job(task_id, "stem_split", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -490,10 +484,9 @@ def stem_split(req: StemSplitRequest, background_tasks: BackgroundTasks):
|
||||
|
||||
@app.get("/api/music/timestamped-lyrics")
|
||||
def timestamped_lyrics(task_id: str, suno_id: str):
|
||||
"""타임스탬프 가사 조회 (가라오케 스타일 싱크용)."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
result = get_timestamped_lyrics(task_id, suno_id)
|
||||
"""타임스탬프 가사 — Windows music-render로 forward."""
|
||||
from .sync_forward import forward_timestamped_lyrics
|
||||
result = forward_timestamped_lyrics(task_id, suno_id)
|
||||
if not result:
|
||||
raise HTTPException(status_code=502, detail="타임스탬프 가사 조회 실패")
|
||||
return result
|
||||
@@ -507,10 +500,9 @@ class StyleBoostRequest(BaseModel):
|
||||
|
||||
@app.post("/api/music/style-boost")
|
||||
def style_boost(req: StyleBoostRequest):
|
||||
"""AI로 최적 스타일 프롬프트 생성."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
result = generate_style_boost(req.content)
|
||||
"""스타일 부스트 — Windows music-render로 forward."""
|
||||
from .sync_forward import forward_style_boost
|
||||
result = forward_style_boost(req.content)
|
||||
if not result:
|
||||
raise HTTPException(status_code=502, detail="스타일 부스트 생성 실패")
|
||||
return result
|
||||
@@ -533,14 +525,12 @@ class UploadCoverRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/upload-cover")
|
||||
def upload_cover(req: UploadCoverRequest, background_tasks: BackgroundTasks):
|
||||
async def upload_cover(req: UploadCoverRequest):
|
||||
"""외부 오디오를 Suno 스타일로 리메이크."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_upload_cover, task_id, params)
|
||||
await _push_render_job(task_id, "upload_cover", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -560,14 +550,12 @@ class UploadExtendRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/upload-extend")
|
||||
def upload_extend(req: UploadExtendRequest, background_tasks: BackgroundTasks):
|
||||
async def upload_extend(req: UploadExtendRequest):
|
||||
"""외부 오디오를 이어서 확장."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_upload_extend, task_id, params)
|
||||
await _push_render_job(task_id, "upload_extend", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -586,14 +574,12 @@ class AddVocalsRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/add-vocals")
|
||||
def add_vocals(req: AddVocalsRequest, background_tasks: BackgroundTasks):
|
||||
async def add_vocals(req: AddVocalsRequest):
|
||||
"""인스트루멘탈에 AI 보컬 추가."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_add_vocals, task_id, params)
|
||||
await _push_render_job(task_id, "add_vocals", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -611,14 +597,12 @@ class AddInstrumentalRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/add-instrumental")
|
||||
def add_instrumental(req: AddInstrumentalRequest, background_tasks: BackgroundTasks):
|
||||
async def add_instrumental(req: AddInstrumentalRequest):
|
||||
"""보컬에 AI 반주 추가."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_add_instrumental, task_id, params)
|
||||
await _push_render_job(task_id, "add_instrumental", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -633,14 +617,12 @@ class VideoRequest(BaseModel):
|
||||
|
||||
|
||||
@app.post("/api/music/video")
|
||||
def video_generate(req: VideoRequest, background_tasks: BackgroundTasks):
|
||||
async def video_generate(req: VideoRequest):
|
||||
"""뮤직비디오(MP4) 생성."""
|
||||
if not SUNO_API_KEY:
|
||||
raise HTTPException(status_code=400, detail="Suno API 키가 설정되지 않았습니다")
|
||||
task_id = str(uuid.uuid4())
|
||||
params = req.model_dump()
|
||||
create_task(task_id, params, provider="suno")
|
||||
background_tasks.add_task(run_video_generate, task_id, params)
|
||||
await _push_render_job(task_id, "video_generate", params)
|
||||
return {"task_id": task_id, "provider": "suno"}
|
||||
|
||||
|
||||
@@ -867,7 +849,7 @@ async def generate_batch(req: BatchGenerateRequest, bg: BackgroundTasks):
|
||||
raise HTTPException(status_code=400, detail="target_duration_sec는 60-300 사이")
|
||||
if not req.genre:
|
||||
raise HTTPException(status_code=400, detail="genre 필수")
|
||||
if not SUNO_API_KEY:
|
||||
if not os.getenv("SUNO_API_KEY"):
|
||||
raise HTTPException(status_code=400, detail="SUNO_API_KEY 미설정")
|
||||
|
||||
batch_id = _db_module.create_batch_job(
|
||||
|
||||
76
music-lab/app/sync_forward.py
Normal file
@@ -0,0 +1,76 @@
|
||||
"""SP-6 sync helpers forward — NAS → Windows music-render.
|
||||
|
||||
NAS music-lab의 /api/music/lyrics, /api/music/credits,
|
||||
/api/music/timestamped-lyrics, /api/music/style-boost 호출을
|
||||
Windows music-render의 /api/music-render/sync/* 로 forward.
|
||||
|
||||
SUNO_API_KEY는 NAS에 없으므로 NAS에서 직접 호출 불가.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import os
|
||||
from typing import Optional
|
||||
|
||||
import httpx
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
MUSIC_RENDER_URL = os.getenv("MUSIC_RENDER_URL", "http://192.168.45.59:18711")
|
||||
_TIMEOUT = 60.0 # 가사 생성은 폴링 포함 ~45초
|
||||
|
||||
|
||||
def forward_lyrics(prompt: str) -> Optional[dict]:
|
||||
try:
|
||||
r = httpx.post(
|
||||
f"{MUSIC_RENDER_URL}/api/music-render/sync/lyrics",
|
||||
json={"prompt": prompt},
|
||||
timeout=_TIMEOUT,
|
||||
)
|
||||
if r.status_code == 200:
|
||||
return r.json()
|
||||
logger.warning("forward_lyrics returned %d", r.status_code)
|
||||
except Exception:
|
||||
logger.exception("forward_lyrics 실패")
|
||||
return None
|
||||
|
||||
|
||||
def forward_credits() -> Optional[dict]:
|
||||
try:
|
||||
r = httpx.get(
|
||||
f"{MUSIC_RENDER_URL}/api/music-render/sync/credits",
|
||||
timeout=30.0,
|
||||
)
|
||||
if r.status_code == 200:
|
||||
return r.json()
|
||||
except Exception:
|
||||
logger.exception("forward_credits 실패")
|
||||
return None
|
||||
|
||||
|
||||
def forward_timestamped_lyrics(task_id: str, suno_id: str) -> Optional[dict]:
|
||||
try:
|
||||
r = httpx.get(
|
||||
f"{MUSIC_RENDER_URL}/api/music-render/sync/timestamped-lyrics",
|
||||
params={"task_id": task_id, "suno_id": suno_id},
|
||||
timeout=30.0,
|
||||
)
|
||||
if r.status_code == 200:
|
||||
return r.json()
|
||||
except Exception:
|
||||
logger.exception("forward_timestamped_lyrics 실패")
|
||||
return None
|
||||
|
||||
|
||||
def forward_style_boost(content: str) -> Optional[dict]:
|
||||
try:
|
||||
r = httpx.post(
|
||||
f"{MUSIC_RENDER_URL}/api/music-render/sync/style-boost",
|
||||
json={"content": content},
|
||||
timeout=30.0,
|
||||
)
|
||||
if r.status_code == 200:
|
||||
return r.json()
|
||||
except Exception:
|
||||
logger.exception("forward_style_boost 실패")
|
||||
return None
|
||||
@@ -14,3 +14,4 @@ freezegun>=1.4
|
||||
google-api-python-client>=2.100
|
||||
google-auth-oauthlib>=1.2
|
||||
google-auth-httplib2>=0.2
|
||||
redis>=5.0
|
||||
|
||||
23
music-lab/tests/test_auth.py
Normal file
@@ -0,0 +1,23 @@
|
||||
"""verify_internal_key dependency — Windows music-render webhook 인증."""
|
||||
import pytest
|
||||
from fastapi import HTTPException
|
||||
from app.auth import verify_internal_key
|
||||
|
||||
|
||||
def test_valid_key_passes(monkeypatch):
|
||||
monkeypatch.setenv("INTERNAL_API_KEY", "secret123")
|
||||
verify_internal_key(x_internal_key="secret123")
|
||||
|
||||
|
||||
def test_invalid_key_raises_401(monkeypatch):
|
||||
monkeypatch.setenv("INTERNAL_API_KEY", "secret123")
|
||||
with pytest.raises(HTTPException) as exc:
|
||||
verify_internal_key(x_internal_key="wrong")
|
||||
assert exc.value.status_code == 401
|
||||
|
||||
|
||||
def test_missing_env_key_raises_401(monkeypatch):
|
||||
monkeypatch.delenv("INTERNAL_API_KEY", raising=False)
|
||||
with pytest.raises(HTTPException) as exc:
|
||||
verify_internal_key(x_internal_key="any")
|
||||
assert exc.value.status_code == 401
|
||||