# -*- coding: utf-8 -*-
"""
OpenRouter 클라이언트 테스트 스크립트

사용법:
    python modules/test_openrouter_client.py

환경변수 설정:
    export OPENROUTER_API_KEY="sk-or-v1-xxxxx"
    또는 코드에서 직접 설정
"""
import os
import sys
import time
import logging
from typing import List, Dict, Any, Optional
from dataclasses import dataclass

# 로깅 설정
logging.basicConfig(
    level=logging.INFO,
    format='[%(asctime)s] [%(levelname)s] %(message)s',
    datefmt='%Y-%m-%d %H:%M:%S'
)
logger = logging.getLogger(__name__)

# 모듈 경로 추가
sys.path.insert(0, os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

from modules.openrouter_client import OpenRouterTranslator


# =============================================================================
# 로그에서 추출한 샘플 OCR 데이터
# =============================================================================

# 샘플 1: 이미지 35 (7개 텍스트, 모두 중국어)
SAMPLE_1: List[Dict[str, Any]] = [
    {'text': '高密【拉毛布】', 'confidence': 0.8697245717048645},
    {'text': '柔中带韧不易坏', 'confidence': 0.9874316453933716},
    {'text': '安静无声助力深度睡眠', 'confidence': 0.9960897564888},
    {'text': 'newpet家的', 'confidence': 0.9988763928413391},
    {'text': '别人家的', 'confidence': 0.9997605085372925},
    {'text': '密织拉毛布保暖还结实', 'confidence': 0.9967950582504272},
    {'text': '劣质无纺布一拉就烂一洗就散', 'confidence': 0.9917935729026794},
]

# 샘플 2: 이미지 37 (3개 텍스트, 모두 중국어)
SAMPLE_2: List[Dict[str, Any]] = [
    {'text': '隐藏拉链不易咬', 'confidence': 0.9800551533699036},
    {'text': '宠物更安全', 'confidence': 0.9966630935668945},
    {'text': '隐藏式拉链+顺滑手感告别突元五金', 'confidence': 0.9670320749282837},
]

# 샘플 3: 이미지 38 (12개 중 11개 중국어, Productparameters 제외됨)
SAMPLE_3: List[Dict[str, Any]] = [
    {'text': '产品参数', 'confidence': 0.995430052280426},
    {'text': '品牌', 'confidence': 0.9999157786369324},
    {'text': '名称', 'confidence': 0.9999277591705322},
    {'text': 'NewPet妞派特', 'confidence': 0.9976658225059509},
    {'text': '加厚防风圆弧房子', 'confidence': 0.9947051405906677},
    {'text': '适用对象', 'confidence': 0.9994360208511353},
    {'text': '产品材质', 'confidence': 0.9989043474197388},
    {'text': '猫犬通用', 'confidence': 0.9970399141311646},
    {'text': '高密度海绵、牛津布', 'confidence': 0.995124101638794},
    {'text': '颜色', 'confidence': 0.9999042749404907},
    {'text': '多色可选', 'confidence': 0.9995521903038025},
]

# 샘플 4: 이미지 4 (9개 중 8개 중국어, newpet 제외됨)
SAMPLE_4: List[Dict[str, Any]] = [
    {'text': '工厂直销', 'confidence': 0.9989292621612549},
    {'text': '品质稳定有保证', 'confidence': 0.9961501359939575},
    {'text': '实力源头厂家，13年畅销好产品', 'confidence': 0.9883608222007751},
    {'text': 'M稳定货源', 'confidence': 0.8720976114273071},
    {'text': '诚实守信', 'confidence': 0.9912816882133484},
    {'text': 'M品质放心', 'confidence': 0.9013170003890991},
    {'text': '德国品质·13年畅销', 'confidence': 0.9565986394882202},
    {'text': '连续登顶天猫宠物窝TOP榜', 'confidence': 0.9966885447502136},
]

# 샘플 5: 이미지 1 (8개 텍스트, 모두 중국어)
SAMPLE_5: List[Dict[str, Any]] = [
    {'text': '二', 'confidence': 0.9579324722290039},
    {'text': '暖意不容等待', 'confidence': 0.9924479126930237},
    {'text': '趁"冷"下单，立享温暖', 'confidence': 0.9866428971290588},
    {'text': '降温预警', 'confidence': 0.9913228750228882},
    {'text': '广州', 'confidence': 0.9998736381530762},
    {'text': '低至10°℃-9℃', 'confidence': 0.9398331046104431},
    {'text': '部分城市', 'confidence': 0.9955496191978455},
    {'text': '未来7天降温情况', 'confidence': 0.9742034077644348},
]

# 필터링 전 원본 데이터 (중국어 없는 텍스트 포함)
SAMPLE_3_WITH_ENGLISH: List[Dict[str, Any]] = [
    {'text': 'Productparameters', 'confidence': 0.9952481389045715},  # 영어 (필터링됨)
    {'text': '产品参数', 'confidence': 0.995430052280426},
    {'text': '品牌', 'confidence': 0.9999157786369324},
    {'text': '名称', 'confidence': 0.9999277591705322},
    {'text': 'NewPet妞派特', 'confidence': 0.9976658225059509},
    {'text': '加厚防风圆弧房子', 'confidence': 0.9947051405906677},
    {'text': '适用对象', 'confidence': 0.9994360208511353},
    {'text': '产品材质', 'confidence': 0.9989043474197388},
    {'text': '猫犬通用', 'confidence': 0.9970399141311646},
    {'text': '高密度海绵、牛津布', 'confidence': 0.995124101638794},
    {'text': '颜色', 'confidence': 0.9999042749404907},
    {'text': '多色可选', 'confidence': 0.9995521903038025},
]

SAMPLE_4_WITH_ENGLISH: List[Dict[str, Any]] = [
    {'text': '工厂直销', 'confidence': 0.9989292621612549},
    {'text': '品质稳定有保证', 'confidence': 0.9961501359939575},
    {'text': '实力源头厂家，13年畅销好产品', 'confidence': 0.9883608222007751},
    {'text': 'M稳定货源', 'confidence': 0.8720976114273071},
    {'text': '诚实守信', 'confidence': 0.9912816882133484},
    {'text': 'M品质放心', 'confidence': 0.9013170003890991},
    {'text': 'newpet', 'confidence': 0.9935563206672668},  # 영어 (필터링됨)
    {'text': '德国品质·13年畅销', 'confidence': 0.9565986394882202},
    {'text': '连续登顶天猫宠物窝TOP榜', 'confidence': 0.9966885447502136},
]


# =============================================================================
# 테스트 함수들
# =============================================================================

@dataclass
class BenchmarkResult:
    """벤치마크 결과 데이터 클래스"""
    model_id: str
    elapsed_time: float
    success: bool
    results: Optional[List[str]] = None
    error: Optional[str] = None


def print_separator(title: str = ""):
    """구분선 출력"""
    print("\n" + "=" * 80)
    if title:
        print(f"  {title}")
        print("=" * 80)
    print()


def test_translate_ocr_texts(
    translator: OpenRouterTranslator,
    ocr_results: List[Dict[str, Any]],
    product_name: str = "테스트 상품",
    category: str = "테스트 카테고리",
    sample_name: str = "샘플"
):
    """translate_ocr_texts 메서드 테스트"""
    print_separator(f"{sample_name} - translate_ocr_texts 테스트")
    
    print(f"입력 텍스트 ({len(ocr_results)}개):")
    for i, item in enumerate(ocr_results, 1):
        print(f"  {i}. {item['text']}")
    
    print(f"\n상품명: {product_name}")
    print(f"카테고리: {category}")
    print(f"모델: {translator.get_current_model()['name']}")
    print("\n번역 중...")
    
    try:
        results = translator.translate_ocr_texts(
            product_name=product_name,
            category=category,
            ocr_results=ocr_results
        )
        
        print(f"\n번역 결과 ({len(results)}개):")
        for i, (original, translated) in enumerate(zip(ocr_results, results), 1):
            print(f"  {i}. {original['text']} → {translated}")
        
        return results
    except Exception as e:
        print(f"\n❌ 오류 발생: {e}")
        import traceback
        traceback.print_exc()
        return None


def test_run_llm_translation(
    translator: OpenRouterTranslator,
    ocr_results: List[Dict[str, Any]],
    product_name: str = "테스트 상품",
    category: str = "테스트 카테고리",
    steps: int = 2,
    sample_name: str = "샘플"
):
    """run_llm_translation 메서드 테스트 (steps 지원)"""
    print_separator(f"{sample_name} - run_llm_translation 테스트 (steps={steps})")
    
    print(f"입력 텍스트 ({len(ocr_results)}개):")
    for i, item in enumerate(ocr_results, 1):
        print(f"  {i}. {item['text']}")
    
    print(f"\n상품명: {product_name}")
    print(f"카테고리: {category}")
    print(f"모델: {translator.get_current_model()['name']}")
    print(f"번역 단계: {steps} ({'직역만' if steps == 1 else '직역+마케팅톤 변환'})")
    print("\n번역 중...")
    
    try:
        results = translator.run_llm_translation(
            product_name=product_name,
            category=category,
            ocr_results=ocr_results,
            steps=steps
        )
        
        print(f"\n번역 결과 ({len(results)}개):")
        for i, (original, translated) in enumerate(zip(ocr_results, results), 1):
            print(f"  {i}. {original['text']} → {translated}")
        
        return results
    except Exception as e:
        print(f"\n❌ 오류 발생: {e}")
        import traceback
        traceback.print_exc()
        return None


def test_filtering_comparison(
    translator: OpenRouterTranslator,
    filtered_results: List[Dict[str, Any]],
    unfiltered_results: List[Dict[str, Any]],
    product_name: str = "테스트 상품",
    category: str = "테스트 카테고리"
):
    """필터링 전/후 비교 테스트"""
    print_separator("필터링 전/후 비교 테스트")
    
    print("=" * 80)
    print("  중국어가 없는 텍스트를 포함한 경우 (필터링 전)")
    print("=" * 80)
    
    print(f"\n입력 텍스트 ({len(unfiltered_results)}개):")
    for i, item in enumerate(unfiltered_results, 1):
        has_chinese = any('\u4e00' <= char <= '\u9fff' for char in item['text'])
        marker = "✓" if has_chinese else "✗ (필터링됨)"
        print(f"  {i}. {item['text']} {marker}")
    
    print("\n번역 중...")
    try:
        results_unfiltered = translator.translate_ocr_texts(
            product_name=product_name,
            category=category,
            ocr_results=unfiltered_results
        )
        
        print("\n번역 결과:")
        for i, (original, translated) in enumerate(zip(unfiltered_results, results_unfiltered), 1):
            has_chinese = any('\u4e00' <= char <= '\u9fff' for char in original['text'])
            marker = "" if has_chinese else " (원본 유지)"
            print(f"  {i}. {original['text']} → {translated}{marker}")
    except Exception as e:
        print(f"\n❌ 오류 발생: {e}")
        import traceback
        traceback.print_exc()
    
    print("\n" + "=" * 80)
    print("  중국어만 포함한 경우 (필터링 후)")
    print("=" * 80)
    
    print(f"\n입력 텍스트 ({len(filtered_results)}개):")
    for i, item in enumerate(filtered_results, 1):
        print(f"  {i}. {item['text']}")
    
    print("\n번역 중...")
    try:
        results_filtered = translator.translate_ocr_texts(
            product_name=product_name,
            category=category,
            ocr_results=filtered_results
        )
        
        print("\n번역 결과:")
        for i, (original, translated) in enumerate(zip(filtered_results, results_filtered), 1):
            print(f"  {i}. {original['text']} → {translated}")
    except Exception as e:
        print(f"\n❌ 오류 발생: {e}")
        import traceback
        traceback.print_exc()
    
    print("\n" + "=" * 80)
    print("  분석 및 권장사항")
    print("=" * 80)
    print("""
    중국어가 없는 텍스트를 필터링하는 것에 대한 분석:
    
    1. 맥락 이해 측면:
       - 중국어가 없는 텍스트(영어, 숫자 등)는 보통 브랜드명, 모델명, 
         또는 이미 번역된 텍스트일 가능성이 높음
       - 이러한 텍스트를 포함하면 LLM이 전체 맥락을 더 잘 이해할 수 있음
       - 예: "newpet" 브랜드명이 있으면 "newpet家的"의 번역 품질이 향상될 수 있음
    
    2. 토큰 사용 측면:
       - 필터링하지 않으면 입력 토큰이 증가함
       - 하지만 맥락 정보가 추가되어 번역 품질이 향상될 수 있음
       - 비용과 품질의 트레이드오프
    
    3. 권장사항:
       - 브랜드명, 모델명 등은 포함하는 것이 좋음 (맥락 이해 향상)
       - 순수 영어 설명문은 제외해도 무방 (중국어 번역 대상이 아님)
       - 숫자, 기호는 포함 (상품 정보의 일부)
       - 최종 결정은 번역 품질과 비용을 고려하여 선택
    """)


def benchmark_models(
    api_key: str,
    model_ids: List[str],
    ocr_results: List[Dict[str, Any]],
    product_name: str = "테스트 상품",
    category: str = "테스트 카테고리",
    use_llm_translation: bool = False,
    steps: int = 1
) -> List[BenchmarkResult]:
    """
    여러 모델을 벤치마크하여 비교
    
    Args:
        api_key: OpenRouter API 키
        model_ids: 테스트할 모델 ID 리스트
        ocr_results: OCR 결과 데이터
        product_name: 상품명
        category: 카테고리
        use_llm_translation: True면 run_llm_translation 사용, False면 translate_ocr_texts 사용
        steps: run_llm_translation 사용 시 번역 단계 (1=직역만, 2=직역+마케팅톤 변환)
    
    Returns:
        벤치마크 결과 리스트
    """
    benchmark_results: List[BenchmarkResult] = []
    
    method_name = "run_llm_translation" if use_llm_translation else "translate_ocr_texts"
    print_separator("벤치마크 시작")
    print(f"테스트 모델 수: {len(model_ids)}")
    print(f"입력 텍스트 수: {len(ocr_results)}")
    print(f"상품명: {product_name}")
    print(f"카테고리: {category}")
    print(f"사용 메서드: {method_name}")
    if use_llm_translation:
        print(f"번역 단계: {steps} ({'직역만' if steps == 1 else '직역+마케팅톤 변환'})")
    print()
    
    for idx, model_id in enumerate(model_ids, 1):
        print(f"[{idx}/{len(model_ids)}] 모델: {model_id}")
        print("-" * 80)
        
        start_time = time.time()
        success = False
        results = None
        error_msg = None
        
        try:
            # 번역기 초기화 (타임아웃 10초)
            translator = OpenRouterTranslator(
                api_key=api_key,
                model_id=model_id,
                timeout=10,
                logger=logger
            )
            
            # 번역 실행 (플래그에 따라 메서드 선택)
            if use_llm_translation:
                results = translator.run_llm_translation(
                    product_name=product_name,
                    category=category,
                    ocr_results=ocr_results,
                    steps=steps
                )

                

                # results = translator.run_combined_llm_translation(
                #     product_name=product_name,
                #     category=category,
                #     ocr_results=ocr_results,
                #     # steps=steps
                # )


            else:
                results = translator.translate_ocr_texts(
                    product_name=product_name,
                    category=category,
                    ocr_results=ocr_results
                )
            
            success = True
            elapsed_time = time.time() - start_time
            
            print(f"✅ 성공 - 소요 시간: {elapsed_time:.2f}초")
            print(f"번역 결과:")
            for i, (original, translated) in enumerate(zip(ocr_results, results), 1):
                print(f"  {i}. {original['text']} → {translated}")
            
        except Exception as e:
            elapsed_time = time.time() - start_time
            error_msg = str(e)
            print(f"❌ 실패 - 소요 시간: {elapsed_time:.2f}초")
            print(f"오류: {error_msg}")
            import traceback
            traceback.print_exc()
        
        benchmark_results.append(BenchmarkResult(
            model_id=model_id,
            elapsed_time=elapsed_time,
            success=success,
            results=results,
            error=error_msg
        ))
        
        print()
    
    return benchmark_results


def print_benchmark_summary(benchmark_results: List[BenchmarkResult]):
    """벤치마크 결과 요약 출력"""
    print_separator("벤치마크 결과 요약")
    
    # 성공한 결과만 필터링
    successful_results = [r for r in benchmark_results if r.success]
    failed_results = [r for r in benchmark_results if not r.success]
    
    if successful_results:
        # 실행 시간 기준 정렬
        sorted_results = sorted(successful_results, key=lambda x: x.elapsed_time)
        
        print("✅ 성공한 모델:")
        print("-" * 80)
        print(f"{'순위':<6} {'모델 ID':<50} {'소요 시간':<15} {'상태'}")
        print("-" * 80)
        
        for rank, result in enumerate(sorted_results, 1):
            status = "✅ 성공"
            print(f"{rank:<6} {result.model_id:<50} {result.elapsed_time:>10.2f}초  {status}")
        
        print()
        print("📊 통계:")
        times = [r.elapsed_time for r in successful_results]
        print(f"  평균 시간: {sum(times) / len(times):.2f}초")
        print(f"  최소 시간: {min(times):.2f}초 ({sorted_results[0].model_id})")
        print(f"  최대 시간: {max(times):.2f}초 ({sorted_results[-1].model_id})")
        print()
    
    if failed_results:
        print("❌ 실패한 모델:")
        print("-" * 80)
        for result in failed_results:
            print(f"  {result.model_id}")
            print(f"    오류: {result.error}")
            print(f"    소요 시간: {result.elapsed_time:.2f}초")
            print()
    
    # 결과 비교
    if len(successful_results) > 1:
        print_separator("번역 결과 비교")
        
        # 첫 번째 성공한 모델의 결과를 기준으로 비교
        base_result = successful_results[0]
        print(f"기준 모델: {base_result.model_id}")
        print()
        
        for result in successful_results[1:]:
            if result.results and base_result.results:
                print(f"모델: {result.model_id}")
                print("-" * 80)
                
                differences = []
                for i, (base_trans, comp_trans) in enumerate(zip(base_result.results, result.results), 1):
                    if base_trans != comp_trans:
                        differences.append(i)
                        print(f"  차이 {len(differences)}: 항목 {i}")
                        print(f"    기준: {base_trans}")
                        print(f"    비교: {comp_trans}")
                
                if not differences:
                    print("  모든 번역 결과가 기준 모델과 동일합니다.")
                else:
                    print(f"  총 {len(differences)}개 항목에서 차이 발견")
                print()


def main():
    """메인 테스트 함수"""
    print_separator("OpenRouter 클라이언트 벤치마크 테스트")
    
    # =============================================================================
    # 여기서 모델과 API 키를 직접 지정하세요
    # =============================================================================
    API_KEY = os.getenv("OPENROUTER_API_KEY", "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")
    
        
    # 테스트 데이터
    product_name = "NewPet 반려동물 House"
    category = "반려동물용품"
    test_sample = SAMPLE_1  # 또는 SAMPLE_2, SAMPLE_3 등
    
    # 벤치마크 설정
    USE_LLM_TRANSLATION = True  # True: run_llm_translation 사용, False: translate_ocr_texts 사용
    STEPS = 2  # run_llm_translation 사용 시 번역 단계 (1=직역만, 2=직역+마케팅톤 변환)

    # 벤치마크할 모델 ID 리스트
    MODEL_IDS = [
        # "xiaomi/mimo-v2-flash:free",
        # "openai/gpt-oss-20b:deepinfra/fp4",
        # "mistralai/devstral-2512:free",
        # "mistralai/mistral-7b-instruct:free",
        # "openai/gpt-oss-20b:gmicloud/fp4",
        # "z-ai/glm-4.5-air:novita/bf16",
        # "deepseek/deepseek-v3.2:atlas-cloud/fp8",
        "openai/gpt-5-nano:azure",
        # "google/gemma-3n-e4b-it:together",
        # "google/gemma-3-4b-it:deepinfra/bf16",
        # 추가 모델 ID를 여기에 추가하세요
    ]
    
    # 벤치마크 실행
    benchmark_results = benchmark_models(
        api_key=API_KEY,
        model_ids=MODEL_IDS,
        ocr_results=test_sample,
        product_name=product_name,
        category=category,
        use_llm_translation=USE_LLM_TRANSLATION,
        steps=STEPS
    )
    
    # 결과 요약 출력
    print_benchmark_summary(benchmark_results)
    
    print_separator("벤치마크 완료")


if __name__ == "__main__":
    main()