[Paper Review] Open FinLLM Leaderboard: Towards Financial AI Readiness

논문 링크: https://arxiv.org/pdf/2501.10963

FinGPT Search Agents

• FinGPT 기반 Agent로 신뢰할 수 있는 리소스로부터 금융정보 취득 (Retrieve) 등 RAG 수행
  • Resource: Yahoo, Finance, Bloomberg, local documents like PDFs and Excel sheets
• Reference:
  • Github: https://github.com/Open-Finance-Lab/FinGPT-Search-Agent

Open FinLLM Leaderboard

• Evaluation Framework: LLM의 Multi-modal 능력에 대한 투명하고 표준적인 평가 프레임워크 제공
  
  • 제로샷 (zero-shot) 평가: w/o Fine-tuning on the task-specific dataset
  • 모델 설치: API or Huggingface
  • 평가 지표: Task 별 적합한 평가 지표 측정 및 Min-Max Scaling을 통한 Normalization 수행

Multimodal Performance:

- Task: Financial Reporting, Sentiment Analysis, Stock Prediction

- Multimodal: Text, Table, Numerical data, and structured format like XBRL

리더보드 평가 금융 태스크

•  Reference:
  • Github: https://github.com/finos-labs/Open-Financial-LLMs-Leaderboard
  • Huggingface: https://huggingface.co/spaces/finosfoundation/Open-Financial-LLM-Leaderboard 

Related Works

1. FinLLM
   • BloombergGPT
   • FinGPT
2. Benchmark
   • FinBen
     • 24 tasks / 46 datasets
     • GPT-4, Gemini와 같은 모델을 평가하는 Framework 제공
     • Task: Information Extraction, Question Answering, Stock Trading, etc.
   • FinanceBench
     • Financial Question Answering에 치중. 150개의 질의 공개

금융 벤치마크 태스크

금융 데이터셋 소스 경로