논문 링크: https://arxiv.org/pdf/2501.10963FinGPT Search AgentsFinGPT 기반 Agent로 신뢰할 수 있는 리소스로부터 금융정보 취득 (Retrieve) 등 RAG 수행Resource: Yahoo, Finance, Bloomberg, local documents like PDFs and Excel sheetsReference:Github: https://github.com/Open-Finance-Lab/FinGPT-Search-AgentOpen FinLLM LeaderboardEvaluation Framework: LLM의 Multi-modal 능력에 대한 투명하고 표준적인 평가 프레임워크 제공제로샷 (zero-shot) 평가: w/o Fine-tuning o..

Load BalancerLoad Balancer에 대해 공부하면서, 이를 더욱 잘 이해하기 위해 HTTP Protocol 및 Network Layer에 대한 개념을 한 번 정리해야겠다는 생각이 들었다. AI Researcher로 몇년 간 근무하면서, 최근 들어 더더욱 컴공 기초 지식, 하드웨어, 네트워크 지식 등이 매우 부족하다는 점을 깨닫는다. 학습 메모리 효율화를 위한 대표적인 방법으로 Mixed Precision이란 개념이 있는데, 아마 이 개념을 접하기 시작하면서부터 점점 커져왔던 마음 속 불편함이 있었다. LLM을 학습하면서도 분산학습을 진행하게 되는데, GPU 간 통신 (NCCL backend 등) 기법 등과 같이 네트워크에 대한 정밀한 이해 없이는 알 수 없는 개념을 접하게 되면서 이제는 무..

Quantization에 대해 정리를 하고자 마음 먹은지 몇달은 된 것 같은데, 미루고 미루다 이제야 적게 되네요.AI Researcher로 일을 하면서 GPU와 같은 하드웨어에 대한 지식은 깊이 알지 못했는데, 최근 들어 V100, A100, H100 등의 Nvidia GPU 출시, 모델 훈련 및 추론 시 활용되는 Flash Attention 등이 등장하면서 그 필요성이 점점 대두되는 것 같습니다.빠르진 않더라도 착실하게 지식을 쌓아가고자 이렇게 글을 정리합니다! 우선 양자화를 이해하기 위해서는 Floating Point data type에 대해 짚고 넘어가야할 것 같네요. 이런 지식들은 특히 Nvidia 블로그 글에 잘 정리되어 있는데, 저 또한 해당 블로그들을 참고하면서 지식을 정리해보겠습니다. 아..

1. The McGurk Effect (1976)2. How modalities can affect/intersect between each other? (4 Potential Scenarios)- Multimodal redundancy: Each modality data is redundant to each other- Multimodal enhancement: The intersection between modalities helps to reach the task more effectively- Multimodal non-redundancy: Each modality complements each other- Multimodal dominance: One modality dominates the o..

배경 최근 AI 업계에서 LLM이 크게 회자되고 있는 만큼, AI Engineer로서 하고 있는 업무의 패러다임도 마찬가지로 조금씩 바뀌어 가고 있다. 기존에는 BERT 기반의 작은 LLM을 Fine-tuning하여, AGI (Artificial General Intelligence) 지향이 아닌 특정 태스크(ex. 분류)만을 수행하는 AI 모델을 만드는 일이 다반사였다. 그러나 최근에는 LLM의 성능을 높이는 것이 큰 이슈거리가 되었고, LLM의 성능이 곧 AI를 다루는 기업의 경쟁력을 나타내는 지경까지 왔다. 한편으로, LLM의 성능뿐만 아니라, 개인 정보, 기업 기밀 등이 포함된 데이터가 Training Data로서 쓰이지 않도록 하는 보안 강화 이슈 역시 큰 화제이기도 하다. 필자 또한 최근에 ..

배경 SQLAlchemy를 활용하여 PostgreSQL Database에 관계형 Table을 처음 다뤄본 사람이라면, 한 번쯤 relationship의 'backref'와 'back_populates'의 차이점, ForeignKey에 CASCADE를 지정하는 것과 relationship에 CASCADE를 지정하는 것의 차이가 무엇인지 궁금한 적이 있을 거다. 이 글은 위 언급한 개념들의 차이점과 정확한 사용법을 정리하는데 목적이 있다. 본론 1. backref vs. back_populates 관계형 DB를 설명할 때 가장 많이 활용되는 예시는 Parent와 Children일 것이다. 이해하기 매우 직관적이고, 추후 'delete-orphan' 과 같은 CASCADE 옵션의 의미를 이해할 때에도 큰 도움..

1. 강의 수강 배경 문과 학부생으로서 재학하던 중, 운좋게 지도 교수님의 자연어처리 랩실의 학부 연구생으로 참여할 기회를 얻으면서부터 AI 개발자의 길로 들어서게 되었다. 자연어처리는 커녕 자연어처리, 딥러닝가 무엇인지에 대해서도 알지 못했던 시작점에서, 주먹구구식으로 맨땅에 헤딩하며 하나부터 열까지 공부를 했었던 것 같다. 다행히도 지도교수님께서는 N사 자연어처리 연구소에서 꽤 오래전부터 전통적인 자연어처리 기법을 연구하신 경험이 있으셔, 그 도움을 받아 다른 학습자에 비해 손쉽게 학습의 방향성을 잡을 수 있었다. 다만, 조급했던 마음에 개념을 다잡고 완벽히 이해하기도 전에 겉핥기 식으로 공부한 부분도 있어, 늘 그러한 부분들이 마음 속에 아쉬움이란 이름의 응어리처럼 남아 나를 괴롭혔다. 졸업 전 ..