Load BalancerLoad Balancer에 대해 공부하면서, 이를 더욱 잘 이해하기 위해 HTTP Protocol 및 Network Layer에 대한 개념을 한 번 정리해야겠다는 생각이 들었다. AI Researcher로 몇년 간 근무하면서, 최근 들어 더더욱 컴공 기초 지식, 하드웨어, 네트워크 지식 등이 매우 부족하다는 점을 깨닫는다. 학습 메모리 효율화를 위한 대표적인 방법으로 Mixed Precision이란 개념이 있는데, 아마 이 개념을 접하기 시작하면서부터 점점 커져왔던 마음 속 불편함이 있었다. LLM을 학습하면서도 분산학습을 진행하게 되는데, GPU 간 통신 (NCCL backend 등) 기법 등과 같이 네트워크에 대한 정밀한 이해 없이는 알 수 없는 개념을 접하게 되면서 이제는 무..

1. 강의 수강 배경 문과 학부생으로서 재학하던 중, 운좋게 지도 교수님의 자연어처리 랩실의 학부 연구생으로 참여할 기회를 얻으면서부터 AI 개발자의 길로 들어서게 되었다. 자연어처리는 커녕 자연어처리, 딥러닝가 무엇인지에 대해서도 알지 못했던 시작점에서, 주먹구구식으로 맨땅에 헤딩하며 하나부터 열까지 공부를 했었던 것 같다. 다행히도 지도교수님께서는 N사 자연어처리 연구소에서 꽤 오래전부터 전통적인 자연어처리 기법을 연구하신 경험이 있으셔, 그 도움을 받아 다른 학습자에 비해 손쉽게 학습의 방향성을 잡을 수 있었다. 다만, 조급했던 마음에 개념을 다잡고 완벽히 이해하기도 전에 겉핥기 식으로 공부한 부분도 있어, 늘 그러한 부분들이 마음 속에 아쉬움이란 이름의 응어리처럼 남아 나를 괴롭혔다. 졸업 전 ..