About The Team & Mission
LLM Engineer (Optimization)는 대규모 언어 모델(LLM)의 추론 성능(Inference Performance)을 극대화하여 실제 서비스 환경에 최적화된 AI 시스템을 개발합니다. 서버(GPU Cluster)부터 Edge 및 On-device 환경까지 다양한 하드웨어에서 최고의 성능과 효율을 달성할 수 있도록 Inference Engine, Runtime, Compiler 및 Model Optimization 기술을 연구·개발합니다. 최신 LLM Serving 기술과 GPU/Accelerator 최적화를 활용하여 고성능·저지연·저비용 AI 서비스를 구현하는 핵심 역할을 수행합니다.
Responsibilities
- LLM Inference Optimization
- 대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다.
- 다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다.
- Long Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다.
- Inference Engine 및 Runtime 개발
- GPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다.
- vLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다.
- Speculative Decoding, Prefill-Decode Disaggregation 등 최신 Serving 기술을 적용합니다.
- Model Compression 및 Compiler Optimization
- Quantization(MXFP8, NVFP4, AWQ, GPTQ 등) Pruning, Distillation 등 모델 경량화 기법을 연구하고 적용합니다.
- CUDA, Triton, TensorRT, TVM, MLIR 등 Compiler 및 Kernel Optimization을 활용하여 추론 성능을 향상합니다.
- GPU Memory 및 Kernel 효율을 분석하고 최적화합니다.
- Edge AI 및 On-device Optimization
- Mobile, Embedded, Edge Device 환경에서 LLM을 효율적으로 실행하기 위한 최적화 기술을 개발합니다.
- CPU, GPU, NPU 등 다양한 하드웨어 아키텍처에 맞는 최적화 전략을 수립합니다.
- 제한된 리소스 환경에서도 높은 성능과 낮은 전력 소비를 달성할 수 있도록 최적화합니다.
- Performance Analysis 및 Benchmark
- 다양한 하드웨어 및 Inference Backend의 성능을 분석하고 Benchmark를 수행합니다.
- NVIDIA Nsight Systems, Nsight Compute, py-spy 등의 Profiling Tool을 활용하여 GPU 및 Runtime 병목을 분석하고 지속적으로 추론 성능을 개선합니다.
- 주어진 Prompt 및 서비스 요구사항에 맞춰 모델 품질, 추론 성능(Latency/Throughput), 비용 간의 Trade-off를 최적화하고, 이에 적합한 Serving Architecture를 설계합니다.
Qualifications
- ILLM, Machine Learning Infrastructure 또는 Inference Optimization 관련 경력 3년 이상
- LLM Inference Engine 또는 AI Runtime 개발 경험
- GPU Architecture, CUDA Programming 또는 병렬 컴퓨팅에 대한 이해
- Quantization, Model Compression, Compiler Optimization 등 모델 최적화 기술에 대한 이해
- PyTorch, ONNX, TensorRT 등 딥러닝 프레임워크 활용 경험
- Python 및 C/C++ 중 하나 이상의 언어에 능숙하며, 소프트웨어 엔지니어링 역량을 보유하신 분
- 성능 분석 및 문제 해결 능력과 협업 역량을 갖추신 분
Preferred Qualifications
- vLLM, TensorRT-LLM, SGLang, llama.cpp, MLX, ONNX Runtime 등 LLM Serving Framework 활용 또는 개발 경험
- CUDA, Triton Kernel 또는 Custom Operator 개발 경험
- Speculative Decoding, Prefill-Decode Disaggregation, KV Cache Compression, Expert Parallelism(MoE) 등 최신 LLM Inference Optimization 및 Serving 기술 경험
- NVIDIA GPU(H100, B200 등), AMD GPU 또는 다양한 AI Accelerator 최적화 경험
- Edge AI 및 On-device LLM 최적화 경험(Orin, Thor, Qualcomm, Apple Silicon 등)
- Kubernetes 기반 AI Serving 또는 대규모 GPU Cluster 운영 경험
- LLM Fine-tuning 및 Distributed Training에 대한 이해
- AI Systems, ML Systems 또는 LLM Infrastructure 관련 오픈소스 기여 경험
- AI/ML Systems 분야의 우수 학회(NeurIPS, ICML, ICLR, MLSys, OSDI, NSDI, ASPLOS 등) 논문 발표 또는 이에 준하는 연구 경험
