Hyesung Oh

서론실무에서 머신러닝을 활용하는 도메인 중에서, 추천 도메인의 경우 대게 실시간성보다는 배치 파이프라인 만으로 요구사항을 충분히 만족시킬 수 있는 거 같습니다. 현재 팀에서 운영 중인 추천 파이프라인은 배치 형태이며 큰 구조에서 아래와 같은 구성을 하고 있습니다.1. 각 모델별로 필요한 원천 데이터 수집 및 가공2. 모델에 입력 가능한 input으로 변환3. model train&validation4. Batch Inference 실행 및 필요시 결과를 유저별로 aggregation 하여 DB에 업로드Airflow로 스케줄링한 DAG의 마지막 Tasks는 주로 Batch Inference 한 결과를 서비스 요구 수준에 맞는 DB에 업로드하여 API 서버에서 서빙할 수 있도록 하고 있습니다.위 파이프라인..

데이터 마이닝과 머신러닝이란? 그리고 그 둘의 차이점 정리 우선 위 개념에 앞서 기계학습에서 사용하는 데이터에 대한 두 가지 접근 방식에 대해 알고 넘어가자 모델링이란? Modeling – statistical data processing Traditional approach : Top to Down 방식 create (stochastic) models for our signals of interest exploit these models to design systems that extract the information we need 2. “Data-driven” approach : Bottom to Top 방식 get numerous examples of signals of interest autom..