.jpg&blockId=62ce2784-7263-4644-a841-01af61e038aa&width=3600)
토스 Data Warehouse팀과 Data Mart팀을 소개합니다!
Data Warehouse팀과 Data Mart Team에 대해서 궁금하신 분들께서 꼭 알았으면 하는 정보들이 담겨 있습니다.
팀 소개
Data Warehouse Team
Data Warehouse Team은 토스의 전사 데이터 파이프라인을 개발/운영/최적화를 담당하고 있어요. 영업회계, AML, 비즈니스 등 전사 차원에서 중요한 통합 데이터마트를 구축하고 운영하고 있어요. 테이블메타정보, 데이터품질, 배치작업, 대시보드 관리시스템 등 데이터 관리 시스템을 개발/운영하고 있어요. 분석가, ML, DS 그리고 다른 DE 들과 밀접하게 협업하고 데이터 활용에 있어서 어려움을 겪는 상황을 함께 해결하고 있어요.Data Mart Team
Data Mart Team은 서비스(사일로)에서의 데이터 관련 문제를 효율적으로 지원하는 것을 목표로 하고 있어요. 사일로의 팀원들이 믿을 수 있는 데이터를 제공하여, 이를 쉽게 활용할 수 있도록 토스 팀원 분들에게 최적의 데이터 환경을 제공해요. 빠른 제품개발 속도에서도 조직차원의 데이터리터러시 역량을 높이기위해 데이터 표준화, 문서화, 교육도 중요한 업무로 담당해요. 토스의 내부 뿐만 아니라 외부에 데이터를 제공시 정확한 데이터 제공을 위한 업무 체계와 시스템을 만들고 운영해요주요업무
Data Warehouse Team
데이터 거버넌스 및 협업 관련 도구 개발
데이터 거버넌스 및 협업 관련 도구 개발
데이터 거버넌스 관련 도구들
Data Mart Team
DW Mart / Data Pipeline 개발 및 관리
전사 차원의 DW Mart / Data Pipeline
DW Mart / Data Pipeline 개발 및 관리
특정 서비스(사일로)의 DW Mart / Data Pipeline
데이터 정합성 관련 업무 체계, 시스템 개발
토스 외부에서의 데이터 요청에 따른 정합성 관련 업무 체계와 시스템 개발 운영
기술 스택
Data Processing
•
SQL,Python, Spark, Mysql을 주로 사용해요.
Data Visualization
•
분석 대시보드로 Tableau를 사용하고 모니터링 용도로 Grafana를 사용하고 있어요.
•
Tableau Server (Linux)도 운영하고 있어요.
DB Monitoring
•
batch shell, python, telegraf, grafana, jenkins, php
함께 할 동료를 위한 한마디
Data Pipeline
•
Airflow, Jenkins를 이용해서 Batch/Flow를 정의하고 Github으로 형상관리 해요.
Web Development
•
Frontend는 React, Backend는 FastAPI/Flask를 이용해서 서비스를 구현해요
미래에 함께하실 동료를 위해 한마디 해주세요." 팀원 모두가 어제보다 나은 서비스에 지향점을 두고 있어요"
저는 업무적으로는 금융데이터만의 위험한 매력에 끌렸고, 문화적으로는 나의 성장이 회사의 성장을 줄것으로 보여 토스에 합류했어요.
기존의 회사에서 가장 스트레스였던것은 회사가 정한 지향점으로 이끌려야만하는 것이었는데요, 토스는 입사 전에 들었던 모든 것을 훨씬 상회하는 자율성과 내가 정한 업무량, 그리고 향상심 높은 팀원 모두가 "어제보다 나은 서비스"에 지향점을 두고 있더라구요.
SLASH (개발 컨퍼런스) 발표
TOSS DATA WAREHOUSE & MART TEAM