안녕하세요, 마케팅 테크놀로지 컨설턴시 에이비일팔공입니다.Inside AB180은 재직자 인터뷰, 사무실 소개, 복지 자랑 등 다양한 콘텐츠를 통해 AB180의 문화를 알리는 코너입니다.
새롭게 시작하는 코너, Inside AB180이 준비한 첫 이야기는 재직자 인터뷰입니다.인터뷰의 주인공은 에이비일팔공이 개발하는 어트리뷰션 툴, Airbridge 개발을 위해 애쓰고 계시는 Product Division의 Back-end Team 리드 정주홍님입니다.
에이비일팔공에서 어떤 일을 하시는지, 개발자로서 느끼는 회사의 문화와 리크루팅 팁까지! 이런 저런 이야기를 나눠봤습니다.재직자가 전하는 에이비일팔공의 생생한 이야기, 지금 바로 시작합니다.
A1. 안녕하세요. Back-end팀 리드 겸 에어브릿지의 데이터 엔지니어링을 맡고 있는 정주홍입니다. 게임 개발, 모바일 앱 개발, 웹 개발 등 이런저런 일들을 하다가 에이비일팔공 합류한지 2년이 다 되어 가고 있습니다.
A2. 조금씩 늘어나서 이제는 10명 가까이 되는 팀이 됐습니다. 전원 남자지만 요정같은 친구들이 밝은 분위기를 만들어주고 있습니다. 다양한 나이대의, 무엇보다도 코딩을 좋아하고, 또 더 잘하고 싶어하는 친구들이 많이 있어서 좋습니다.
A3. 저는 스타트업에서 일할 때 제가 스스로 제품을 만들어나갈 수 있는 것을 중요하게 생각합니다. 그렇기 때문에 제가 개발자일지라도 기획 의사 결정에 많이 참여하려고 노력하는 편입니다. 에이비일팔공에서는 본인이 원한다면 그 과정에 얼마든지 참여할 수 있다는 점이 좋습니다. 예를 들어, 옆에서 헌재님(CTO), 용철님(CPO)이 논의를 하는 것을 듣고 제 생각을 이야기하면서 토론을 하곤 합니다. 그 과정에서 백엔드 담당자로서의 저의 의견이 반영되기도 하구요. 제 직급 때문만이 아니라 저희 팀원들도 마찬가지로 의견을 내고 그 의견이 반영되는 것을 경험합니다. 이런게 스타트업의 묘미 아닐까요? 또한, 디지털 마케팅 분야의 지식을 쌓을 수 있다는 것과, 어느 정도 규모 있는 데이터를 다룰 수 있다는 것도 백엔드 개발자인 제게 매력적인 요소 중 하나입니다. 생각보다 우리나라에서 마케팅 분야의 일을 하면서 어느 정도 양의 데이터를 경험해볼 수 있는 곳이 많지 않거든요.
A1. 제가 처음으로 다녔던 회사는 게임 회사였습니다. 몇 달 일하던 중 원래 대학을 갈 생각이 없었는데 어쩌다보니 대학을 진학해서 나름 충실히 공부했었습니다. 그래도 코딩 하는게 좋아서 방학과 같은 시간을 이용해서 회사를 다니곤 했었습니다. 그러다 대학원에서 더 깊게 공부해보고 싶다고 생각했고, 대학원 진학 전 잠깐 데이터 처리와 관련된 실무를 경험해보려고 에이비일팔공에 합류했습니다. 다른 여러 회사들 중에서도 에이비일팔공을 선택했었던 이유는 제가 마케팅에 관심이 많기도 했었고, 스타트업 초기의 분위기를 느낄 수 있지 않을까 하는 기대 때문이었습니다. 일을 하다보니 벌써 이렇게 오래 눌러앉아 있네요 허허허
A2. 데이터 엔지니어란 어떤 데이터든 효과적으로 다룰 수 있도록 해주는 포지션이라고 생각합니다. 관계형 데이터베이스의 작은 테이블을 다루는 것과 규모 있는 데이터를 다루는 것은 전혀 다릅니다. 단순히 쉽게 체감해보기 위해서는 MySQL에 테이블을 만들고 1TB 정도의 랜덤 데이터를 생성한 뒤 집계 질의를 실행해보면 됩니다. 제가 하는 일은 그러한 많은 데이터들을 쉽고 효과적으로 다룰 수 있게 하는 것입니다. 단순히는 그동안 쌓인 데이터 중에서 원하는 데이터를 찾을 수 있게 하는 것부터 시작하여 더 복잡한 워크로드를 실행할 수 있는 환경을 만들어야 합니다. 또한, 그만큼 많은 데이터를 받아들일 수 있는 기반 환경도 만들어야 하고요. 제가 개발하고 있는 Airbridge라는 제품은 마케팅 데이터와 유저 데이터를 수집하여 마케팅 성과를 제공합니다. 이를 위해 데이터 수집과 처리, 정제, 그리고 제공을 위한 일련의 과정을 거치는 데이터 파이프라인이 존재합니다. 그 과정에서 필요한 데이터를 읽고 쓸 수 있어야 하고, 분석 결과인 다차원 데이터를 빠르게 제공할 수 있어야 합니다. 그리고 무엇보다 중요한 것은 이러한 데이터 처리를 위한 데이터 파이프라인을 저렴한 비용으로 운영할 수 있어야 한다는 점입니다. 저렴한 비용으로 운영하기 위해서는 여러가지 시스템들이 어떤 워크로드에 적합한지에 대해 잘 알고 있어야 하니 공부해야할 것도 많지만 그만큼 재밌는 일인 것 같습니다. 에이비일팔공에서 그동안 일하면서 어떤 데이터든 긁어와서 보여줄 수 있는 능력을 갖추게 된 것 같네요.
A3. 나름대로 코딩을 많이 해왔기 때문에 데이터 엔지니어링이라는 것이 뭐 특별한게 있을까 하고 생각했었던 것이 사실입니다. 하지만 분산 시스템과 대용량 데이터는 보통 친구들이 아니라는 것을 많이 느꼈습니다. 일반적인 경우에는 생각해본 적도 없는 것이 문제가 되기도 합니다. 그렇다고 문제 상황에서 그 프레임워크, 시스템, 서비스가 친절하게 뭐가 문제인지 알려주지도 않습니다. 데이터에 무슨 문제가 있길래 이런 문제가 생겼을지 진흙탕을 뒤지듯 여러 부분을 훑고 또 생각해봐야 하니 골머리를 앓곤 합니다. 이것이 바로 디지털 시대의 광부인걸까 하고 생각했던 것 같네요. 일단 확실한건 어떠한 것도 절대 그냥 잘 되지 않는다는 것 같습니다.
A4. 개인적으로 제 스스로를 평가할 때 뛰어난 지능으로 빠르게 학습하기 보다는 잘 쌓아온 개념들을 바탕으로 효과적으로 학습하는 편이라고 생각합니다. 앞서 여러 시스템들이 어떤 워크로드에 적합한지, 그리고 데이터 처리를 위한 파이프라인을 잘 구축해야한다고 말했습니다. 이게 말이 쉽지 실제로는 너무나도 다양한 시스템들이 있기 때문에 실제로 하나하나 다 새롭게 익히기는 쉽지 않습니다. 하지만 코딩을 어느정도 하다보면 다들 느끼듯이 이 업에는 전체를 관통하는 공리 같은 것이 있습니다. 운 좋게도 저는 대학교라던가 좋은 멘토님들이라는 기회를 통해 그런 기반을 잘 다질 수 있었던 것 같습니다. 부끄럽지만 에이비일팔공에 합류하기 전까지만 해도 Hadoop을 잘 다뤄본 적이 없었습니다. 하지만 본격적으로 학습을 시작하면서 Hadoop이라는 프레임워크가 어떻게 작동하는지, 각종 옵션은 어떤 역할을 하는 지를 좀 더 빠르게 익힐 수 있었다고 생각합니다. 더불어 그런 Low level에 대해 학습하고나니 그 위에서 작동하는 Spark와 같은 또 다른 빅데이터 프레임워크들을 익히기 용이해졌구요. 그리고 빼놓지 않고 자랑하는 한 가지가 더 있는데 바로 근성입니다. 저는 문제 상황에 직면 했을 때 절대 포기하지 않습니다. 비록 중간에 잠시 그 문제와 멀어질지언정 올바르다고 생각하는 방법으로 문제를 해결하기 전까지는 끝까지 파고듭니다. 어떤 때에는 '올바른 해결 방법'을 위해 몇 주, 몇 달에 걸쳐 문제에 매달릴 때도 있습니다. 이렇게 자나깨나 그 문제에 대해 생각하고 살다보면 갑자기 아이디어가 찾아옵니다. 만약 그걸로 잘 해결되면? 정말 즐겁습니다. 이런 습관 때문에 가끔 잠도 잘 못 이루긴 하지만 덕분에 많이 성장할 수 있었다고 생각합니다.