데이터엔지니어링팀 소개
👨🏻‍💻

데이터엔지니어링팀 소개

직방은 부동산에대한 정보 뿐아니라 주거, Life style 에 대한 서비스를 제공함으로써 고객들의 관심과 편의를 충족하는 서비스로 나아가고 있습니다. 회사내에서 데이터를 활용하는 것은 권장사항이 아니라 필수가 되어버린 시대에서, 직방은 데이터를 중심으로 결정을 내리고 다양한 데이터를 활용한 서비스를 제공하는 회사입니다. 그와같은 데이터가 전사에서 원활하게 흐르고 관리될 수 있도록 IT측면에서의 역할을 데이터엔지니어링 팀이 수행하고 있습니다.
데이터엔지니어링 팀은 직방 및 호갱노노 등 에서 활동하는 대한민국 부동산 관심있는 사용자들의 Log 및 부동산 DB 를 다루고 관리하여 유용한 정보를 제공할 수 있는 기반을 구축하고, 회사 내 동료들이 활용하는데 있어서의 시작점입니다.
우리는 기술적으로 AWS cloud의 서비스를 주로 이용해서 데이터 플랫폼을 구축하고 있으며 AWS서비스인 s3, EMR, athena, ec2, kinesis, rds, glue, EKS 등을 이용하고 있습니다.
AWS는 Data 관련 플랫폼을 구축시에 AWS의 managed service 이용해서 빠르게 서비스를 제공할수 있는 장점이 있기에,  EMR, Kinesis, RDS와 같은 서비스를 적극적으로 활용하고 있습니다. 또한 서비스가 안정화 되면 in-house개발이나 AWS service와 유사한 서비스를 검토/비교후 시스템을 개선해 나아가고 있습니다. S3나 Kinesis와 같이 지속적으로 사용하고 있는 서비스와 더불어, 초기에는 배치작업을 위해 EMR을 사용했으나 현재 K8s기반 spark-operator를 사용함으로써 spark job에 대한 독립성과 동시처리에 대한 성능을 확보하고 있는 경우도 있습니다.
이와같이 팀의 목표를 위해서 AWS와 같은 cloud service에 대해서도 지속적으로 적용하고 실험하며, 데이터 플랫폼의 완성도를 높혀줄수 있는 여러가지 최신 오픈소스 솔루션을 연구하여 기존 AWS managed service를 대체하거나 새로운 서비스 적용을 진행하고 있습니다.
팀의 역할은 사용자 Log, 부동산정보 RDS데이터, 마케팅 데이터 등을 효율적으로 처리하여 각 조직에서의 의사결정 기반이 되는 데이터 Mart 구성 뿐만 아니라, Machine Learning에 사용되는 Feature를 설계하고 데이터가 만들어질수 있도록 개발을 하며, 생성된 데이터들이 내부 사용자들에게  효과적으로 제공되도록 배치 자동화, 실시간처리, Governance를 책임지는데 있습니다.
우리 지원자가 데이터를 처리하는데 있어서 기존에 본인이 알고 있는 기술뿐 아니라 필요한 기술에 대해서는 열린 생각으로 받아들이고 적용시켜 본인 뿐 아니라 팀의 퍼포먼스 및 기술발전에 도움이 되기를 바라며, 기술이나 업무적인 미션에서도 적극적인 참여로 데이터의 활용성을 증대시키는데 기여하기를 희망합니다.
또한 기술적인 경력에 있어서도 본인이 가지고 있는 기술을 발전시키고 다른 팀원들에게도 바람직한 영향을 주며 그러한 기술발전이 팀/회사 목표를 이루는데 도움이 되기를 바랍니다. 마지막으로 부동산데이터에 관심이 있으며 기술적으로도 자유로우며 책임감있게 데이터 엔지니어링 스킬을 펼칠수 있는 위치를 찾는다면 데이터엔지니어링 팀에 지원바랍니다.
TOP