구글은 데이터 과학자가 더 이상 자주 도구를 전환할 필요가 없게 될 것이라고 밝혔다.
구글 클라우드가 데이터 과학자의 생산성을 높이기 위해 코랩(Colab)에 새로운 기능을 추가했다. 이번 업데이트는 빅쿼리(BigQuery)와 통합돼 데이터 과학자가 도구를 번갈아 사용하는 불편을 줄이고 단일 워크플로우에서 작업할 수 있도록 설계됐다.
구글 데이터 클라우드 매니징 디렉터 야스민 아흐마드는 25일 공식 블로그를 통해 데이터 과학자의 역할이 빠르게 변하고 있다고 설명했다. 아흐마드는 “과거에는 기업 의사결정을 지원하기 위해 과거 데이터를 분석하고 예측 모델을 구축하는 데 집중했지만, 이제 시장은 데이터 과학자가 합리적 사고와 학습, 실행이 가능한 자율 에이전트를 설계하고 배포해 미래를 만들어 나가길 요구한다”라고 전했다.
그러나 역할은 진화했지만 도구는 크게 변하지 않았다는 것이 아흐마드의 지적이다. 데이터 과학자는 SQL 작성, 데이터 내보내기, 파이썬 노트북 로딩, 별도의 스파크 클러스터 구성, 결과 시각화를 위한 BI 도구 전환 등 여러 단계를 거쳐야 하는데, 이 같은 맥락 전환이 생산성을 떨어뜨리고 있다는 것이다.
이를 해결하기 위해 구글은 빅쿼리와 버텍스AI(VertexAI) 내 관리형 데이터 과학 노트북 환경인 코랩 엔터프라이즈(Colab Enterprise)를 강화했다. 현재 프리뷰로 제공되는 신규 기능에는 네이티브 SQL 셀(Native SQL Cells), 리치 인터랙티브 시각화 셀(Rich Interactive Visualization Cells), 데이터 사이언스 에이전트(Data Science Agent) 지원 확대가 포함됐다.
네이티브 SQL 셀은 SQL 쿼리와 파이썬 코드를 같은 환경에서 실행할 수 있도록 하며, 쿼리 결과를 바로 빅쿼리 데이터프레임(BigQuery DataFrame)으로 연결해 모델을 구축할 수 있게 한다. 리치 인터랙티브 시각화 셀은 데이터를 기반으로 수정 가능한 차트를 자동 생성해 분석 속도를 높인다. 또 데이터 사이언스 에이전트는 빅쿼리 ML, 빅쿼리 데이터프레임, 대규모 스파크 변환 중 어떤 도구를 활용해야 할지 안내하는 세부 계획을 제시하도록 업데이트됐다.
시장 전문가들은 이번 기능 개선이 데이터 과학자에게 직접적인 이익을 줄 것이라고 분석했다. 컨설팅 기업 컨스텔레이션 리서치(Constellation Research) 수석 애널리스트 마이클 니는 “구글은 SQL, 파이썬, 스파크, 시각화를 빅쿼리 내 노트북 환경에 통합함으로써 불안정한 도구 간 전환을 없애고 엔지니어들이 도구를 오가며 낭비하던 시간을 되찾게 했다”고 말했다.
니는 이어 “데이터 사이언스 에이전트가 스파크와 데이터프레임 중 선택을 안내함으로써 팀이 시행착오를 줄이고 불필요한 좌절을 피할 수 있다”라며 “구글은 처음으로 모든 기능과 도구를 단일 개발 흐름으로 묶어냈다. 이처럼 다양한 데이터 엔지니어링 도구를 한 번에 통합한 벤더는 없었다. 이는 생산성 향상을 통해 곧바로 더 빠른 인사이트 도출로 이어지는 전략”이라고 덧붙였다.
dl-ciokorea@foundryco.com
