기존 도구로는 처리할 수 없는 방대한 양의 날씨 및 기후 데이터 폭증 속에서, 과연 AI가 예측(forecasting)의 미래일까요?
연구 결과는 분명히 AI가 그 해답임을 시사하고 있습니다. 새롭게 자금을 지원받은 Brightband라는 스타트업은 기계 학습(ML) 예측 모델을 비즈니스 모델이자 오픈 소스 표준으로 정립하는 도전에 나섰습니다.
오늘날의 날씨 예측 및 기후 모니터링 기술은 수십 년 전의 통계적, 수치적 모델에 뿌리를 두고 있습니다. 이것이 잘못되었다는 의미는 아닙니다. 다만 효율성이 떨어진다는 의미입니다. 이러한 물리학 기반 모델들은 슈퍼컴퓨터 자원을 투입하여 수주에 걸쳐 계산해야 하는 유형의 것입니다.
반면 AI는 방대한 데이터 속에서 패턴을 추출하는 뛰어난 능력을 갖추고 있으며, 연구에 따르면 AI가 전 세계 수년간의 기상 패턴과 관측 데이터로 훈련될 경우, 놀라운 정확도로 다가올 사건들을 예측할 수 있습니다.
그렇다면 왜 이 기술이 모든 분야에서 활용되고 있지 않을까요?
Brightband의 CEO이자 공동 창업자인 줄리안 그린(Julian Green)은 "현재 이러한 격차(gap)가 존재하는 이유는 정부나 날씨 전문 기업들이 우수 인재를 확보하는 데 어려움을 겪기 때문입니다. 반면, 이 기술 회사들의 주력 사업은 날씨가 아닙니다. 이들은 도메인 깊숙이 파고들어 관련 주체들과 협력하여 필요한 도구들을 제공하는 방식이 아니었습니다"라며, "저희는 스타트업이 훌륭한 AI 전문가, 데이터 전문가, 그리고 날씨 전문가들을 하나로 결집시킨다고 생각합니다. AI를 실제 운영(operationalize)에 투입하여 모두가 이용할 수 있도록 만들 실질적인 기회가 있습니다."라고 설명했습니다.
이 스타트업은 자체적으로 수년간의 기상 관측 데이터를 기반으로 모델을 설계하고 있는 과정에 있지만, 공동 창업자 겸 데이터 및 날씨 책임자인 대니얼 로텐베르크(Daniel Rothenberg)는 자신들이 "거인의 어깨 위에 서 있다"고 언급했습니다.
그는 "기존의 거대한 물리 기반 모델들은 거인급입니다. 하지만 AI는 이 모델들의 최대 수혜자입니다. 첫 번째 진보는 이 모델들을 활용하는 것이었고, 모델들이 실제로 이러한 패턴을 학습할 수 있다는 점을 발견했습니다. 저희는 그 토대 위에 구축하고 확장하고 있습니다. 현존하는 글로벌 기상 예측 수준과 같거나 더 나은, 최첨단(state of the art) 수준을 목표로 하고 있습니다"라고 말했습니다.
그린은 또한 "규모 면에서도 비교할 수 없을 정도로 빠를 것이라고 지적했습니다. '이것이 핵심적인 혁신입니다. 더 빠르고 저렴해져서 맞춤형 및 변화가 빠른 사용 사례에 더욱 적합하게 만듭니다.'"
이어 그는 "사람들은 다양한 산업군에 걸쳐 매우 구체적인 니즈를 가지고 있습니다. 예를 들어, 에너지 기업은 바람과 태양으로부터의 재생 에너지 공급량과 난방 및 냉방 수요를 예측할 수 있어야 하고, 운송 회사들은 극한 날씨를 피해야 하며, 농업은 파종, 관개, 비료 살포 또는 수확 작업을 위해 몇 주 전부터 계획을 세워야 합니다."라고 덧붙였습니다.
흥미롭게도 이 회사는 자체 모델을 누구나 사용할 수 있도록 공개하는 데 전념하고 있습니다.
그린은 "우리의 목표는 기본적인 예보 기능을 오픈 소스로 공개하는 것입니다. 모델뿐만 아니라 훈련에 사용되는 데이터와, 이를 평가하는 데 사용되는 메트릭(지표)까지 포함해서요. 비즈니스 모델은 그 위에 추가되는, 더 구체적인 기능을 위한 유료 서비스 형태입니다."라고 설명했습니다.
이를 위해 기존에는 선호되어 오던 사전 처리된 데이터베이스를 넘어서, (데이터를 포함하고, 처리하고, 공개하는) 방대한 양의 데이터가 활용되고 있습니다.
로텐베르크는 "날씨 풍선이나 위성에서 얻은 페타바이트(petabytes)급의 방대한 역사적 데이터들이 있지만, 다루기 어렵다는 이유로 무시되고 있습니다"라고 언급했습니다. 하지만 그는 대부분의 AI 모델과 마찬가지로 데이터 양이 곧 질을 높이는 요소이며, 신중하게 선별된 다양한 데이터가 결과물의 품질을 크게 향상시킬 수 있다고 덧붙였습니다. "저희는 이를 중심으로 커뮤니티를 구축하는 것이 대기 현상에 대한 이해를 넓히고 이를 대규모로 수행하는 능력을 가속화할 것이라고 확신합니다."
이에 대해 기자가 국립기상청(공공 서비스 차원에서 수많은 관측 데이터와 예보를 무료 제공하는 기관)이나 다른 정부 기관들이 할 수 있다면 이와 비슷한 일을 하는 것처럼 보인다고 언급했습니다.
그린은 자신들이 해당 기관들과 긴밀히 협력하고 있으며, 실제로 중요 데이터의 보고(寶庫)를 보유하고는 있지만, 이것이 반드시 고도로 민첩하게 반응해야 하는 소비자 대면 기업이 원하는 빠르고 휴대 가능한 형태의 데이터는 아니라고 반박했습니다. 그는 이것을 기상 데이터에 대한 국제적인 협력의 연장선으로 보고 있다고 덧붙였습니다.
제품 개발 현황에 대해 묻자, 그는 "현재는 비교적 초기 단계"라며 "가장 핵심적인 부분은 저희가 구축하는 시스템과 데이터베이스"라고 설명했습니다.
그가 말하는 가장 중요한 부분은 모델링과 데이터에 대한 접근성과 처리 속도입니다. 이 부분은 마치 마치 거대한 컴퓨터 시스템과 같습니다. 현재의 기술 수준을 넘어서는 부분이 많은데, 이것은 '딥러닝'과 관련된 것입니다.
Brightwork의 설립자는 엔지니어링 백그라운드를 가지고 있습니다. 이로 인해 직접 기계를 다루는 경험을 했고, 이러한 경험이 이 프로젝트에 큰 도움이 되고 있다고 합니다.
Brightwork의 주요 목표는 공공 데이터에 대한 접근성을 높이는 것입니다. 특히 공공 데이터는 일반인들이 활용하기에는 너무 복잡하고 복잡한 전문 지식이 요구하는 경우가 많습니다.
Brightwork는 사람들의 접근성을 높여 이 복잡한 데이터를 누구나 이해하고 활용할 수 있도록 돕는 것을 목표로 하고 있습니다.
Brightwork는 데이터 분석 및 시각화에 중점을 두어 공공 데이터를 대중이 쉽게 이해하고 활용할 수 있도록 돕는 플랫폼을 지향하고 있습니다.
Brightwork의 비전은 '데이터를 통해 세상을 더 나은 곳으로 만드는 것'입니다.