엄청나게 방대한 데이터 (또는 막대한 양의 데이터)
우리가 사는 디지털 현실을 구성하는 방대한 데이터의 양은 가늠하기 어려운 수준입니다. 더욱 막막하게 느껴지는 것은 외우주를 관측하는 단 하나의 천문대가 수집하는 데이터의 규모입니다. 칠레에 위치한 베라 C. 루빈 관측소(Vera C. Rubin Observatory)는 매일 밤하늘을 약 1,000장가량 촬영합니다.
뉴욕 타임스(The New York Times)는 최근 이 관측소 팀원들과의 인터뷰를 통해, 망원경 카메라로 촬영하는 사진 한 장이 32억 개 픽셀로 구성되어 있으며, 각 픽셀이 65,536가지 회색조 중 하나를 나타낸다는 사실을 공개했습니다. 평균적인 이미지 하나에 담긴 데이터는 약 6.4GB에 달합니다.
이렇게 촬영된 이미지는 주변 서버로 자동으로 전송되며, 이는 망원경이 다른 지역으로 이동하여 추가 사진을 촬영할 수 있도록 합니다. 관측 계획은 최소 10년 동안 동일 지역을 반복적으로 관측하는 것입니다. 팀에 따르면, 이 프로젝트를 통해 엄청난 양의 데이터가 생성될 것으로 예상되며, 최종적으로는 최소 600억 바이트(약 60,000TB)가 축적될 것으로 기대됩니다.
이 모든 데이터를 처리하기 위해 루빈 현장에는 데이터 센터가 건설되었으며, 예상치 못한 네트워크 문제 발생에 대비하여 최소 한 달 치의 데이터를 현지에서 저장하도록 설계되어 필수적인 데이터 중복성을 확보하고 있습니다. 팀원들은 또한 이 데이터를 추가 분석에 보내기 전에 관측소 자체에서 데이터를 분석할 수 있는 역량도 갖추고 있습니다.
수집된 데이터는 캘리포니아 멘로 파크에 위치한 에너지 연구 센터(Energy Research Center) 소속 SLAC 국립 가속기 연구소로 전송됩니다. 데이터 센터와 칠레 라세르나(La Serena) 시를 연결하는 데는 60마일의 광섬유 케이블이 사용되어 데이터가 연구 센터까지 안전하게 도달할 수 있도록 보장합니다. 이곳에서는 새로 촬영된 이미지를 동일 지역에서 촬영된 오래된 이미지와 비교하여 중대한 변화가 있는지 찾습니다. 변동 사항이 발견되면 이를 격리하고 강조하여 더욱 깊이 연구하게 됩니다.
팀은 현재 최종 총 데이터 양이 약 60,000TB에 달할 것으로 추정하고 있지만, 최종 규모에는 여러 변수가 작용할 수 있다고 밝히면서, 최대 500,000TB까지도 증가할 수 있다고 덧붙였습니다. 관측소의 데이터 생산 부팀장인 오말린(O’Mullane) 박사는 이러한 규모의 데이터는 AI를 활용하여 천문학자들이 분석하는 것이 더 효율적일 것이라고 조언했습니다.
최신 뉴스, 분석 및 리뷰는 구글 뉴스에서 Tom's Hardware를 팔로우하여 받아보세요. 구독 버튼을 클릭하는 것을 잊지 마십시오.