미래의 데이터 기술: 더욱 안정적인 데이터 스토리지 에코시스템 조성을 위한 삼성전자와 웨스턴디지털의 협력

AI/ML, IoT, 엣지, 클라우드에서 발전한 혁신적인 디지털 기술과 애플리케이션이 확산되면서 매일 같이 엄청난 양의 정보가 생산되고 있다. 게다가 모든 분야에서 향후 수십 년 동안 유례없는 수준으로 디지털 스토리지에 대한 수요가 늘어갈 것으로 예상된다.

대규모로 데이터를 관리하는 고객에게 더욱 우수한 스토리지 효율과 가치를 제공하고자, 세계 최대 규모의 스토리지 제조사인 삼성전자와 웨스턴디지털이 recently partnered에 나서 Zoned Storage을 비롯한 차세대 데이터 배치, 처리 및 패브릭 스토리지 기술(D2PF) 표준화의 시대를 열고자한다.

두 기업에서는 차세대 스토리지 표준을 도입하는 것은 하드웨어와 소프트웨어를 시스템 스택 내에서 효과적으로 결합하고 비용을 절감하는 동시에 성능과 기능을 극대화할 수 있는 가장 효과적인 방법이다. 삼성전자와 웨스턴디지털은 이와 같은 비전을 실현하고자 업계 전반에서 스토리지 이해관계자 간의 협업을 촉진하고 있다. 이들 스토리지 기업들은 협업을 통해 스토리지 에코시스템 내 공급업체들이 현재와 미래의 데이터 워크로드를 모두 효율적으로 처리하는 새로운 기술 표준과 시스템 아키텍처를 고객에게 지원할 수 있다.


기존 데이터 인프라의 현실

우리는 제타바이트(ZB) 규모의 데이터 시대에 들어섰다. 데이터의 용량이 너무나 방대해져서 그 어느 때보다도 데이터를 이해하기 어려운 시대가 되었다. 요즘 생성되는 엄청난 양의 데이터를 보면 시급하게 데이터 센터와 클라우드 인프라의 설계, 운영 방식을 새롭게 생각해야 할 필요성이 느껴진다.

이런 고도의 성장 속에서 표준과 시스템이 파편화되어 에코시스템 차원에서 스토리지 수요 폭증에 대응하는 노력이 지연될 가능성이 대두되었다.

“우리는 데이터 소비, 분석, 스토리지의 황금기에 들어섰다. 업계에서 서로 상충하는 시스템과 표준을 구현하는 것이야말로 이 모든 좋은 기회를 망치는 길이 될 것입니다.” 삼성전자 메모리 글로벌 영업마케팅의 박철민 부사장은 이렇게 말한다. “과거 전자 업계에서 있었던 AC와 DC 논쟁이나, Betamax와 VHS를 둘러싼 논쟁을 통해 알 수 있듯이, 명확한 표준과 형식이 없는 업계에서는 필연적으로 기회를 놓치고 예산을 낭비하는 기간을 겪을 수밖에 없습니다. 효과적인 표준을 도입하면 복잡성이 최소화되고 비효율이 제거되며, 제품과 서비스 비용이 절감되어 공급업체나 최종 사용자 모두에게 이익이 됩니다. 데이터 스토리지가 최종 사용자의 향후 요구 사항에 맞춰 발전해 나가야 한다면 업계에서는 지금 당장이라도 ‘존 스토리지’에 대한 폭넓은 합의를 이루어내야 합니다.”


미래의 존 스토리지에 집중

삼성전자와 웨스턴디지털은 협약에 따라 당초 계획한 대로 존 스토리지를 중심으로한 건전한 에코시스템과 탄탄한 애플리케이션 지원을 구축하는 데 집중하고 있다.

현재 대규모 데이터 인프라는 수많은 SSD 드라이브와 HDD 드라이브를 사용한다. 시스템에서 이렇게 엄청난 규모와 용량의 데이터를 관리하기 때문에 시스템 아키텍처나 스토리지 디바이스 내에서 데이터 배치에 아주 조금이라도 비효율이 있으면 감당하기 어려운 비용이 발생한다.

존 스토리지는 표준 기반의 오픈 소스 이니셔티브로, 데이터 센터 스토리지 인프라가 효율적이고 효과적으로 확장할 수 있도록 지원한다. 하이퍼스케일 클라우드와 엔터프라이즈 공급업체의 경우, 제타바이트 규모의 스토리지가 필요한 곳도 있기 때문에 존 스토리지가 자산 사용률을 높이고 지연과 비용을 낮추는 데 도움이 될 것이다.

존 스토리지는 두 가지 기술로 구성된다. HDD의 SMR(Shingled Magnetic Recording)과 SSD의 ZNS(Zoned Namespaces)이다. 존 스토리지의 핵심에는 ZNS SDD와 같은 기기가 있다. 이들 드라이브는 주소 공간을 각각의 존으로 나누어, 적절한 존으로 데이터를 배치하는 기능을 호스트에 제공함으로써 드라이브 아키텍처를 간소화한다.


데이터 중심 시대를 향한 미래 지향적 기술

혁신적 스토리지 솔루션인 존 스토리지는 데이터 쓰기 규칙이 독특하다. 존은 존이 시작되는 곳에서부터 순차적으로 데이터를 쓸 수 있으며, 존 내의 데이터는 임의로 겹쳐 쓸 수 없다. 그러므로 업계에서 스토리지 시스템을 지원하는 호스트 소프트웨어 스택이 존 스토리지의 기능을 최적으로 활용할 수 있도록 공동의 노력을 기울이는 것이 매우 중요하다. 이 호스트-기기 모델의 일치는 이 이니셔티브의 전반을 관통하는 중요한 테마이다. 삼성전자, 웨스턴디지털 및 다양한 업계 내 파트너는 존 스토리지가 오픈 소스 커뮤니티에서 발전하는 데 필요한 소프트웨어 구성 요소를 제공하고자 최선을 다할 것이다.

호스트에서 존 스토리지를 구현하면 시스템 소프트웨어와 하드웨어가 훨씬 효율적으로 함께 작동하게 된다. ZNS는 과도하게 프로비저닝할 필요가 없고, 서비스 품질(QoS) 가변성 및 쓰기 증폭과 관련된 어려움을 제거할 수 있다. 따라서 기기 밀도를 높여 용량을 늘릴 수 있을 뿐만 아니라, 기기 용량이 거의 꽉 찼을 때도 성능을 유지할 수 있다. 게다가 ZNS는 데이터를 지속적으로 다시 쓸 필요가 없어 기존 저장 방식에 비해 내구성이 크다.

SAS-SATA(HDD 또는 SSD)나 NVMe™ SSD에서 모두 존 스토리지는 매우 효과적이며, 시스템 성능을 더욱 효율적으로 관리하여 모두에게 이익이 된다.

웨스턴디지털 전략적 이니셔티브 부문 부사장, Wim De Wispelaere는 “존 스토리지를 구현하고 지속적으로 개발한다면 스토리지 산업에서 지능적 아키텍처를 통해 비용, 지연, 성능의 균형을 찾는 데 도움이 될 것입니다.”라고 말했다. “우리 업계는 단기적 미래는 물론이고 향후 수십 년에 걸쳐 최대한 지능적이고 효율적인 방식으로 데이터 스토리지를 발전시킬 수 있는 기술과 시스템을 개발하는 데 힘을 합쳐야 하는 시기에 도달했습니다.”


공동의 이익을 위한 노력

삼성전자와 웨스턴디지털의 협업은, 두 기업이 늘어나는 데이터 수요를 충족하기 위한, 스토리지 부문에 새로운 표준 도입의 필요성에 함께 한다는 것을 보여준다.

두 기업은 이미 ZNS SSD 등의 존 스토리지 기기와 관련된 이니셔티브를 시작했다. 개방적인 확장형 데이터 센터 아키텍처를 지원하기 위한 노력의 일환으로 Zoned Storage Technical Work Group, 를 설립하고 2021년 12월에 SNIA에 승인을 받았으며, 리눅스 재단과 협력하여 유사한 프로젝트 작업 그룹을 설립하고 있다. 삼성전자와 웨스턴디지털은 이러한 산업 조직 내에서 혁신적 존 스토리지 기술을 위한 고급 모델과 프레임워크를 정의하는 데 도움을 제공할 것이다.

ZNS를 첫 발판으로 삼아 앞으로 혁신적인 새로운 데이터 센터와 클라우드를 탄생시킬 수많은 D2PF 협업이 시작될 것이다. 삼성전자와 웨스턴디지털은 중요한 이해관계자들과 모든 구성원이 데이터 중심 시대에 적합한 스토리지 솔루션을 구현하는 데 적극적으로 협력하도록 지원하고자 한다.