실시간, 저지연, 키 값 솔루션

삼성전자의 Z-SSD 초저지연 스토리지 이 white paper에서는 빠르게 확대되고 있는 고속 ‘빅 데이터’의 시대에 지연 시간에 민감한 애플리케이션에 다방면으로 활용할 수 있는 고성능 키 값 저장 솔루션을 소개한다. Levyx의 고성능 Helium™ 키 값 저장 솔루션을 삼성전자의 초저지연 Z-SSD™과 결합하여, 대규모 데이터세트 처리에서 기존 접근법 대비 최대 10배의 성능 향상을 이루었다. 지난 10년간 많은 ‘빅 데이터’ 애플리케이션의 요구 사항은 일괄처리를 중심으로 하던 요구에서 점점 더 시간에 민감한 요구로 진화했고 이제는 모든 정보가 실시간으로 요구된다. 많은 실시간 작업과 이와 관련된 데이터 집약적 분석은 소셜 미디어부터 시작하여 사물 인터넷(IoT), 금융 거래, 제조, 전자상거래, 사이버 보안, 전기나 가스 등의 설비, 생명과학, 자동차 등 광범위한 영역에 걸쳐 확대되었다. 기존 빅 데이터 아키텍처는 단순히 확장을 통해, 즉 더 많은 CPU, 노드, 서버, SSD 등의 추가를 통해 전반적인 입출력 (I/O: Input-output) 처리량 요구에 발맞춰 왔지만, 아주 낮은 지연 시간이 특히 중요한 워크로드에서는 점점 더 고전을 면치 못하고 있다. 삼성전자의 Z-SSD는 지연 시간에서 극적인 개선을 이뤄냈고, 그 결과 대규모의 실시간 환경에서 매우 효율적인 솔루션으로 자리 잡고 있다. 특히 IoT를 중심으로 한 기회가 탄력을 받으며, 오늘날 지능형 상호연결 장치 수는 연관된 사람이 수행하는 상호작용의 수를 훨씬 뛰어넘는다. 이러한 환경에서 지연 시간을 관리하는 일은 특히 어렵다. 머신 사이에 필요한 속도로 인해 지연 시간과 지터에 대한 요구가 소셜 미디어에서 수용되는 수준인 10~100밀리초에서 10밀리초 이하로 줄어들기 시작했기 때문이다. 금융 부문에서도 금융기관이 이제는 대부분의 작업을 자동화하고 알고리즘을 기반으로 구동됨에 따라 거래가 100나노초 이내에 실행되면서 저지연 솔루션을 요구하고 있다. 이제 거래 알고리즘의 백 테스트, 준수 여부 확인, 위험 분석, 사기 감지 등 다양한 금융 업무에서 대규모 데이터의 지연 시간을 낮춰야 할 필요가 있다. 이러한 기능은 금융 부문에 필요한 거래 집약적 데이터 마이닝과 실시간 분석의 전반적인 속도와 보조를 맞춰야 한다. 플래시 기반 기술의 선도적 공급업체인 삼성전자는 오늘날 빅 데이터 애플리케이션의 용량, 처리량, 성능에 대한 증가하는 요구를 효과적으로 해소하는 광범위한 플래시 스토리지 제품 포트폴리오를 개발했다. NVMe 같은 경량 프로토콜은 NAND 기술의 병렬 처리를 활용하여 하나의 스토리지 기기에서 100만 IOPS 및 3GB/s의 처리량을 제공한다. 동시에 네트워크 하드웨어는 100Gbps의 처리량을 제공하며 지연 시간을 크게 낮추는 동시에, 데이터 지역성 및 분할된 스토리지에 대한 가정에 도전한다. 삼성전자는 전통적인(최적화되지 않은) 소프트웨어 스택이 지연 시간과 비결정적 시스템 성능의 가장 큰 유일한 소스가 되는 정도까지, 실시간 데이터 집약적 애플리케이션을 수용하는 중대한 발전을 이끌어 왔다. Levyx는 이 문제를 해결하기 위해 나섰고 이 새로운 하드웨어의 이점을 최대한 활용하기 위해 데이터 스택을 다시 엔지니어링하여 Helium 키 값 저장 솔루션을 삼성전자의 Z-SSD와 페어링함으로써 놀라운 저지연 고성능 플래시 기반 솔루션을 완성했다. Levyx 소개 Levyx는 멀티코어 서버, 내부 및 외부 플래시 시스템, 입출력 (I/O: Input-output) 오프로드 엔진 등, 최신 상품 하드웨어 기술을 최대한 활용하는 차세대 데이터베이스 스토리지 및 쿼리 오프로드 엔진을 개발했다. 그 결과 금융 서비스 백 테스트 및 스트리밍 분석 같은 IO 집약적 워크로드에서 뛰어난 성능과 지연 시간 단축을 이루었다. Levyx의 새로운 소프트웨어 기반 엔진 덕분에 Apache Spark 같은 ‘빅 데이터’ 플랫폼에서 불안정한 메모리 전용 디자인 대신 SSD를 사용함으로써 지속적 컴퓨팅이 처음으로 가능해졌다. Levyx는 현재 세계에서 가장 빠른 키 값 저장 솔루션(Helium) 및 세계 최초로 플래시에서 실행되는 분산 스토리지/분석 오프로드 엔진(Xenon)을 제공하고 있다. 삼성전자의 Z-SSD와 Levyx의 Helium이 결합한 솔루션에 관해 아래 white paper에서 자세히 알아볼 수 있다.