더 빨라지고 더 스마트해지는 서버용 플래시 스토리지

앞으로 10년간 우리는 서버와 데이터 센터 환경에서 플래시 기반 스토리지 미디어의 큰 발전을 경험하게 될 것이다. 최신 동향과 이러한 변화를 이끄는 혁신에 관해 자세히 알아보기 위해 우리는 삼성전자 반도체 유럽 지사의 마케팅 커뮤니케이션 및 전략적 비즈니스 개발 부문 이사인 Thomas Arenz와 대화를 나눴다. 앞으로 10년간 전문적인 데이터 스토리지 사용자들은 어떤 새로운 기술을 경험하게 될까? Arenz: 말할 것도 없이 PCIe Gen4죠. 저희 PM1733과 PM1735 SSD 시리즈에 이 기술을 사용해 AMD Epyc 7002 프로세서를 지원하는 모델이 19개나 있다. 네 개의 PCIe 레인의 대역폭을 모두 사용해서 최대 8GB/s의 연속읽기 속도와 최대 150만 임의 IOPS(초당 입출력 처리 횟수) 성능을 발휘한다. 이전 세대에 비하면 IOPS는 훨씬 더 높아지고 순차적 대역폭은 두 배가 늘어난 것이다. U.2와 HHHL 폼팩터에서 사용 가능하고 용량이 1TB에 조금 못 미치는 데서 최대 30TB까지 제공되는 하드웨어뿐 아니라 소프트웨어도 최적화했다. 그래서 이 시리즈에는 한층 더 높은 수준의 세 가지 혁신 기술이 포함된다. 바로 Fail-in-Place, 가상화, 머신러닝 기술이다. 더 지능적으로 발전하는 플래시 스토리지 ‘Fail-in-Place’의 정의? Arenz: Fail-in-Place는 아주 중요한 기술이다. 칩 수준에서 오류가 발생해도 전반적인 SSD는 여전히 액세스할 수 있다는 뜻이다. 30TB짜리 SSD에 NAND 칩이 512개가 들어간다는 걸 고려하면 Fail-in-Place가 얼마나 유용한지 감이 오실 것이다. SSD를 핫스와프하고 모든 연쇄 효과를 처리하는 대신 SSD는 여전히 안정적으로 고성능을 유지하면서 실행되도록 하는 내부 오류 정정 시스템을 활용하는 것이다. 저희 SSD 가상화 기술은 개별 SSD를 최대 64개 유닛까지 분할해 사용할 수 있도록 하는 기술로, 여러 개의 독립적인 가상 근무 공간을 제공한다. 따라서 예를 들면 클라우드 스토리지 제공업체가 추가로 물리적인 리소스를 활용할 필요 없이 더 많은 사용자에게 서비스를 확장할 수 있다. 또한 이 기술로 대개 서버 CPU가 처리하던 단일 루트 I/O 가상화(SR-IOV) 작업을 SSD가 처리할 수 있게 된다. 따라서 서버 CPU와 SSD는 더 적게 사용하면서 같은 수준의 서비스를 제공할 수 있으므로 전반적인 서버 공간을 절약할 수 있다. 저희 V-NAND 머신러닝 기술은 셀 상태를 정확하게 예측하고 빅 데이터 분석을 통해 이 수준에서 이상을 감지하는 데 도움이 된다. SSD 속도가 빨라지고 전압 펄스가 급격해지면서 데이터 읽기와 확인에 새로운 과제가 등장한 상황에서 데이터 신뢰성을 확보하는 데 그 중요성이 더 커지는 기술이다. 3비트 NAND보다 셀 컨트롤이 훨씬 더 정확해야 하지만 4비트 NAND를 탑재한 SSD는 신뢰성이 더 높으며 서버와 데이터 센터 스토리지 시스템에 사용하는 데 필요한 더 빠른 속도와 더 큰 용량을 확보할 수 있다. 플래시 스토리지가 더 빨라질 뿐 아니라 더 스마트해지고 있다고 말씀하셨는데, 정확히 어떤 의미인가? Arenz: 우리는 파트너와 함께 많은 시간을 들여서 우리 표준 SSD에 SSD와 CPU 간의 데이터 전송을 최소화하는 ‘스마트’ 부품을 포함했다. 현재 스토리지 아키텍처의 문제점이 점점 더 커지는 데 대응한 것이다. 바로 지난 20년간 스토리지 솔루션의 용량이 CPU가 연결된 대역폭보다 8배는 빠르게 증가했다는 점이다. 아주 큰 격차다. 그리고 앞서 말씀드린 PCIe Gen4 같은 기술적인 혁신에도 불구하고 그 격차는 계속 벌어지고 있다. 그래서 TB당 사용할 수 있는 대역폭이 계속해서 줄어들고 있다. 스마트 SSD: 개념 증명 그렇다면 스토리지 용량이 전송 대역폭을 크게 앞선다는 딜레마를 해결하려면 어떤 방법이 있을까? Arenz: 이 문제를 해결하기 위해서 최근 사용되는 접근법은 컴퓨팅 스토리지라고 하는 것인데, 저희 내부적으로는 ‘스마트 SSD’라고 부른다. 이 솔루션을 위해서는 전통적인 스토리지 아키텍처를 완전히 다른 관점으로 생각해야 한다. 이 모델에서는 CPU가 작업을 수행하도록 원시 데이터를 제공하는 대신 SSD가 원래 요청에 대해 사전에 만들어진 결과를 제공한다. AI, 딥 러닝, 빅 데이터 같이 사람들이 흔히들 말하는 모든 혁신 기술은 기본적으로 센서나 데이터베이스 등의 소스에서 방대한 양의 데이터를 분석해서 패턴을 감지한 다음 새로운 맥락에 적용하는 작업을 기반으로 한다. 이 작업을 실시간으로 하려면 작업에서 솔루션까지의 과정을 크게 단축해야 한다. 말하자면 스마트 SSD가 현대적인 분업을 한다고 할 수 있다. CPU나 가속기에 의존해서 모든 계산을 수행하는 대신 이 기술을 통해 SSD가 그런 작업의 대부분을 직접 수행함으로써 서버 CPU의 부담을 획기적으로 줄여준다. 지난 18개월간 우리는 메인스트림 NVMe SSD에 Xilinx FPGA를 추가하고 이 프로토타입을 몇몇 고객이 I/O 집약적인 워크로드에 사용해 보도록 제공했다. 이런 개념 증명 중 하나는 미국 최대 규모의 헤지 펀드사가 진행했다. 이 회사는 지속적으로 1초에 여러 번 주가를 분석할 수 있어야 하는데 그러려면 엑사바이트의 절반에 해당하는 데이터 볼륨이 필요하다. 우리는 이 회사의 알고리즘을 스마트 SSD에 통합했고, 그 결과 데이터 처리량이 세 배 이상 높아졌다. 잦은 빈도로 거래가 일어나는 고주파 트레이딩 환경에서는 100만분의 1초 사이에도 1백만 달러의 수익을 거두느냐 손실을 보느냐가 달려있다. MariaDB를 기반으로 한 업계 표준 애플리케이션을 사용한 또 다른 개념 증명에서는 요청된 데이터의 약 80%가 CPU에서 필터링되어야 한다는 것이 밝혀졌다. 우리는 이런 작업 부하를 스마트 SSD로 넘겨 헤지 펀드사의 개념 증명에서 경험한 것과 같은 정도로 처리 속도를 높일 수 있었다. 또 다른 사례를 들어주실 수 있는가? Arenz: Spark 항공사 계열의 한 항공사와의 파트너십에서 또 한 가지 중요한 인사이트를 얻을 수 있었다. 스마트 SSD를 통한 성능 향상을 굉장히 크게 확장할 수 있다는 점이다. 이 조건에서 더 많은 스마트 SSD를 쓸수록 쿼리 실행 시간이 더 많이 단축되었다. IoT 연결 항공기는 비행을 한 번 할 때마다 몇 페타바이트 수준의 데이터를 만들어낸다. 착륙하고 나면 항공사에서는 일종의 엣지 데이터 센터에서 이 데이터를 분석하고 결과를 빠르게 제출해야만 그 비행기의 다음 비행 승인이 나게 된다. 승인이 나지 않고 비행시간이 임박해서 비행을 취소해야 한다면 재예약과 환불, 승객 숙박 제공으로 인해 엄청난 비용이 발생한다. 우리는 스마트 SSD를 여러 개 사용해서 데이터 분석에 걸리는 시간을 90%까지 줄일 수 있었다. 이런 사례는 연결 병목을 처리할 때 스마트 SSD가 가지는 엄청난 잠재력을 보여준다. 이렇게 놀라운 결과를 바탕으로 저희는 스마트 SSD 프로토타입을 완전한 제품으로 만드는 프로세스에 돌입했다. 현재 파트너와 협력하면서 비디오 인코딩이나 스토리지 오프로딩 등에 일반적으로 사용되는 데이터베이스와 애플리케이션 프레임워크와 호환하는 데 필요한 커넥터를 스마트 SSD에 탑재하고 있다. 서버 측면에서 보자면 스마트 SSD는 마치 표준 Xilinx FPGA와 NVMe 스토리지 기기와도 같다. 즉, 고객이 스마트 SSD를 사용하면서 자신만의 솔루션을 개발할 수 있다는 뜻이다. 폼팩터 및 표준 어떤 폼팩터를 사용하는가? Arenz: 프로토타입은 별도의 FPGA, PCIe 스위치, SSD 컨트롤러에 추가되는 카드로 사용하도록 디자인되었다. 지금은 FPGA를 SSD 컨트롤러에 통합하는 작업을 진행 중이고 완성된 제품은 U.2 폼팩터로 제공될 것이다. 초기 샘플은 앞으로 몇 달 이내에 출시된다. SNIA에서 최근에 키 값 스토리지의 표준 사양을 승인했다. 이것이 시사하는 바는 무엇인가? Arenz: KV SSD의 핵심 목적은 데이터 액세스에 필요한 워크로드를 CPU에서 SSD로 직접 전송하는 것이다. 그러면 프로세스가 엄청나게 빨라진다. 하지만 SSD 내에서 작업을 수행하는 대신 데이터가 완전히 다른 방식으로 처리된다. 표준 SSD는 수신 데이터를 여러 블록으로 분할하고 쓰기 작업을 실행하기 전에 매번 블록을 삭제한다. 따라서 쓰기 작업이 두 가지 단계를 트리거하게 된다. 하나는 논리적 블록 주소 지정(LBA)이고 하나는 물리 블록 주소 지정(PBA)이다. SSD의 에이징 프로세스에도 이 프로세스가 사용된다. 읽기 작업은 아무런 문제도 일으키지 않지만 쓰기 작업은 재료의 피로를 일으킨다. 반면에 키 값 기술은 데이터를 먼저 블록으로 분할할 필요 없이 개체 기반 스토리지를 사용할 수 있게 한다. 크기와 상관없이 데이터 개체(값)에 키가 할당되어 저장된다. 따라서 데이터 블록의 주소가 스토리지 위치와 상관없이 지정되고 확장 잠재력 또한 매우 크다. 데이터 액세스 속도가 빨라질 뿐만 아니라 LBA와 PBA 단계를 건너뛰면서 SSD의 서비스 수명 또한 길어진다. 데이터를 블록으로 분할하거나 작은 블록 여러 개를 쓰지 않기 때문에 흔히 말하는 WAF(Write Amplification Factor)를 최소화하는 기술이다. 실제로 총 쓰기 바이트(TBW, Total Bytes Written)의 양이 다양하게 나타나는 경우가 많은데 WAF가 플래시 기술과 컨트롤러의 인텔리전스에서 영향을 받기 때문이다. 일반적으로 말해서 WAF가 낮을수록 SSD의 서비스 수명이 더 길다. 키 값 기술을 사용하려면 선제 조건이 무엇인가? Arenz: 적절한 펌웨어를 갖춘 키 값 SSD와 애플리케이션에 연결할 API가 필요하다. 삼성전자는 오랜 기간 이 부분에 집중하고 있었고 오픈소스 소프트웨어와 라이브러리, 드라이브와 함께 실험을 위한 Ceph 백엔드를 제공하고 있다. 또한 SNIA의 키 값 드라이브용 표준 API(‘Key Value Storage API 1.0’)를 지원한다. Mission Peak 상황과 NVMe-oF 지난해 저희는 NVMe over Fabrics를 깊이 있게 다루었다. 새로운 내용이 있다면 알려줄 수 있는가? Arenz: 지난해 우리는 Mission Peak라는 완전한 레퍼런스 디자인을 소개하고 저희 에코시스템 파트너와 함께 e-shelter 데이터 센터에서 개념 증명에 사용할 수 있는 시스템을 만들었다. 이 시스템에서 사용하는 NVMe-oF 기술은 RDMA를 기반으로 한 기술이다. RDMA는 고성능을 제공하지만 구현하기는 기술적으로 까다롭다. 이제는 TCP를 패브릭 플랫폼으로 사용할 수 있다. 최신 버전의 사양(NVMe-oF 1.1)에 전송 연결로 TCP를 지원하기 때문이다. 참고로 말씀드리면, NVMe는 최신 SSD의 모든 이점을 제공하며 특히 데이터 처리량과 I/O 속도 측면이 강점인 최신 스토리지 프로토콜이다. NVMe-oF는 SSD를 로컬 호스트 시스템과 비슷한 수준의 성능으로 원격 호스트 시스템에서 사용하도록 함으로써 DAS와 SAN의 성능 격차를 메우는 역할을 한다. NVMe/TCP가 특히 유용한 것은 기존 라우터, 스위치, 어댑터와 기타 표준 장비를 사용할 수 있기 때문이다. 따라서 설치 프로세스가 간단하고 다운타임이 최소화되며 구현 비용이 절감된다. RDMA나 광섬유 채널과 같은 다른 기술과 비교하면 특히 더 그런데, 새로운 장비를 도입할 필요가 없기 때문이다. 그래서 스토리지 시장에서 이 기술이 점점 더 인기를 끌 것이라고 생각한다. 요약하자면 이 모든 기술의 목적은 데이터 액세스와 처리 속도를 크게 높이기 위한 것이 맞는가? Arenz: 정확하다. 우리는 언제나 기존의 전문 플래시 스토리지 제품이 우리 시대의 계속해서 커지는 요구를 따라잡을 수 있도록 혁신을 이루기 위해 최선을 다하고 있다.