사이버 보안에서 전자상거래까지 모든 것을 바꿔 놓을 데이터 검색의 거대한 도약

오늘날 기업과 조직은 그 어느 때보다 많은 데이터를 수집하고 있으며 이 빅데이터로 이루어진 바다는 엄청난 기회인 동시에 리스크다. 아주 최근까지도 방대한 양의 원시 데이터를 검색하는 비용은 엄두를 못 낼 만큼 비싸고 시간을 잡아먹는 일이었다. 그래서 데이터를 효과적으로 수익화하는 일은 대부분의 기업에게 어려운 과제였고, 악성 데이터 유출로부터 복구하는 작업은 수백만 달러의 비용과 엄청난 시간이 요구될 수 있음을 의미했다. 하지만 이제 바뀔 때가 되었다. 데이터 유출의 높은 비용 최근 몇 년간 심각한 데이터 유출의 사례는 끊이지 않았다. 예를 들어, 2017년 Equifax의 유출 사고로 미국 인구의 40%가 넘는 1억 4,300만 명의 고객 데이터가 노출되었다. 접근된 데이터는 이름, 주민등록번호, 주소, 운전면허번호 등이었으며 그로 인한 수습 및 조사 비용은 14억 달러(한화 약 1조 7천억 원), 기간은 2년 이상이 소요되었다. 극단적인 예이긴 하지만, 여전히 값비싼 손해를 입히는 유출 사고는 빈번하게 발생한다.

IBM의 2020년 데이터 유출 비용 보고서(2020 Cost of a Data Breach Report)에 따르면 악성 유출을 식별하고 봉쇄하는 데 평균 315일이 걸리며, 미국에서 유출 사고로 인해 기업에 발생하는 비용은 평균 864만 달러(한화 약 102억)에 달한다. 하지만 유출 복구에 이렇게 비용이 많이 들고 긴 과정이 필요한 이유는 무엇일까? 핵심적인 문제는 기존 기술의 제한으로 인해 데이터 검색이 데이터 양에 맞추어 확장하지 못하기 때문이다. 다른 말로 하면 데이터 보유량이 많아질수록 검색하여 악성 코드를 추적하고 손해를 산정하는 데 시간이 많이 걸린다는 의미다. 지금까지는 이런 값비싼 프로세스의 속도를 높일 효과적인 방법이 없었을 뿐이다. Lewis Rhodes Labs가 소개하는 NPUsearch™ Lewis Rhodes Labs에서 획기적인 NPUsearch를 새롭게 출시하면서 데이터 검색 속도가 극적으로 높아져 데이터 유출 복구에 드는 시간과 비용이 크게 감소할 수 있게 되었다. NPUsearch는 Xilinx FPGA로 구동되는 삼성의 SmartSSD CSD(컴퓨팅 스토리지 장치)를 탑재한다. 그 결과로 인덱싱의 품질과 비용에 악영향을 미치지 않고 방대한 양의 데이터를 검색하는 도구가 탄생했다. NPUsearch는 인간의 뇌 기능에 관한 연구에서 도출된 개념을 활용한다. 이 기술의 핵심은 NPU(Neuromorphic Processing Unit)로 선별된 인간의 뇌 기능을 사용하여 모델링되었다. Lewis Rhodes Labs의 공동 창립자 겸 COO인 Pamela Follett 박사는 소아 신경학자, 신경과학자, 초기 뇌 발달 장애 전문생의학 엔지니어로 일해왔다. Follett 박사는 자신의 연구를 통해 낮은 수준의 에너지를 활용하여 뇌가 고속 계산을 해내는 방법에 대한 영감을 얻었고 이러한 발견을 데이터 검색에 적용하는 것을 기회로 삼아 Lewis Rhodes Labs 팀과 함께 NPUsearch를 개발했다. NPUsearch의 새로운 패턴 매칭 기능은 낮은 전력 수준에서 인덱스되지 않은 데이터를 고속 검색할 수 있는 완전히 새로운 방법론이다. 삼성 SmartSSD® CSD Lewis Rhodes Labs는 NPUsearch 기기용 프로그래머블 하드웨어로 Xilinx Adaptive Platform으로 구동되는 삼성 SmartSSD CSD를 선택했다. SmartSSD CSD는 FPGA 컴퓨팅 리소스를 스토리지 드라이브 내부에 직접 가져옴으로써 데이터 집약적 애플리케이션을 가속한다.

SmartSSD CSD를 채택한 Lewis Rhodes Labs의 NPU는 일정한 속도로 데이터를 스캔하여 드라이브의 최고 읽기 속도로 데이터를 완전히 분석할 수 있다. 다시 말해 데이터 유출을 조사할 때 사용자가 며칠이 아닌 몇 분 안에 검색 질문에 대한 답을 얻을 수 있어서 기존 기술보다 엄청나게 빨라질 수 있다는 의미다. 완전히 확장 가능한 결정론적 고정밀 검색 NPU는 훨씬 빨라진 데이터 검색 속도는 물론, 완전히 확장 가능한 검색을 지원하므로 기존 방법과 달리 결정론적으로 데이터 분석을 완수한다. 과거 기술을 사용하면 모든 데이터가 CPU로 전송된 후에 검색되어, 며칠 이상이 걸릴 수 있는 아주 느리고 비효율적이며 예측 불가능한 프로세스였다. NPUsearch는 각 드라이브의 전체 콘텐츠를 전송하지 않고 검색 결과만을 CPU로 반환한다. Follett 박사는 이를 다음과 같이 비유한다. “데이터를 검색하는 일은 방이 18개인 집에서 잃어버린 열쇠를 찾는 것과 같다. 이전 기술은 각 “방”의 물건을 모두 모아서 연속해서 찾는 방식이었다면 NPUsearch는 효과적으로 “집의 각 방에 수색대 한 명씩을 두는 것과 같다.” NPU는 각 SmartSSD CSD에서 데이터가 있는 스토리지에 있으며 검색이 SSD에서 로컬로 완료되기 때문에 각 SmartSSD CSD가 동시에 검색되어 각 검색마다 미리 결정된 시간만 소요된다. 검색량이 96테라바이트이든 10페타바이트이든 상관없이 NPUsearch는 약 25분 안에 검색을 완료할 수 있다.

NPUsearch의 장점은 단순히 데이터 유출에 대응하는 시간과 비용을 절감하는 것을 넘어선다. 오랫동안 공격자들이 사이버 세계에서 비대칭적 우위를 누려왔던 이유는 그들이 방어자가 대응하는 속도보다 더 빠르게 움직일 수 있었기 때문이다. 일부 유형의 스캔이나 데이터 세트에 대한 검색 시간이 더 느리면 공격자가 더 오랫동안 숨어 있을 수 있다. NPUsearch는 이 부분의 불균형을 해소한다. NPUsearch의 시간은 결정되어 있기 때문에 모든 스캔이 예측 가능한 같은 시간 안에 완료되므로 잠재적 공격자가 검색 시간 지연의 약점을 노릴 가능성을 제거한다. 이와 같은 방식으로 NPUsearch가 제공하는 효과적이고 일관되게 빠른 성능은 일부 공격 전략의 효과를 감소시킬 수 있다. 구현이라는 면에서 NPUsearch는 사용자 친화적으로 설계되었다. NPUsearch의 기반이 되는 뉴로모픽 드라이버와 컴파일러는 이 기술을 익숙한 인터페이스로 완전히 해석하고 통합해주므로 새로운 기술은 사용자의 눈에 직접 보이지 않는다. 배워야 할 복잡한 소프트웨어가 없고 사용자는 표준 Python API를 통해 정규식 검색을 수행할 수 있다. 개발 파트너 NPUsearch는 Lewis Rhodes Labs와 함께 삼성과 Xilinx가 공동으로 개발했다. Lewis Rhodes Labs의 공동 창립자 겸 CEO인 Dave Follett에 따르면 “Xilinx와 삼성의 지원은 NPUsearch™ 개발과 구축에서 매우 중요했다.” 또한 Follett은 “LRL이 빠르게 움직여야 했을 때 Xilinx와 삼성의 지원은 우리가 이룬 성공의 핵심이었다. Xilinx의 도구가 LRL이 제품을 제공하는 데 필요한 시간을 줄여주었고, 프로세스 전반에서 놀라운 지원을 받았다.”라고 덧붙였다. 단순 유출 대응을 넘어선 가치 NPUsearch는 데이터 위반 사고의 뒷처리와 조사 부문에서 판도를 바꿀 수 있지만, 이 사용 사례는 빙산의 일각에 불과하다. NPUsearch의 원시 데이터 검색 속도는 기업과 조직에서 하루가 다르게 증가하는 데이터 풀의 잠재력을 보다 완전히 실현할 수 있도록 지원한다. 예를 들어 데이터를 분석하여 인사이트를 제3자에게 판매할 수 있다. 데이터 기반 최적화로 자체 비즈니스 성과를 개선할 수 있는 참신한 인사이트를 얻을 수도 있다. 기업이 활용하지 않은 데이터 리소스를 발굴하여 수익화할 기회는 무궁무진하며 NPUsearch 덕분에 이러한 기회를 활용하기가 어느 때보다 쉬워졌다.