다이나믹 쿠쿠 필터를 적용한 다중 필터 분산 중복 제거 시스템의 설계 및 구현

Abstract

데이터 관리 분야에서 중복 제거는 특히 클라우드 스토리지 환경에서 중복 데이터를 제거하고 스토리지 자원을 최적화함으로써 중요한 역할을 한다. 클라우드 컴퓨팅 기술의 빠른 발전으로 현대의 클라우드 데이터 센터에서는 중복 제거가 널리 채택되고 있으며, 연구자들은 클라우드 스토리지의 중복 데이터 문제를 해결하기 위해 다양한 중복 제거 방법을 제안하고 있다. 이 논문은 빅 데이터의 독특한 특성에 주목하고, 동적 쿠쿠 필터 기술을 활용하는 효율적인 다계층 분산 데이터 중복 제거 처리 시스템에 대한 새로운 접근 방식을 제시한다. 이 기술은 분산 환경에서 중복 제거 작업을 처리하는 데 효과적인 솔루션을 제공하며, 효율적인 데이터 감소 및 자원 활용을 가능하게 한다. 본 논문에서는 빅 데이터의 특성을 고려하여 동적 쿠쿠 필터 기법을 이용한 다계층 분산 데이터 중복 제거 프로세스 시스템을 제안한다. 다계층 분산 데이터 중복 제거 시스템에서 동적 쿠쿠 필터를 활용함으로써, 클라우드 스토리지 환경에서 중복 제거 문제를 해결하고, 보다 효과적인 데이터 관리를 가능하게 한다. 개별 스토리지 노드는 중복 제거 효율성을 통해 성능을 향상시킬 수 있으며, 동적 쿠쿠 필터 적용으로 처리 시간을 단축시킬 수 있다. 실험 결과, 제안된 방법은 기존의 쿠쿠 필터를 이용한 중복 제거 기법에 비해 처리 시간을 7.9% 줄이고, 중복 제거율을 11.4% 높일 수 있음을 확인하였다.