윈도우 8.1에서 Data Deduplication 적용하기 물량공급의 잡다한이야기

윈도우 8.1에서 Data Deduplication 적용하기

ETC2013.10.19 14:00물량공급

 

출처 : http://www.coolenjoy.net/bbs/cboard.php?board=37&no=2212

출처2 : http://tailspintoys.wordpress.com/2013/09/23/enabling-data-deduplication-in-windows-8-1/

출처3 : http://technet.microsoft.com/en-us/library/hh848450.aspx

 

 

더 자세한 명령어를 알고 싶으시면 http://technet.microsoft.com/en-us/library/hh848450.aspx 여기로 가보세요.

http://technet.microsoft.com/ko-kr/library/hh831602.aspx 그외 주의점 등은 이쪽으로

http://blogs.technet.com/b/koalra/archive/2012/08/13/windows-server-2012-data-deduplication.aspx 어떤식으로 작동하나 보고싶으시면 이쪽.

 

 

윈도우 8에서 적용하였다가 8.1로 업데이트후 D드라이브 일부파일이 access가 안되어 검색해서 정리한 내용입니다.

윈도우를 재설치하기전에 반드시 Data Deduplication 를 해제해주세요.

 

아니면 저처럼 8.1로 업글후 재적용해주시면됩니다.

 

 

Windows 8.0 pro 64bit 에서 적용하였던것을 8.1에서 재 적용하여 정상 사용중입니다.

 

 

 

아래 내용은 각종사이트에서 퍼온내용을 8.1에 맞게 정리하였습니다.

 

 

 

 

 

 

 

 

일단 data deduplication이란 무엇인가 설명 하자면
우리말로는 데이터 중복 제거 라고 하는데 다른 파일이라고 파일 내용이 중복 되는 곳이 있으면 그것들을 합쳐서 디스크의 용량을 효율적으로 사용하는 기술입니다.
윈도우에서는 이번 서버 2012에서만 사용가능한 고급(?) 기술이지만 같은 커널을 사용하는 윈도우8에서도 강제로 활성화 시켜서 사용할수가 있습니다.

http://i.imgur.com/po8AXNx.gif

 

이렇게 파일간 같은점을 비교해 하나로 합쳐 용량을 절약합니다.

예를 들면 무설치 게임을 받았을시 압축되있는게 아니라면 그 게임을 실행하면 파일이 약간만 변하여도 시딩이 중지되서 다른곳에 카피를 하고 플레이를 해서 용량을 2배 차지하는걸 변화하는 파일들만 용량을 따로차지하는 것도아니고 그 변화하는 파일들 조차 거의 용량을 공유하고 약간 변화하는 그 변화 값들만 용량을 따로 차지 하게 되서 거의 1개의 용량만을 차지하게 됩니다.
물론 같은 파일의 카피가 아니라 완전히 다른 파일들 이라도 같은 부분이 약간이라도 있으면 공유합니다.

이론대로 완벽하게 동작을 한다면요...
아마 제대로 동작하니 서버 제품군에서 사용하겠죠.


 

http://i.imgur.com/DtkWMe0.png
 



 

http://i.imgur.com/uzMgwYj.png


 

 


현재 서버를 다 밀고 새로 설치중이라 스샷을 직접찍진 못하고 외국사이트에서 가져왔습니다.
D:에 중복제거를 적용 전후의 스샷입니다.
가진 데이터에따라 얼마나 줄어들지는 다르지만 약간이라도 줄이면 그게 어딥니까..

 

 

아래 내용은 윈도우 8.1에서 Test 되었습니다.


적용법

 

1. 아래 파일을 다운로드 한 후 적당한 폴더에 압축을 해제합니다

 

윈도우 8 용 :  Win8Dedup.zip

 

윈도우 8.1 Build 9600용 : DeDup-Win8.1_9600.zip

 

 

C:\temp 혹은 D:\temp 권장

 

2. 윈도우+q 키를 누른후 powershell을 입력, 오른쪽마우스 버튼을 누르고 관리자모드로 실행합니다.

 

3. 파일이 있는 디렉토리로 이동합니다.

 

 

cd : D:temp

 

 

4. 다음 두 커맨드를 차례대로 실행합니다. 복사후 마우스 오른버튼을 누르면 붙혀넣기가 됩니다.

첫번째 긴 커맨드는 1줄짜리입니다.

dism /online /add-package /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-VdsInterop-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab  /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-FileServer-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab  /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~~6.3.9600.16384.cab /packagepath:Microsoft-Windows-Dedup-Package~31bf3856ad364e35~amd64~en-US~6.3.9600.16384.cab

 

 

 

dism /online /enable-feature /featurename:Dedup-Core /all

 

 

 

5. 모든게 완료되면 프로그램 및 기능 - windows 기능 켜기/끄기 에서 다음과 같이 활성화가 되어 있을것입니다.

 


2013-09-23 19-57-13

 

 

 

 

6. 활성화 방법

 

 

적용할 드라이브를 활성화 시킵니다.
D:에 적용한다는 가정하에 진행합니다

 

Enable-DedupVolume -Volume D:

 

 

7. 생성된지 10일 이내의 파일들은 중복제거를 하지 않게 하는 명령입니다.
왜하는지는 정확히 모르겠으나 원래가 서버용 기능이다보니 생성되고 금방 지울 파일들이나 웹캐시 같은 금방 지워질 파일들을 일일히 중복제거하면 자원낭비가 있어서 그런게 아닐까 합니다.
윈도우 서버 2012의 기본세팅은 3일이고 테크넷 예제에는 10일로 나와있어서 그냥 10일로 해봅니다.
몇일이 좋을지는 잘 모르겠네요. 설정을 안해주셔도 상관 없습니다.

 

 

Set-Dedupvolume D: -minimumfileagedays 10

 

 

8. D:가 제대로 등록 되었나 체크


 

Get-DedupVolume

 

 

 

9. 실행!

 

To force a Deduplication job, simply run the PowerShell command as below (deduplications runs well on open files now as well…):

 

Start-DedupJob -Volume D: -Type Optimization

 

 

 

몇가지 쓸만한 옵션이 더 있는데 붙히시려면 붙히세요.

-Priority High
cpu 사용 우선도를 높게 잡아줘서 작업을 빨리 합니다.

-StopWhenSystemBusy
다른 작업이 cpu나 ram을 많이 필요로 하면 작업을 일시중지했다가 그 작업이 끝나면 자동으로 다시 시작해줍니다.

테크넷에는 이 두 옵션을 사용하길 권장하네요.

Start-DedupJob –Volume D: -Type Optimization -Priority High -StopWhenSystemBusy

 

10. 체크


 

Get-Dedupjob


실행후 바로 쳐보면 큐라고 나오고 몇초 더 지나고 다시켜보면 러닝 이라고 나옵니다. 작업은 꽤 오래걸립니다.


완료.



아마 작업을 하고나면 스케쥴에 자동으로 3가지가 등록될겁니다.

Get-DedupSchedule


을 쳐보시면 나옵니다.


백그라운드라는게 있는데 이게 어느정도의 효율을 보일지 모르겠습니다


 

New-DedupSchedule –Name "MyWeekendOptimization" –Type Optimization –Days Mon,Tues,Wed,Thurs,Fri –Start 08:00 –DurationHours 9


 

 

이런식으로 추가할수 있는데 이건 테크넷에 있는 예제일뿐이므로 자신에 맞게 요일과 시간을 바꿔 쓰세요.
이 커맨드는 월~금에 아침 8시에 작업 시작해서 9시간동안만 진행 하라는것입니다. 9대신 0을 넣으면 완료 될때까지 입니다.
9시간이나 걸릴지 의문이지만.. 참고로 전 시험삼아 500G짜리 테스트 해봤을땐 30분도 안걸렸네요.
서버용 OS 기능이니 보통용량이 아닌 하드를 상정하고 만든 예제인거같습니다.
여기에도 -Priority High -StopWhenSystemBusy를 추가할수 있습니다.

설명은 여기까지 하고 더 자세한 명령어를 알고 싶으시면 http://technet.microsoft.com/en-us/library/hh848450.aspx 여기로 가보세요.

추가. 윈도우 서버 2012를 깔고 하드 포멧후 자료를 채워가는중 550기가 정도가 채워진 상태에서 한번 돌렸더니 이렇게 됏네요.

http://i.imgur.com/MCHkhF6.jpg

 

 



서버라 gui상에서 지원해서 이런식으로 볼수있고 윈도우8에서 보려면


 

http://i.imgur.com/PpjIUWW.jpg



 

이런식으로 명령어로 볼수있습니다.

 

 

 

 

 

 

 

If everything turns out well, you could end up with as nice deduplicated data volume as in the screenshot below.

2013-09-23 19-18-00

 

 

 

정지방법

 

Powershell에서

Disable-DedupVolume -Volume D:

라고 치시면됩니다.

 

 

출처 : http://www.coolenjoy.net/bbs/cboard.php?board=37&no=2212

출처2 : http://tailspintoys.wordpress.com/2013/09/23/enabling-data-deduplication-in-windows-8-1/

 

 

 

 

 

블로그 주인 사진Author물량공급
대학입시, 수시, 정시, IT, 맛집탐방,리뷰 등 다양한 이야기를 다루는 개인 블로그입니다.
  1. 프로필사진DD2015.11.13 17:41 신고 + 

    혹시 윈도우 10에서 Deduplication 적용에대해 아시는게 있으신가요?
    이기능때매 윈도우 8.1에서 벗어나질 못하고있네요 ㅎㅎ