IT정보

[통합 가이드] Windows 가상화 기반 보안(VBS) 제어 및 에뮬레이션 프로세서 가속 방안

1. 가상화 기반 보안(VBS) 기술의 아키텍처 구조와 시스템 연산 병목의 본질

최신 윈도우 운영체제는 외부의 지능형 지속 위협이나 루트킷, 커널 레벨 악성코드로부터 시스템의 핵심 바이너리를 보호하기 위해 가상화 기반 보안(VBS: Virtualization-Based Security) 기술을 기본적으로 활성화해 두고 있습니다. 이 기술은 하드웨어 가상화 확장 기능을 활용하여 운영체제 커널 상위에 일종의 안전한 격리 영역을 생성하는 구조로 작동합니다. 시스템 내부에 또 하나의 독립된 미니 가상 세계를 만들고, 해커가 침투하기 가장 좋은 메모리 관리자나 암호화 키 저장소를 그 격리 공간 안에 집어넣어 물리적으로 보호하는 방식입니다.

특히 가상화 기반 보안의 핵심 하위 구성 요소인 하이퍼바이저 보호 코드 무결성(HVCI), 즉 메모리 무결성 기능은 커널 모드에서 실행되려는 모든 드라이버 파일이 안전한 디지털 서명을 가지고 있는지 사전에 철저하게 검증합니다. 서명이 없거나 신뢰할 수 없는 드라이버가 메모리에 적재되는 것을 원천 차단하므로 보안 측면에서는 엄청난 진보를 이루어냈다고 평가받습니다.

하지만 사운드, 그래픽, 네트워크 등 수많은 장치 드라이버가 1초에도 수만 번씩 CPU와 메모리를 오가며 연산을 수행해야 하는 고부하 작업 환경이나 게이밍 환경에서는 이 가상화 격리 구조가 치명적인 성능 저하를 유발하는 주범이 됩니다. 프로세서가 어떤 명령을 수행할 때마다 보안 격리 영역의 검증 절차를 거쳐야 하므로, CPU 내부의 데이터 이동 경로가 길어지고 컨텍스트 스위칭 횟수가 폭증하게 됩니다. 이 과정에서 발생하는 연산 오버헤드는 대략 오 퍼센트에서 많게는 이십 퍼센트에 달하는 프레임 드랍이나 미세한 마우스 프리징 현상을 일으킵니다.

더욱 심각한 문제는 안드로이드 앱플레이어(블루스택, LD플레이어 등)나 브이엠웨어(VMware), 버추얼박스(VirtualBox) 같은 서드파티 가상화 소프트웨어를 구동할 때 발생합니다. 이 프로그램들은 CPU의 하드웨어 가상화 기술을 직접 사용하여 게스트 운영체제를 가속해야 하는데, 윈도우 자체의 가상화 기반 보안 기능이 이미 하드웨어 자원을 선점하여 락을 걸고 있기 때문에 자원 충돌이 일어납니다. 결과적으로 앱플레이어 내부의 3D 연산 속도가 토막 나거나, 가상 머신을 켜는 순간 시스템 전체가 얼어붙는 하드웨어 병목 현상이 발생하게 됩니다. 따라서 보안보다 하드웨어 본연의 가속 성능과 프레임 확보가 최우선인 환경이라면, 이 가상화 기반 보안 설정을 시스템 단에서 완벽하게 제어하고 청소하는 정비 기술을 갖추어야 합니다.

2. 로컬 그룹 정책 편집기와 코어 격리 메뉴를 이용한 메모리 무결성 비활성화

가상화 기반 보안으로 인한 프로세서 병목을 해결하기 위해 가장 먼저 접근해야 하는 곳은 시스템의 보안 센터 설정과 그룹 정책 부문입니다. 명령 프롬프트나 서드파티 유틸리티를 쓰기 전, 운영체제가 인지하고 있는 보안 정책 플래그를 정방향으로 수정해 주어야 부팅 시 발생하는 자원 낭비를 막을 수 있습니다.

우선 작업 표시줄의 시작 단추 옆 검색창에 윈도우 보안을 입력하여 통합 보안 관리 창을 실행합니다. 왼쪽 메뉴 목록 중에서 장치 보안 항목을 클릭하여 진입한 뒤, 상단에 보이는 코어 격리 메뉴 아래의 코어 격리 상세 정보 링크를 누릅니다. 그러면 메모리 무결성이라는 이름의 토글스위치가 보일 것입니다. 이 스위치가 켬으로 되어 있다면 백그라운드에서 하이퍼바이저가 드라이버 검증 연산을 상시 가동하고 있다는 뜻이므로, 이를 클릭하여 끔 상태로 변경합니다. 변경 직후 시스템을 다시 시작해야 한다는 알림이 뜨지만, 완벽한 적용을 위해 컴퓨터를 끄지 말고 이어서 그룹 정책 편집기 정비까지 연달아 진행해야 합니다.

실행 창을 열고 영어로 gpedit.msc를 입력하여 로컬 그룹 정책 편집기 창을 띄웁니다. 만약 사용 중인 윈도우가 홈(Home) 에디션이라 그룹 정책 편집기가 실행되지 않는 예외 상황이 발생한다면, 사전에 배치 스크립트를 작성하여 그룹 정책 패키지를 강제로 윈도우 시스템에 등록하는 선행 조치를 취해야 합니다. 편집기 창이 정상적으로 열렸다면 왼쪽 트리 구조에서 다음의 경로를 차례대로 추적해 들어갑니다.

컴퓨터 구성 폴더 아래의 관리 템플릿을 열고, 시스템 폴더를 거쳐 가장 하단 부근에 존재하는 장치 가드(Device Guard) 폴더를 선택합니다. 그러면 오른쪽 화면에 가상화 기반 보안 켜기라는 정책 항목이 나타납니다. 이 항목을 더블 클릭하여 속성 창을 활성화합니다.

기본값은 구성되지 않음 또는 사용으로 되어 있을 텐데, 이를 왼쪽 상단의 사용 안 함 라디오 단추를 눌러 체크하고 적용 버튼을 누릅니다. 이 그룹 정책 수정은 운영체제가 부팅 시 커널 가상화 보안 모듈을 메모리에 적재할지 말지 결정하는 가장 강력한 상위 명령이므로, 이를 차단해 두면 시스템이 불필요한 보안 검증 세션을 생성하지 않아 CPU 본연의 연산 능력을 온전히 연산 드라이버에 집중시킬 수 있게 됩니다.

3. 레지스트리 하이브 수정을 통한 가상화 기반 보안(VBS)의 영구적 봉쇄 정책

보안 센터 메뉴와 그룹 정책을 수정했음에도 불구하고 시스템 정보 창을 열었을 때 여전히 가상화 기반 보안이 실행 중으로 표시되는 경우가 허다합니다. 이는 윈도우 업데이트나 특정 보안 프로그램이 시스템 커널 레벨의 특정 레지스트리 키 값을 강제로 고정해 두었기 때문입니다. 운영체제의 가장 깊은 곳에 위치한 데이터베이스 하이브를 직접 수정하여 가상화 보안 엔진의 시동 장치 자체를 완전히 꺼버리는 정밀 정비 작업이 수반되어야 합니다.

실행 창에 영어로 regedit를 입력하고 관리자 권한으로 레지스트리 편집기를 실행합니다. 최상위 루트 카테고리 중에서 에이치키 로컬 머신(HKEY_LOCAL_MACHINE) 폴더를 확장하고 아래의 경로를 오차 없이 추적해 이동합니다.

HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\DeviceGuard

디바이스 가드 폴더를 선택한 상태에서 오른쪽 빈 화면을 확인합니다. 여기에 세 가지 핵심 디워드(DWORD) 값이 존재하거나, 없다면 사용자가 직접 마우스 우클릭을 통해 새로 만들기 후 디워드(32비트) 값으로 생성해 주어야 합니다.

첫 번째로 제어할 값의 이름은 영어로 EnableVirtualizationBasedSecurity입니다. 이 값을 더블 클릭하여 편집 창이 뜨면 기존 데이터 값을 일에서 영(0)으로 변경합니다. 이 값은 가상화 기반 보안의 전체 시동 스위치 역할을 합니다.

두 번째로 제어할 값은 Scenarios 폴더 하위에 존재하거나 장치 가드 폴더 바로 아래에 있을 수 있는 HypervisorEnforcedCodeIntegrity 값입니다. 이 값 역시 데이터 값을 영(0)으로 수정해 줍니다. 이는 앞서 설명했던 하드웨어 가속 병목의 핵심인 하이퍼바이저 코드 무결성 검증을 끄는 세부 명령입니다.

마지막으로 같은 경로에 존재하는 RequirePlatformSecurityFeatures 값을 찾아 데이터 값을 영(0)으로 고정합니다. 이 값은 하드웨어 단의 보안 요구 사항을 필수적으로 체크할지 여부를 결정하는 항목으로, 영으로 만들어두면 윈도우가 부팅될 때 메인보드 하드웨어에 가상화 보안 구동을 요청하는 신호를 송출하지 않게 됩니다. 모든 레지스트리 키 값의 수정을 완료했다면 편집기를 닫고 컴퓨터를 완전히 재부팅합니다.

부팅이 완료된 후 실행 창에 msinfo32를 입력하여 시스템 정보 창을 띄우고 하단으로 스크롤을 내려 가상화 기반 보안 항목이 정상적으로 실행 중 안 함으로 바뀌었는지 육안으로 최종 검증해야 합니다. 이 상태가 되어야만 CPU가 가상 격리 장벽에서 완전히 해방되어 순수한 원시 연산 속도를 발휘할 수 있는 환경이 조성됩니다.

4. 윈도우 하이퍼바이저 플랫폼과 가상 머신 플랫폼 기능의 논리적 분리 정비

레지스트리 정비까지 마쳐서 가상화 기반 보안을 완전히 껐다면, 이번에는 서드파티 앱플레이어나 가상 머신 프로그램들이 대역폭 충돌 없이 프로세서의 하드웨어 가상화 기술(Intel VT-x 또는 AMD-V)을 백퍼센트 완벽하게 독점하여 초고속 에뮬레이션을 수행할 수 있도록 윈도우 내장 가상화 기능을 정비할 차례입니다.

윈도우에는 기본적으로 하이퍼브이(Hyper-V), 가상 머신 플랫폼, 윈도우 하이퍼바이저 플랫폼이라는 세 가지 내장 가상화 구성 요소가 존재합니다. 이 기능들은 리눅스용 윈도우 하위 시스템(WSL2)이나 윈도우 샌드박스를 구동하기 위해 만들어진 훌륭한 도구이지만, 블루스택이나 브이엠웨어 같은 자체 가속 엔진을 쓰는 외부 프로그램들과는 하드웨어 제어권을 두고 격렬하게 충돌합니다.

이 충돌을 해결하기 위해 실행 창에 영어로 optionalfeatures를 입력하여 윈도우 기능 켜기/끄기 관리 창을 호출합니다. 작은 관리 창이 뜨고 시스템 내부의 기능 목록들이 쭉 나열되면 스크롤을 아래로 천천히 내리며 다음 항목들의 체크 상태를 확인합니다.

Hyper-V 항목과 그 하위에 존재하는 모든 체크 박스를 해제합니다. 이어서 가상 머신 플랫폼(Virtual Machine Platform) 항목과 Windows 하이퍼바이저 플랫폼(Windows Hypervisor Platform) 항목을 찾아서 모두 체크를 해제하여 비활성화 상태로 만듭니다. 만약 사용자가 현재 더블유에스엘(WSL2)을 활용한 개발 작업을 수행하지 않고 오직 고사양 3D 게임 플레이나 단독 가상 머신 가속만을 목적으로 컴퓨터를 사용한다면, 이 내장 플랫폼 기능들을 모두 꺼두는 것이 외부 에뮬레이터의 프레임 속도를 올리는 가장 확실한 방법입니다.

체크를 해제하고 확인 버튼을 누르면 윈도우가 시스템 파일 구성 요소를 변경하는 프로세스를 진행한 뒤 컴퓨터 재부팅을 요구합니다. 재부팅을 진행하면 시스템은 더 이상 부팅 단계에서 마이크로소프트 자체의 하이퍼바이저 레이어를 메모리에 상주시킬 이유가 없어지므로 메인보드 바이오스의 가상화 가속 제어권이 온전히 자유로운 상태로 개방됩니다. 이 정비가 완료된 후 평소 버벅이던 앱플레이어를 실행해 보면 가상화 엔진이 활성화되었다는 파란색 아이콘이나 메시지가 정상적으로 표기되며, 프레임이 수십 퍼센트 이상 수직 상승하고 끊김 현상이 완전히 소거된 놀라운 게이밍 환경을 경험할 수 있습니다.

5. 명령 프롬프트(BCDEdit)를 이용한 부팅 구성 하이퍼바이저 로드 플래그 강제 중지 명령

모든 설정을 마쳤음에도 불구하고 간혹 시스템의 아주 깊은 곳에 존재하는 부팅 로더 자체에 하이퍼바이저 상시 구동 플래그가 박혀 있어서 가상화 충돌이 해결되지 않는 난해한 예외 상황이 발생할 수 있습니다.

부팅 나침반 역할을 하는 BCD 파일 내부에 하이퍼바이저 자동 실행 명령이 고정되어 있으면, 윈도우의 어떤 기능 제어로도 이를 강제로 해제할 수 없기 때문에 완벽한 끄기가 불가능해집니다. 이럴 때는 우리가 이전에 시스템 복구 단계에서 배웠던 부팅 구성 데이터 편집(BCDEdit) 도구를 활용하여 부팅 매커니즘의 뼈대를 직접 수정해 주어야 합니다.

시작 단추를 마우스 우클릭하여 명령 프롬프트를 반드시 관리자 권한으로 실행합니다. 커널 부팅 설정을 수정하는 작업이므로 일반 권한에서는 명령어가 전혀 먹히지 않습니다. 시커먼 콘솔 화면이 열리면 현재 내 시스템의 부팅 구성 데이터 옵션 전체를 확인하기 위해 다음의 명령을 입력하고 엔터를 누릅니다.

bcdedit

화면에 길게 출력되는 부팅 로더 항목들 중에서 가장 하단 영역 부근에 존재하는 hypervisorlaunchtype이라는 옵션 명칭을 명확하게 찾아내야 합니다. 만약 이 옵션의 오른쪽에 적힌 데이터 값이 Auto 또는 으로 되어 있다면, 윈도우가 켜질 때 사용자의 의사와 상관없이 무조건 자체 하이퍼바이저 가상화 엔진을 구동하여 메모리를 선점하라는 뜻입니다. 이 완고한 부팅 명령을 완전히 정지시키기 위해 다음의 파라미터가 조합된 수정 명령어를 입력합니다.

bcdedit /set hypervisorlaunchtype off

이 명령어를 입력하고 엔터를 누르면 작업을 성공적으로 완료했다는 메시지가 출력됩니다. 이 명령의 논리 구조는 부팅 구성 데이터 세션 내부의 하이퍼바이저 실행 형태를 완벽한 오프(Off) 상태로 강제 전환하라는 의미입니다.

이렇게 하면 윈도우 코어 레벨에서 가상화 보안 관련 구성 요소가 활성화될 수 있는 마지막 불씨까지 원천적으로 소거하게 됩니다. 명령 적용이 끝난 후 시스템을 최종적으로 한 번 더 재부팅해 주면, 컴퓨터는 가상화 보안 장벽이 완전히 제거된 순수한 물리 하드웨어 상태로 구동을 시작하게 되며, 이로써 앱플레이어의 엔진 충돌이나 원인 모를 프레임 저하 현상을 기초부터 완벽하게 뿌리 뽑고 최고의 프로세서 연산 대역폭을 누릴 수 있게 됩니다.

3줄 요약

• 가상화 기반 보안(VBS) 기술은 커널 드라이버를 격리 검증하여 시스템을 보호하지만 고부하 작업 시 상당한 CPU 오버헤드와 프레임 저하를 유발함.
• 코어 격리 메뉴와 로컬 그룹 정책 편집기를 정비하고 레지스트리의 DeviceGuard 하이브 값을 수정하여 가상화 보안 엔진을 영구 봉쇄함.
• 기능 켜기/끄기 창에서 내장 가상화 플랫폼 기능들을 해제하고 bcdedit 명령어로 하이퍼바이저 부팅 플래그를 꺼서 에뮬레이터 자원 충돌을 원천 해결함.