Linuxの仮想化技術

QEMUQEMU仮想マシンのメモリ、起動環境、デバイスを用意するユーザー空間のプログラム。は、CPU、メモリ、デバイスをソフトウェアで再現し、OSに変更を加えずに動かせるマシンエミュレータとして開発されました。ゲストOSを仮想環境向けに書き換えずに動かす構成を完全仮想化完全仮想化ゲストOSを修正せずに動かせるよう、CPUやデバイスの環境を用意する方式。と呼びます。QEMUは異なる種類のCPUにも対応でき、実行を止めて状態を調べられる一方、仮想マシン内のOSやアプリの命令をホストCPU向けに変換する処理には時間がかかります。

2000年代半ば、IntelとAMDは、ゲストOSの命令を物理CPUで実行しながら、ホストへ制御を戻せる機能をx86 CPUへ加えました。QumranetのAvi Kivityらは、この機能をLinuxから使うためにKVMKVMLinuxをハイパーバイザとして使うための、カーネル内の仮想化サブシステム。を開発しました。

KVMとCPUの仮想化支援を使うと、多くの通常命令はQEMUによる命令変換を通らず、物理CPUで直接実行されます。命令変換に使うCPU時間が減るため、QEMUだけでCPUをエミュレーションする構成よりも、仮想マシン内のプログラムを速く実行できます。

KVMは、Linuxをハイパーバイザハイパーバイザ仮想マシンへCPUやメモリを割り当てる仕組み。として使うためのカーネル内の仮想化サブシステムです。仮想マシンと仮想CPUの状態、ゲストメモリの対応、仮想マシン内の命令実行、割り込みコントローラやタイマーの一部を管理します。仮想CPUはホスト上のスレッドとして動くため、Linuxのスケジューラが物理CPUへ割り当てます。

QEMUは、ゲストRAMに使うメモリを確保し、起動用ファームウェアと仮想デバイスを用意します。KVM APIを使う構成では、メモリをKVMへ登録し、仮想CPUの状態を設定して実行を開始します。現在もQEMUはKVMを使わずにCPUをエミュレーションでき、KVMもQEMU以外のユーザー空間プログラムから利用できます。

KVM APIでは、ユーザー空間のプログラムが/dev/kvmを開きます。KVM_CREATE_VMで仮想マシンを作り、KVM_SET_USER_MEMORY_REGIONでゲストが使うメモリを登録し、KVM_CREATE_VCPUで仮想CPUを作ります。仮想CPUを担当するスレッドがKVM_RUNを呼ぶと、KVMは設定済みのCPU状態から仮想マシン内のOSやアプリの命令を実行します。ユーザー空間で処理すべきVM exitが起きると、KVM_RUNから呼び出し元へ制御が返ります。

仮想マシンの中では、ゲストOSが自分専用のCPU、RAM、デバイスを使っているように動きます。実際のCPU、RAM、デバイスはホスト上のほかの処理と共有するため、ホストはゲストへ見せる状態と物理ハードウェアの状態を対応させます。

この対応には、仮想マシン内のOSやアプリの命令を物理CPUで実行する処理、ゲストOSが使うアドレスを物理RAM上の位置へ変換する処理、ゲストOSのI/O要求をホスト側へ渡す処理があります。以下の図では、それぞれに何が加わり、ハードウェア支援やvirtioがどの処理を減らすのかを順に示します。

ゲストがネットワークへ送信したり、仮想ディスクを読み書きしたりするときは、I/O要求を物理デバイスまで届けます。主な構成は、デバイスエミュレーションデバイスエミュレーションQEMUなどが、既存の物理デバイスと互換の動作を再現する方式。、virtioによる準仮想化I/O準仮想化ゲストOSが仮想環境向けのインターフェースを使う方式。、デバイスの直接割り当てです。既存デバイスとの互換性、ホスト側での共有と制御、処理経路の短さのどれを重視するかによって選びます。

ゲストOSが既存のデバイス用ドライバを使えるように、ホストがデバイスの動作を再現するのが完全仮想化のI/Oです。ゲストOSが仮想環境向けのドライバを使い、ホストと協調してI/Oを渡す方法を準仮想化I/O準仮想化ゲストOSが仮想環境向けのインターフェースを使う方式。と呼びます。

現在のKVM仮想マシンでは、CPUをVT-xやAMD-Vで仮想化し、I/Oにはvirtioを使う構成が広く使われています。仮想マシン全体を二者択一で分類するのではなく、CPUとI/Oで異なる仕組みを組み合わせています。

virtiovirtio仮想マシン向けに標準化されたI/Oデバイスの仕様。は、仮想マシン向けに標準化されたI/Oデバイスの仕様です。ゲストはvirtio用ドライバを使い、ホスト側のデバイス実装と対応機能を確認してから通信します。

virtqueuevirtqueuevirtioドライバとデバイス実装が、I/O要求と完了を受け渡すキュー。は、ゲスト側ドライバがI/Oに使うメモリ領域を登録し、ホスト側が処理済みの領域を返すためのキューです。virtio-netはネットワーク、virtio-blkはブロックデバイスというように、用途ごとのデバイス仕様が同じ基本構造を使います。

既存デバイスをエミュレーションする構成では、ゲストOSのドライバが行うレジスタ操作をホスト側で捕捉します。操作のたびにVM exitが起こる場合があり、デバイスモデルが状態を更新している間は、その仮想CPUで仮想マシン内のOSやアプリを動かせません。virtioは、複数のI/O要求をメモリ上のqueueへ記述し、まとめて通知できる形式を定めています。これにより、デバイス固有のレジスタ操作と、それに伴う切り替えを減らせます。

ネットワークやストレージへ多数の要求が届く構成では、要求を渡す形式だけでなく、ホスト側で何本の処理を同時に進められるかも性能に影響します。virtio-netとvirtio-blkは複数のvirtqueueを使うmultiqueueに対応しています。

ホストでは、QEMUのスレッドが一つの仮想CPUを担当します。このスレッドがデバイス処理まで行う構成では、VM exitから処理が終わるまで、その仮想CPUで仮想マシン内のOSやアプリを動かせません。

IOThreadIOThreadQEMUで、I/Oのevent loopをmain loopとは別に動かすスレッド。は、QEMUでI/Oを処理するevent loop用のスレッドです。I/O要求をIOThreadへ渡せる構成では、仮想CPUを担当するスレッドが先に仮想マシン内の命令実行を再開し、デバイス処理を別のホストCPUで進められます。vhostを使う構成では、virtioのデータ処理をホストカーネル側へ移せます。

ここまでは、QEMUが再現するデバイスやvirtioを通して、ゲストOSのI/O要求をホスト側へ渡す構成を見てきました。

一方、ホストに接続されたネットワークカードやGPUそのものを仮想マシンへ割り当て、ゲストOSのドライバから使う構成もあります。この構成では、デバイスの操作を仮想マシンへ渡すだけでなく、デバイスがアクセスできるRAMも仮想マシンごとに制限する必要があります。

ここでは、ネットワークカード（Network Interface Controller、NIC）、NVMe（Non-Volatile Memory Express）対応SSD、GPU（Graphics Processing Unit）を例にします。これらのデバイスは、大量のデータを転送するたびにCPUへコピーさせるのではなく、デバイス自身でRAMを読み書きできます。この機能をDirect Memory Access（DMA）DMAデバイスがCPUを介さず、RAMへ直接データを転送する機能。と呼びます。DMAはCPUの処理を減らせますが、デバイスへ物理RAM全体の読み書きを許すと、ホストや別の仮想マシンのメモリまでアクセスできてしまいます。

CPUは、Memory Management Unit（MMU）MMUCPUが仮想アドレスを物理アドレスへ変換するための回路。を使って、プログラムが指定した仮想アドレスを物理RAM上の位置へ変換します。デバイスのDMAにも同様の変換と保護を加えるハードウェアが、Input-Output Memory Management Unit（IOMMU）IOMMUデバイスのDMAアドレスを変換し、アクセスできるRAMの範囲を制限するハードウェア。です。IOMMUは、デバイスが使うI/O仮想アドレスを変換し、デバイスごとに読み書きできるRAMの範囲を制限します。

Linuxは、PCI Expressデバイスの機能を、個別に設定できるPCI Functionとして認識します。ホスト上のPCI Functionを仮想マシンへ直接割り当てる構成をPCIパススルーPCIパススルーホストのPCIデバイスまたはPCI Functionを、仮想マシンへ直接割り当てる構成。と呼びます。Virtual Function I/O（VFIO）VFIOIOMMUで保護したデバイスを、ユーザー空間から安全に扱うためのLinuxカーネルの枠組み。は、IOMMUで保護したデバイスのレジスタ、割り込み、DMAを、QEMUなどのユーザー空間プログラムから扱うためのLinuxカーネルの枠組みです。

Single Root I/O Virtualization（SR-IOV）SR-IOV一つのPCI Expressデバイスを、複数の独立した機能として見せるハードウェアの機能。は、一つのPCI Expressデバイスを、管理を担うPhysical Function（PF）と、割り当て可能な複数のVirtual Function（VF）として見せるハードウェアの機能です。VFは独立したPCI Functionとして見えるため、VFIOを使って仮想マシンへパススルーできます。