@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった
はじめに
QEMUはオープンソースのプロセッサエミュレータです。対応するプロセッサは、x86だけでなく、ARMやRISCVも対応しています。
www.qemu.org
Google君に "QEMU RISCV"で聞くと、RISCVのQEMUで Fedora 動かしました、とか、QEMU上でRISCVのLinuxを動かすのがほとんどでした。
今回は、動かすことよりも、いつものようにRISCVの部分のソースコードの中身を眺めて、どんな感じになっているを探っていきます。
QEMUのRISCVのドキュメント
まずは、QEMUのサイトにあるRISCVのドキュメントを眺めてみました。
QEMUのビルド
github.com の QEMU のページを clone してから、
RISCVの64ビットなら
./configure --target-list=riscv64-softmmu && make
を実行すると、qemu-system-riscv64 ができます。
RISCVの32ビットなら
./configure --target-list=riscv32-softmmu && make
を実行すると、qemu-system-riscv64 ができます。
一応、64ビットと32ビットは別物です。
64ビット Fedora を使ってブートする
Fedoraをブートするのが目的ではなく、qemu-system-risc64 コマンドの引数を確認するためです。
qemu-system-riscv64 \ -nographic \ -machine virt \ -smp 4 \ -m 2G \ -kernel Fedora-Minimal-Rawhide-*-fw_payload-uboot-qemu-virt-smode.elf \ -bios none \ -object rng-random,filename=/dev/urandom,id=rng0 \ -device virtio-rng-device,rng=rng0 \ -device virtio-blk-device,drive=hd0 \ -drive file=Fedora-Minimal-Rawhide-20200108.n.0-sda.raw,format=raw,id=hd0 \ -device virtio-net-device,netdev=usernet \ -netdev user,id=usernet,hostfwd=tcp::10000-:22
各オプションについて簡単に説明します。
- nographic : テキストのコンソールだけを使って、グラフィックスを使わない
- machine virt : Fedoraを動作させるマシンのタイプをしていする。ここでは、virt というマシンを使う
- smp 4 : CPUコア数をしていする。ここでは、4 個使う
- m 2G : システムメモリのサイズを指定する。2G なので、2Gバイト
- kernel Fedora-Minimal-Rawhide-*-fw_payload-uboot-qemu-virt-smode.elf : 実行するカーネル (プログラム)を指定する。
- bios none : BIOS を指定する。ここでは、BIOS は無いものとする
- object rng-random,filename=/dev/urandom,id=rng0 : rng-random(ランダム生成)のオブジェクトを指定する
- device virtio-rng-device,rng=rng0 : virtio-rng-device (仮想ランダム生成デバイス)を指定する。ここでは、上で設定した rng0 を指定する
- device virtio-blk-device,drive=hd0 : virtio-blk-device (仮想ブロックデバイス)を指定する。ここでは、hd0 を指定する
- drive file=Fedora-Minimal-Rawhide-20200108.n.0-sda.raw,format=raw,id=hd0 : ドライブを指定する。file= にはファイル名、format= にはファイルのフォーマット、id= に識別子(hd0)を指定する。この識別子で指定した hd0 が 上の virtio-blk-device で指定した hd0 になる
- device virtio-net-device,netdev=usernet : vrtio-net-device (仮想ネットワークデバイス)を指定する。ここでは usernet を指定する
- netdev user,id=usernet,hostfwd=tcp::10000-:22 : ネットワークデバイスを指定する。user とし、id=usernet で識別する。ここで指定した usernet は virtio-net-device の netdevで指定した usernet になる。hostfwd= にして使用するネットワークのポート番号(tcp:10000-:22) を指定する
- machine オプションで指定するのがプログラムが動くハードウェア構成、簡単に言うとボード(基板)のことです。ここでは、virt が使われることになります。次にこの virt の中身を見ていきます。
RISC-V System emulatorについてのドキュメントに、RISC-Vでの -machine (-M) についての説明もあります。
virt の中身を見てみる
QEMU(qemu-system-risc64)起動時のオプション -machine オプションで指定した virt はソースコードのどこのどのファイルで定義されているのでしょうか？
hw/risc の下の virt.c で、次のようになっています。
static const TypeInfo virt_machine_typeinfo = { .name = MACHINE_TYPE_NAME("virt"), .parent = TYPE_MACHINE, .class_init = virt_machine_class_init, .instance_init = virt_machine_instance_init, .instance_size = sizeof(RISCVVirtState), };
Typeinfo 構造体 の name に MACHINE_TYPE_NAME("virt") で指定しています。これが、-machine オプション で指定できるものです。この定義の後に、次のようなコードがあり、qemu-system-riscv64 を実行した最初に virt が -machine オプションとして使用できるようになっています。
static void virt_machine_init_register_types(void) { type_register_static(&virt_machine_typeinfo); } type_init(virt_machine_init_register_types)
指定された virt に対して最初に実行されるのは、class_init に指定された 下記の virt_machine_class_init 関数です。その後に、instance_int に指定された virt_machine_instance_init 関数が実行されます。
virt_machine_class_init 関数では、MachineClass変数にいろいろと設定しています。virt_machine_instance_init 関数は何もやっていません。
static void virt_machine_instance_init(Object *obj) { } static void virt_machine_class_init(ObjectClass *oc, void *data) { MachineClass *mc = MACHINE_CLASS(oc); mc->desc = "RISC-V VirtIO board"; mc->init = virt_machine_init; mc->max_cpus = VIRT_CPUS_MAX; mc->default_cpu_type = TYPE_RISCV_CPU_BASE; mc->pci_allow_0_address = true; mc->possible_cpu_arch_ids = riscv_numa_possible_cpu_arch_ids; mc->cpu_index_to_instance_props = riscv_numa_cpu_index_to_props; mc->get_default_cpu_node_id = riscv_numa_get_default_cpu_node_id; mc->numa_mem_supported = true; }
次に、mc->init に指定された関数 (virt_machine_init) が実行されます。この virt_machine_init 関数では仮想的なボードを構築していきます。
最初の部分でいろいろなメモリ領域を割り当てています。後で使う start_addr には DRAMの先頭アドレス(memmap[VIRT_DRAM].base (0x80000000))を設定しています。
その後のVIRT_SOCKETS_MAX の if 文では、QEMU起動時に指定したソケット数(チップ数、デフォルトでは 1 だと思います)のチェックをしています。
static void virt_machine_init(MachineState *machine) { const MemMapEntry *memmap = virt_memmap; RISCVVirtState *s = RISCV_VIRT_MACHINE(machine); MemoryRegion *system_memory = get_system_memory(); MemoryRegion *main_mem = g_new(MemoryRegion, 1); MemoryRegion *mask_rom = g_new(MemoryRegion, 1); char *plic_hart_config, *soc_name; size_t plic_hart_config_len; target_ulong start_addr = memmap[VIRT_DRAM].base; target_ulong firmware_end_addr, kernel_start_addr; uint32_t fdt_load_addr; uint64_t kernel_entry; DeviceState *mmio_plic, *virtio_plic, *pcie_plic; int i, j, base_hartid, hart_count; /* Check socket count limit */ if (VIRT_SOCKETS_MAX < riscv_socket_count(machine)) { error_report("number of sockets/nodes should be less than %d", VIRT_SOCKETS_MAX); exit(1); }
次の for 文で各ソケットに対する初期化を行っています。結構長いです。この部分では割り込み関連の設定をしています。コメントで説明を追加します。
/* Initialize sockets */ mmio_plic = virtio_plic = pcie_plic = NULL; for (i = 0; i < riscv_socket_count(machine); i++) { if (!riscv_socket_check_hartids(machine, i)) { error_report("discontinuous hartids in socket%d", i); exit(1); } base_hartid = riscv_socket_first_hartid(machine, i); if (base_hartid < 0) { error_report("can't find hartid base for socket%d", i); exit(1); } hart_count = riscv_socket_hart_count(machine, i); if (hart_count < 0) { error_report("can't find hart count for socket%d", i); exit(1); } soc_name = g_strdup_printf("soc%d", i); // soc%d の %d に ソケットの番号が入り、名前になります。 object_initialize_child(OBJECT(machine), soc_name, &s->soc[i], TYPE_RISCV_HART_ARRAY); g_free(soc_name); object_property_set_str(OBJECT(&s->soc[i]), "cpu-type", machine->cpu_type, &error_abort); object_property_set_int(OBJECT(&s->soc[i]), "hartid-base", base_hartid, &error_abort); object_property_set_int(OBJECT(&s->soc[i]), "num-harts", hart_count, &error_abort); sysbus_realize(SYS_BUS_DEVICE(&s->soc[i]), &error_abort); /* Per-socket CLINT */ // 割り込みコントローラの設定。SiFive の割り込みコントローラを使っています。 sifive_clint_create( memmap[VIRT_CLINT].base + i * memmap[VIRT_CLINT].size, memmap[VIRT_CLINT].size, base_hartid, hart_count, SIFIVE_SIP_BASE, SIFIVE_TIMECMP_BASE, SIFIVE_TIME_BASE, SIFIVE_CLINT_TIMEBASE_FREQ, true); /* Per-socket PLIC hart topology configuration string */ plic_hart_config_len = (strlen(VIRT_PLIC_HART_CONFIG) + 1) * hart_count; plic_hart_config = g_malloc0(plic_hart_config_len); for (j = 0; j < hart_count; j++) { if (j != 0) { strncat(plic_hart_config, ",", plic_hart_config_len); } strncat(plic_hart_config, VIRT_PLIC_HART_CONFIG, plic_hart_config_len); plic_hart_config_len -= (strlen(VIRT_PLIC_HART_CONFIG) + 1); } /* Per-socket PLIC */ // PLIC : [https://qiita.com/tkato/items/80abce474f329676acb3:title=Platform-Level Interrupt Controller] の設定 s->plic[i] = sifive_plic_create( memmap[VIRT_PLIC].base + i * memmap[VIRT_PLIC].size, plic_hart_config, base_hartid, VIRT_PLIC_NUM_SOURCES, VIRT_PLIC_NUM_PRIORITIES, VIRT_PLIC_PRIORITY_BASE, VIRT_PLIC_PENDING_BASE, VIRT_PLIC_ENABLE_BASE, VIRT_PLIC_ENABLE_STRIDE, VIRT_PLIC_CONTEXT_BASE, VIRT_PLIC_CONTEXT_STRIDE, memmap[VIRT_PLIC].size); g_free(plic_hart_config); /* Try to use different PLIC instance based device type */ if (i == 0) { mmio_plic = s->plic[i]; virtio_plic = s->plic[i]; pcie_plic = s->plic[i]; } if (i == 1) { virtio_plic = s->plic[i]; pcie_plic = s->plic[i]; } if (i == 2) { pcie_plic = s->plic[i]; } }
次はメモリ関連の設定を行っています。PCIEメモリに関しては、32bit かどうかで if文で分岐しています。その後に riscv_virt_board.ram がメインメモリになり、memmap[VIRT_DRAM].base (0x80000000) がメインメモリの開始アドレスになります。
if (riscv_is_32bit(&s->soc[0])) { #if HOST_LONG_BITS == 64 /* limit RAM size in a 32-bit system */ if (machine->ram_size > 10 * GiB) { machine->ram_size = 10 * GiB; error_report("Limiting RAM size to 10 GiB"); } #endif virt_high_pcie_memmap.base = VIRT32_HIGH_PCIE_MMIO_BASE; virt_high_pcie_memmap.size = VIRT32_HIGH_PCIE_MMIO_SIZE; } else { virt_high_pcie_memmap.size = VIRT64_HIGH_PCIE_MMIO_SIZE; virt_high_pcie_memmap.base = memmap[VIRT_DRAM].base + machine->ram_size; virt_high_pcie_memmap.base = ROUND_UP(virt_high_pcie_memmap.base, virt_high_pcie_memmap.size); } /* register system main memory (actual RAM) */ memory_region_init_ram(main_mem, NULL, "riscv_virt_board.ram", machine->ram_size, &error_fatal); memory_region_add_subregion(system_memory, memmap[VIRT_DRAM].base, main_mem);
次は Device Tree と Kernel 関連です。最初に、create_fdt 関数(この関数は後で詳しく見ていきます)でデバイスドライバを作ります。QEMU起動時のオプションで指定した -m オプションのメモリサイズは machine->ram_size に設定されています。machine->kernel_cmdline は Linux (Kernel) の コマンドラインを指定した時の値になります。
BOOT Rom を mask_rom (riscv_virt_board.mrom) に設定します。先頭アドレスはVIRT_MROM(0x1000), サイズ(0xf000) になります。
その後に、Firmware (32ビットの場合は、opensbi-riscv32-generic-fw_dynamic.bin を、64ビットの場合は、opensbi-riscv64-generic-fw_dynamic.bin )を start_addr (DRAMの先頭アドレス:0x80000000)に設定し、firmware_end_addr までの領域が firmware が使用するメモリ領域なります)。
machine->kernel_filename が設定されていたら、firmware_end_addr から kernel_start_addr を計算しなおして、ここにカーネルを設定します。machine->initrd_filenameが設定されたら、initrd の設定をします。
drive_get関数の戻り値)Pflashがある場合)によって、start_addr をDRAMからFLASHの先頭アドレス(virt_memmap[VIRT_FLASH].base = 0x20000000)変更しています。
そして、DRAMにロードする fdt (Device Treeのデータ)をロードするアドレスを再計算して、fdt_load_addr に設定します。
/* create device tree */ create_fdt(s, memmap, machine->ram_size, machine->kernel_cmdline, riscv_is_32bit(&s->soc[0])); /* boot rom */ memory_region_init_rom(mask_rom, NULL, "riscv_virt_board.mrom", memmap[VIRT_MROM].size, &error_fatal); memory_region_add_subregion(system_memory, memmap[VIRT_MROM].base, mask_rom); if (riscv_is_32bit(&s->soc[0])) { firmware_end_addr = riscv_find_and_load_firmware(machine, "opensbi-riscv32-generic-fw_dynamic.bin", start_addr, NULL); } else { firmware_end_addr = riscv_find_and_load_firmware(machine, "opensbi-riscv64-generic-fw_dynamic.bin", start_addr, NULL); } if (machine->kernel_filename) { kernel_start_addr = riscv_calc_kernel_start_addr(&s->soc[0], firmware_end_addr); kernel_entry = riscv_load_kernel(machine->kernel_filename, kernel_start_addr, NULL); if (machine->initrd_filename) { hwaddr start; hwaddr end = riscv_load_initrd(machine->initrd_filename, machine->ram_size, kernel_entry, &start); qemu_fdt_setprop_cell(s->fdt, "/chosen", "linux,initrd-start", start); qemu_fdt_setprop_cell(s->fdt, "/chosen", "linux,initrd-end", end); } } else { /* * If dynamic firmware is used, it doesn't know where is the next mode * if kernel argument is not set. */ kernel_entry = 0; } if (drive_get(IF_PFLASH, 0, 0)) { /* * Pflash was supplied, let's overwrite the address we jump to after * reset to the base of the flash. */ start_addr = virt_memmap[VIRT_FLASH].base; } /* Compute the fdt load address in dram */ fdt_load_addr = riscv_load_fdt(memmap[VIRT_DRAM].base, machine->ram_size, s->fdt);
リセットがかかったときの設定を riscv_setup_room_reset_vec 関数によって、virt_memmap[VIRT_MROM.base]= 0x1000)に設定しています。
/* load the reset vector */ riscv_setup_rom_reset_vec(machine, &s->soc[0], start_addr, virt_memmap[VIRT_MROM].base, virt_memmap[VIRT_MROM].size, kernel_entry, fdt_load_addr, s->fdt);
次のIOの設定を行っています。
- VIRT_TEST
- VIRT_VIRTIO
- VIRT_PCIE_ECAM
- VIRT_PCIE_MMIO
- VIRT_UART0
- VIRT_RTC
- PFlash
VIRT_VIRTIO では、割り込みの設定も行っています (VIRTIO_IRQ + i)
/* SiFive Test MMIO device */ sifive_test_create(memmap[VIRT_TEST].base); /* VirtIO MMIO devices */ for (i = 0; i < VIRTIO_COUNT; i++) { sysbus_create_simple("virtio-mmio", memmap[VIRT_VIRTIO].base + i * memmap[VIRT_VIRTIO].size, qdev_get_gpio_in(DEVICE(virtio_plic), VIRTIO_IRQ + i)); } gpex_pcie_init(system_memory, memmap[VIRT_PCIE_ECAM].base, memmap[VIRT_PCIE_ECAM].size, memmap[VIRT_PCIE_MMIO].base, memmap[VIRT_PCIE_MMIO].size, virt_high_pcie_memmap.base, virt_high_pcie_memmap.size, memmap[VIRT_PCIE_PIO].base, DEVICE(pcie_plic)); serial_mm_init(system_memory, memmap[VIRT_UART0].base, 0, qdev_get_gpio_in(DEVICE(mmio_plic), UART0_IRQ), 399193, serial_hd(0), DEVICE_LITTLE_ENDIAN); sysbus_create_simple("goldfish_rtc", memmap[VIRT_RTC].base, qdev_get_gpio_in(DEVICE(mmio_plic), RTC_IRQ)); virt_flash_create(s); for (i = 0; i < ARRAY_SIZE(s->flash); i++) { /* Map legacy -drive if=pflash to machine properties */ pflash_cfi01_legacy_drive(s->flash[i], drive_get(IF_PFLASH, 0, i)); } virt_flash_map(s, system_memory); }
create_fdt 関数
create_fdt 関数は、Device tree を作る関数です。Linuxを起動するときは、Kernel ファイルだけでなく、コンパイルしたDevice treeのファイル (テキストフォーマットの dts ファイルを dtc コマンドにてコンパイルして、dtb ファイルに変換したもの)を指定します。RISCVの virt ではファイルが指定された場合はそのファイルから Device tree を取り込みますが、ファイルが指定されなかった場合はコンパイルした Device tree をこの create_fdt 関数で作っています。
ファイルを指定した場合、load_device_tree 関数でファイルを読み込み、成功したら、goto update_bootargs で create_fdt 関数のほぼ最後にジャンプします。ファイルを指定しない場合は、create_devie_tree 関数で Device tree の大本を作って、その後に地道に virt 用の Device tree を作ることになります。
if (mc->dtb) { fdt = s->fdt = load_device_tree(mc->dtb, &s->fdt_size); if (!fdt) { error_report("load_device_tree() failed"); exit(1); } goto update_bootargs; } else { fdt = s->fdt = create_device_tree(&s->fdt_size); if (!fdt) { error_report("create_device_tree() failed"); exit(1); } }
最後に、cmdline )machine->kernel_cmdline) が指定された場合は、"/chosen" を設定しています。
update_bootargs: if (cmdline) { qemu_fdt_setprop_string(fdt, "/chosen", "bootargs", cmdline); } }
virt 以外の machine はどんなものがあるのか？
ここ に あります。
- microchip_pfsoc : Microchip の PolarFire SoC
- opentitan : Google の opentitan
- sifive_e/u : Sifive
- spike : RISC-V ISA Simulator
spike は、virt と同じような構成でしたが、実機がある microchip_pfsoc, opentitan, sifive_e/u に関しては違う構成でした。
下記は、opentitan.c の TypeInfo の部分ですが、class_init 関数に指定した lowrisc_ibex_soc_class_init 関数は下記のようになっています。opentitan.c, sifive_e.c, sifive_u.c でも同じようです。 instance_init 関数に指定した lowrisc_ibex_soc_init 関数でいろいろやっているみたいです。
static void lowrisc_ibex_soc_class_init(ObjectClass *oc, void *data) { DeviceClass *dc = DEVICE_CLASS(oc); dc->realize = lowrisc_ibex_soc_realize; /* Reason: Uses serial_hds in realize function, thus can't be used twice */ dc->user_creatable = false; } static const TypeInfo lowrisc_ibex_soc_type_info = { .name = TYPE_RISCV_IBEX_SOC, .parent = TYPE_DEVICE, .instance_size = sizeof(LowRISCIbexSoCState), .instance_init = lowrisc_ibex_soc_init, .class_init = lowrisc_ibex_soc_class_init, };
どうやら、QOM (The QEMU Object Model) について、学ばないといけないようです。
QOM (The QEMU Object Model) とは、
ここ にドキュメントがありました。英語を読むのが面倒なので、Google翻訳にお任せしました。
クラスの初期化 オブジェクトを初期化する前に、オブジェクトのクラスを初期化する必要があります。遅延して作成されるすべてのインスタンスオブジェクトに対して、クラスオブジェクトは1つだけです。 クラスは、最初に親クラスを初期化することによって初期化されます（必要な場合）。親クラスオブジェクトが初期化されると、それは現在のクラスオブジェクトにコピーされ、クラスオブジェクト内の追加のストレージはゼロで埋められます。 この効果により、クラスは、親クラスがすでに初期化した仮想関数ポインターを自動的に継承します。他のすべてのフィールドはゼロで埋められます。 すべての親クラスが初期化されると、＃TypeInfo :: class_initが呼び出され、インスタンス化されるクラスが仮想関数のデフォルトの初期化を提供できるようになります。上記の例を変更して、オーバーライドされた仮想関数を導入する方法を次に示します。 新しい仮想メソッドを導入するには、クラスが独自の構造体を定義し、.class_sizeメンバーを#TypeInfoに追加する必要があります。各メソッドには、簡単に呼び出すためのラッパー関数もあります。
よくわからないです。。。
終わりに
今回は、RISCVのQEMUのソースコードを眺めてみました。
QEMUは実機としてのハードウェアが無くても、Linuxなどのプログラムが動かせるとっても便利なソフトウエアです。
QEMUを使ってプログラムを動かすだけでなく、今回見てきた部分を変えることで新しいハードウェアにも対応できます。半導体開発はとっても時間とお金がかかりますが、QEMUを使うことで時間もそんなにかからないし、お金もほとんどかからないで新しいハードウェアができてしまいます。
おまけに、下記のツイートに書いたように、XilinxのQEMUを使うと、SystemC + Verilator にて Verilog HDL で書いたハードウェアも利用することができますよ。
XilinxのQEMU環境、面白い。
— Vengineer＠ (@Vengineer) 2021年3月5日
Zynq/ZynqMP/VersalのARMコアをQEMU上で動かして、
SystemC側のモデルと通信できる。
Verilatorを使うと、SystemC <=> Verilog HDL(SystemVerilog)ができるので、RTLも使える。
これは素晴らしい。。。
Edgar E. Iglesias さん、一人でやっているhttps://t.co/aofhE4Xrda
おしまい。
