budshome (blog: 芽之家) shared the aphorism --
为何天意总让年轻人承载悲痛?我不知道。但我想年龄会加深所有的情感,包括悲痛。 -- 电影《利刃出鞘》

[Rust] RustyHermit——基于 Rust 实现的下一代容器 Unikernel

💥 内容涉及著作权,均归属作者本人。若非作者注明,默认欢迎转载:请注明出处,及相关链接。

Summary: RustyHermit,基于 Rust 实现的下一代容器 Unikernel,和 Linux 主机系统相比,性能表现差别极小。由于映像直接包含 OS 内核,unikernel 可以直接在虚拟机中引导运行,并且不需要在 VM 中包含 Linux 内核,也不需要包含用户区的典型软件堆栈。unikernel 不提供传统意义上的系统调用,因为所有操作都是以内核的特殊级别运行的。通常,unikernel 中,通过系统调用完成的操作,是通过公共函数调用提供的。这些内核是在虚拟机中运行,这将应用程序与实际系统隔离开来。此外,利用通用编译器分析方法检查软件栈的完整性,甚至可以删除不需要的组件,减少应用程序的占用。

Topics: rust 虚拟化 unikernel rustyhermit linux virtualization

本文主要摘选自 stlankes 发表于 2021 年 3 月的文章 The RustyHermit Unikernel

RustyHermit,是一个 Unikernel 应用,它完全是由 Rust 开发的。Unikernel 是直接将内核作为库方式包含的应用程序映像,因此不需要安装操作系统(OS)。它们通常用于构建典型云应用,或者基础设施建设的核心虚拟化环境。

这篇文章是我们 Showcase 系列的一部分,在这里,我们展示了 Rust 操作系统生态系统中有趣的项目。如果您愿意,可以通过创建 PR 来添加您自己的项目。

虚拟化的设计体系

常见的虚拟化环境,是基于经典虚拟机的。在这种情况下,将模拟或虚拟化完整的机器,并在主机和来客户机上运行通用操作系统:

虚拟化环境设计

这项技术已经在 VMware、Hyper-V 等虚拟产品中得到了广泛应用。然而,它引入了额外的开销,特别是在内存消耗和性能方面。

通用虚拟机的另一种设计方法是:从操作系统级别虚拟化,其内核,允许存在多个独立的用户空间实例。这些孤立实例即称为容器。一个典型的代表是 LXC 或 Docker,与普通虚拟机相比,它的开销更小。但是,进程之间的隔离性较弱,可能提供的安全性较差。

Unikernel

通常只有一个应用程序,如 web 服务器,在容器或虚拟机中运行。在这种情况下,单核是一个很有吸引力的解决方案。内核作为静态库,提供并链接到应用程序。由于映像直接包含 OS 内核,unikernel 可以直接在虚拟机中引导运行,并且不需要在 VM 中包含 Linux 内核,也不需要包含用户区的典型软件堆栈。

unikernel 不提供传统意义上的系统调用,因为所有操作都是以内核的特殊级别运行的。通常,unikernel 中,通过系统调用完成的操作,是通过公共函数调用提供的。乍一看,这听起来比以前的方法更不安全。但是,这些内核是在虚拟机中运行,这将应用程序与实际系统隔离开来。此外,利用通用编译器分析方法检查软件栈的完整性,甚至可以删除不需要的组件,减少应用程序的占用。

unikernel

比较流行的 unikernel,是诸如 MirageOSUnikraft 这样的内核。其中 MirageOS 是用 OCaml 语言开发的,而 Unikraft 仍然是使用经典的 C 语言。与这些内核不同,RustyHermit 完全用 Rust 编写,以受益 Rust 的高性能和安全性。

RustyHermit

原则上,每个现有的 Rust 应用,都可以构建于 RustyHermit 之上。然而,unikernel 是一个单任务操作系统。因此,缺少对系统调用 fork,以及进程间通信的支持。此外,还缺少一个经典的 C 语言库,它通常用作操作系统的接口。目前,那些绕过标准运行时,并试图直接与操作系统通信的 Rust crate,需要做对应修改。然而,绝大部分应用程序并不依赖于这些特性,所以可在 RustyHermit 上正常运行。

性能

单核,意味着可以高度优化。例如,我们优化了 RustyHermit 的网络堆栈。RustyHermit 使用 smolcp 作为网络堆栈,smolcp 完全是用 Rust 编写的。作为客户机和主机操作系统之间的接口,我们使用 Virtio,Virtio 包含在 KVM 的准虚拟化驱动程序之中,被广泛用于虚拟化 Linux 环境。

下图比较了 Linux 和 RustyHermit 的性能,两者都作为 guest 用户,在基于 Linux 主机系统上的虚拟机中运行:

rustyhermit 性能

实例项目

注:如果要测试实例,请注意下述各自配置文件和配置细节。

为了完整演示一个构建 RustyHermit 应用的示例,让我们创建一个新的 cargo(中文文档)项目:

cargo new hello_world
cd hello_world

RustyHermit 目前需要 Rust 工具链的 nightly 版本。为了简化工作流程,我们建议按如下方式创建和配置工具链,以定义所需的组件,并测试 nightly 编译器的版本:

Rust 工具链的安装和配置,以及国内镜像,请参与参考文档:Rust 环境配置(Linux、macOS、Windows)配置 Rust 工具链的国内源

[toolchain]
channel = "nightly-2020-12-23"
components = [ "rustfmt", "rust-src", "llvm-tools-preview"]
targets = [ "x86_64-unknown-hermit" ]

配置文件指定所需的组件,以及要使用的 nightly 编译器的版本。

RustyHermit 的构建目标是 target x86_64-unknown-hermit,其是 Rust 支持平台的一部分,但是不属于第 1 层平台,所以我们需要做编译配置。在 .cargo/config 中配置:

[unstable]
build-std = ["std", "core", "alloc", "panic_abort"]

[build]
target = "x86_64-unknown-hermit"

为了将操作系统库绑定到应用程序,我们必须将 crate hermit-sys 添加到文件中的依赖项中。在 Cargo.toml 中配置:

# Cargo.toml

[target.'cfg(target_os = "hermit")'.dependencies]
hermit-sys = "0.1.*"
features = ["smoltcp"]

如果您的应用程序需要建立 TCP 连接,则需要 smoltcp crate。

此实例结果,是一个 64 位的可执行链接格式(ELF)。要在公共的虚拟机中启动此应用程序,需要一个加载程序,它初始化处理器,并启动应用程序。我们在 GitHub 上提供了一个简单的加载程序。注意 makefile,用于构建加载程序,是项目的一部分。之后,在 VM 中,Qemu 可用于启动 RustyHermit,如下所示:

qemu-system-x86_64 -display none -smp 1 -m 64M -serial stdio  -kernel path_to_loader/rusty-loader -initrd path_to_app/app -cpu qemu64,apic,fsgsbase,rdtscp,xsave,fxsr

为了提高性能,可以使用 KVM 进行处理器的虚拟化扩展。

路线图

将来,RustyHermit 计划稳定与硬件的接口。例如,Virtio-fs 的支持。此外,与 Rust 标准库的集成还没有最终确定……

此项目还是起步阶段,目前 github 星星数 240 左右。

谢谢您的阅读!


Rust 生态与实践

Related Articles

  1. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 WebAssembly 博客应用的体验报告
  2. [Rust] Rust 官方周报 399 期(2021-07-14)
  3. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 web 前端(5)- 构建 HTTP 请求、与外部服务器通信的两种方法
  4. [Rust] Rust 官方周报 398 期(2021-07-07)
  5. [Rust] Rust 官方周报 397 期(2021-06-30)
  6. [Rust] Rust 官方周报 396 期(2021-06-23)
  7. [Rust] Rust 官方周报 395 期(2021-06-16)
  8. [Rust] Rust 1.53.0 明日发布,关键新特性一瞥
  9. [Rust] 使用 tide、handlebars、rhai、graphql 开发 Rust web 前端(3)- rhai 脚本、静态/资源文件、环境变量等
  10. [Rust] 使用 tide、handlebars、rhai、graphql 开发 Rust web 前端(2)- 获取并解析 GraphQL 数据
  11. [Rust] 使用 tide、handlebars、rhai、graphql 开发 Rust web 前端(1)- crate 选择及环境搭建
  12. [Rust] Rust 官方周报 394 期(2021-06-09)
  13. [Rust] Rust web 前端库/框架评测,以及和 js 前端库/框架的比较
  14. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 web 前端(4)- 获取 GraphQL 数据并解析
  15. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 web 前端(3)- 资源文件及小重构
  16. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 WebAssembly 标准的 web 前端(2)- 组件和路由
  17. [WebAssembly] Rust 和 Wasm 的融合,使用 yew 构建 WebAssembly 标准的 web 前端(1)- 起步及 crate 选择
  18. [Rust] Rust 官方周报 393 期(2021-06-02)
  19. [Rust] Rust 官方周报 392 期(2021-05-26)
  20. [Rust] Rust 中,对网址进行异步快照,并添加水印效果的实践
  21. [Rust] Rust 官方周报 391 期(2021-05-19)
  22. [Rust] Rust,风雨六载,砥砺奋进
  23. [Rust] 为什么我们应当将 Rust 用于嵌入式开发?
  24. [Rust] Rust 官方周报 390 期(2021-05-12)
  25. [Rust] Rust + Android 的集成开发设计
  26. [Rust] Rust 1.52.1 已正式发布,及其新特性详述
  27. [Rust] 让我们用 Rust 重写那些伟大的软件吧
  28. [Rust] Rust 1.52.0 已正式发布,及其新特性详述
  29. [Rust] Rust 官方周报 389 期(2021-05-05)
  30. [GraphQL] 基于 actix-web + async-graphql + rbatis + postgresql / mysql 构建异步 Rust GraphQL 服务(4) - 变更服务,以及小重构
  31. [Rust] Rust 1.52.0 稳定版预发布测试中,关键新特性一瞥
  32. [Rust] Rust 生态中,最不知名的贡献者和轶事
  33. [Rust] Rust 基金会迎来新的白金会员:Facebook
  34. [Rust] Rustup 1.24.1 已官宣发布,及其新特性详述
  35. [Rust] Rust 官方周报 388 期(2021-04-28)
  36. [Rust] Rust 官方周报 387 期(2021-04-21)
  37. [GraphQL] 构建 Rust 异步 GraphQL 服务:基于 tide + async-graphql + mongodb(4)- 变更服务,以及第二次重构
  38. [Rust] Rustup 1.24.0 已官宣发布,及其新特性详述
  39. [Rust] basedrop:Rust 生态中,适用于实时音频的垃圾收集器
  40. [Rust] Rust 编译器团队对成员 Aaron Hill 的祝贺
  41. [Rust] Jacob Hoffman-Andrews 加入 Rustdoc 团队
  42. [机器人] 为什么应将 Rust 引入机器人平台?以及机器人平台的 Rust 资源推荐
  43. [Rust] rust-lang.org、crates.io,以及 docs.rs 的管理,已由 Mozilla 转移到 Rust 基金会
  44. [Rust] Rust 官方周报 386 期(2021-04-14)
  45. [Rust] Rust 编译器(Compiler)团队 4 月份计划 - Rust Compiler April Steering Cycle
  46. [GraphQL] 基于 actix-web + async-graphql + rbatis + postgresql / mysql 构建异步 Rust GraphQL 服务(3) - 重构
  47. [Rust] 头脑风暴进行中:Async Rust 的未来熠熠生辉
  48. [GraphQL] 基于 actix-web + async-graphql + rbatis + postgresql / mysql 构建异步 Rust GraphQL 服务(2) - 查询服务
  49. [GraphQL] 基于 actix-web + async-graphql + rbatis + postgresql / mysql 构建异步 Rust GraphQL 服务 - 起步及 crate 选择
  50. [Rust] Rust 2021 版本特性预览,以及工作计划
  51. [Rust] Rust 用在生产环境的 42 家公司
  52. [Rust] 构建最精简的 Rust Docker 镜像
  53. [Rust] Rust 官方周报 385 期(2021-04-07)
  54. [Rust] 使用 Rust 做异步数据采集的实践
  55. [Rust] Android 支持 Rust 编程语言,以避免内存缺陷
  56. [Rust] Android 平台基础支持转向 Rust
  57. [Rust] Android 团队宣布 Android 开源项目(AOSP),已支持 Rust 语言来开发 Android 系统本身
  58. [Rust] RustyHermit——基于 Rust 实现的下一代容器 Unikernel
  59. [Rust] Rustic:完善的纯粹 Rust 技术栈实现的国际象棋引擎,多平台支持(甚至包括嵌入式设备树莓派 Raspberry Pi、Buster)
  60. [Rust] Rust 迭代器(Iterator trait )的要诀和技巧
  61. [Rust] 使用 Rust 极致提升 Python 性能:图表和绘图提升 24 倍,数据计算提升 10 倍
  62. [Rust] 【2021-04-03】Rust 核心团队人员变动
  63. [Rust] Rust web 框架现状【2021 年 1 季度】
  64. [Rust] Rust 官方周报 384 期(2021-03-31)
  65. [Rust] Rust 中的解析器组合因子(parser combinators)
  66. [生活] 毕马威(KPMG)调查报告:人工智能的实际采用,在新冠疫情(COVID-19)期间大幅提升
  67. [Python] HPy - 为 Python 扩展提供更优秀的 C API
  68. [Rust] 2021 年,学习 Rust 的网络资源推荐(2)
  69. [Rust] 2021 年,学习 Rust 的网络资源推荐
  70. [生活] 况属高风晚,山山黄叶飞——彭州葛仙山露营随笔
  71. [Rust] Rust 1.51.0 已正式发布,及其新特性详述
  72. [Rust] 为 Async Rust 构建共享的愿景文档—— Rust 社区的讲“故事”,可获奖
  73. [Rust] Rust 纪元第 382 周最佳 crate:ibig 的实践,以及和 num crate 的比较
  74. [Rust] Rust 1.51.0 稳定版本改进介绍
  75. [Rust] Rust 中将 markdown 渲染为 html
  76. [生活] 国民应用 App 的用户隐私数据窥探
  77. [GraphQL] 构建 Rust 异步 GraphQL 服务:基于 tide + async-graphql + mongodb(3)- 重构
  78. [GraphQL] 构建 Rust 异步 GraphQL 服务:基于 tide + async-graphql + mongodb(2)- 查询服务
  79. [GraphQL] 构建 Rust 异步 GraphQL 服务:基于 tide + async-graphql + mongodb(1)- 起步及 crate 选择
  80. [Rust] Rust 操控大疆可编程 tello 无人机

Topics

rust(80)

graphql(17)

rust-官方周报(17)

webassembly(15)

async-graphql(9)

wasm(9)

rust-官方博客(8)

yew(8)

tide(7)

rust-web(7)

this-week-in-rust(6)

mysql(5)

rbatis(5)

android(4)

actix-web(4)

mongodb(3)

json-web-token(3)

jwt(3)

cargo(3)

技术延伸(3)

rust-wasm(3)

trunk(3)

handlebars(3)

rhai(3)

用户隐私(2)

学习资料(2)

python(2)

ai(2)

人工智能(2)

postgresql(2)

rust-compiler(2)

rust-基金会(2)

rust-foundation(2)

rustup(2)

rust-toolchain(2)

rust-工具链(2)

rust-游戏开发(2)

rust-区块链(2)

graphql-client(2)

rust-game(2)

tello(1)

drone(1)

无人机(1)

隐私数据(1)

markdown(1)

html(1)

crate(1)

async(1)

异步(1)

旅游(1)

不忘生活(1)

葛仙山(1)

hpy(1)

python-扩展(1)

正则表达式(1)

解析器组合因子(1)

组合器(1)

regular-expression(1)

parser-combinator(1)

regex(1)

官方更新(1)

rust-工作招聘(1)

rust-技术资料(1)

rust-周最佳-crate(1)

rust-web-框架(1)

rust-web-framework(1)

rust-核心团队(1)

rust-core-team(1)

rust-language-team(1)

pyo3(1)

rust-python-集成(1)

python-性能改进(1)

迭代器(1)

iterator-trait(1)

国际象棋(1)

chess(1)

游戏引擎(1)

game-engine(1)

虚拟化(1)

unikernel(1)

rustyhermit(1)

linux(1)

virtualization(1)

sandboxing(1)

沙箱技术(1)

数据采集(1)

异步数据采集(1)

docker(1)

镜像(1)

生产环境(1)

rust-评价(1)

rust-2021-edition(1)

rust-2021-版本(1)

graphql-查询(1)

vision-doc(1)

愿景文档(1)

代码重构(1)

steering-cycle(1)

方向周期(1)

隐私声明(1)

机器人(1)

robotics(1)

rustdoc(1)

rust-编译器(1)

实时音频(1)

real-time-audio(1)

变更服务(1)

mutation(1)

查询服务(1)

query(1)

rust-贡献者(1)

rust-轶事(1)

rust-稳定版(1)

rust-预发布(1)

rust-测试(1)

安全编程(1)

可信计算(1)

安全代码(1)

secure-code(1)

rust-android-integrate(1)

rust-embedded(1)

rust-嵌入式(1)

rust-生产环境(1)

rust-2021(1)

rust-production(1)

网页快照(1)

网页截图(1)

水印效果(1)

图片水印(1)

yew-router(1)

css(1)

web-前端(1)

wasm-bindgen(1)

区块链(1)

blockchain(1)

surf(1)

dotenv(1)

标识符(1)

rust-1.53.0(1)

rusthub(1)

Elsewhere

- Open Source
  1. github/zzy
  2. github/sansx
- Awesome Blog
  1. Sansx's Studio
  2. 曙光磁铁的博客
- Learning & Studying
  1. Rust 学习资料 - 芽之家