Linux 的 binfmt_misc (binfmt) module 介紹

-

linux 透過 qemu 的動態轉譯(dynamic translation)模式, 能直接執行別架構的程式. 舉例: x86_64 中執行 arm64 架構的程式. 然而每次都必須透過 qemu-aarch64 [program] [args...] 的方式執行, 似乎有點瑣碎. 以下就介紹 linux 是如何使用 binfmt_misc kernel module 來化繁為簡...

qemu 與 binfmt 搭配

測試環境為 x86_64 架構, 使用 aarch64 toolchain 編譯下方 hello.c 為 static 的程式. 免去執行時候 link 尋找 libraries 的問題. 這邊透過 1) 直接執行. 2)藉由 qemu 執行. 3) qemu 搭配 binfmt_misc 來示範結果. 

#include <stdio.h>
int main()
{
        printf("hello !!\n");
        return 0;
}

首先安裝 aarch64 的 toolchain 來編譯程式. 並確認編譯出來的格式為 aarch64 

# 安裝 arm 版本的 toolchain
yijyun@yijyun-VirtualBox:~$ sudo apt-get install gcc-aarch64-linux-gnu
# 使用 arm-gcc 編譯
yijyun@yijyun-VirtualBox:~$ aarch64-linux-gnu-gcc -static hello.c
# 查看編譯出來的格式
yijyun@yijyun-VirtualBox:~$ aarch64-linux-gnu-objdump -f a.out
a.out:     file format elf64-littleaarch64
architecture: aarch64, flags 0x00000112:
EXEC_P, HAS_SYMS, D_PAGED
start address 0x0000000000400cd8
# 顯示本機的架構
yijyun@yijyun-VirtualBox:~$ uname -i
x86_64

1) 執行 aarch64 架構的程式

執行 aarch64 架構的程式, 直接顯示錯誤訊息... 

# 執行
yijyun@yijyun-VirtualBox:~$ ./a.out
-bash: ./a.out: cannot execute binary file: Exec format error

2) qemu-aarch64 執行 aarch64 架構的程式

安裝 qemu-user 模擬處理器套件, 藉由 qemu-aarch64 指令來間接執行 aarch64 架構的程式.

# 安裝 qemu-user 
yijyun@yijyun-VirtualBox:~$ sudo apt-get install qemu-user
# 執行
yijyun@yijyun-VirtualBox:~$ qemu-aarch64 a.out
hello !!

3) qemu 搭配 binfmt_misc 來執行 aarch64 架構的程式

先安裝 qemu-user-static 與 binfmt-support. 其中 qemu-user-static 是 qemu-user 的 static 版本. 主要是為了與 binfmt_misc 搭配. 這時候執行 aarch64 程式的時候, 已不需要以 qemu-aarch64 [program] [args...] 的方式. 直接執行也沒有錯誤發生, 是不是方便許多! 不過實際上系統實行的時候是呼叫 qemu-aarch64-static [program] [args...]. 使用者察覺不到而已 XD.

# 安裝相關套件
sudo apt-get install apt-get install qemu-user-static binfmt-support
# 執行
yijyun@yijyun-VirtualBox:~$ ./a.out
hello !!

binfmt_misc 介紹

binfmt_misc 分析

看過上方的執行後, 多少會有疑問. 究竟 kernel 是怎麼判斷的阿!!!
這時候就從 /proc/sys/fs/binfmt_misc 來一探究竟! 可以看到底下有許多不同的架構.
由於程式是基於 aarch64, 就輸出 qemu-aarch64 內容來看 ! 

# 查看 binfmt_misc 支援的格式
yijyun@yijyun-VirtualBox:~$ ls /proc/sys/fs/binfmt_misc/
jar        qemu-aarch64  qemu-armeb  qemu-microblaze  qemu-mips64el  qemu-ppc64       qemu-s390x  qemu-sparc        register
python2.7  qemu-alpha    qemu-cris   qemu-mips        qemu-mipsel    qemu-ppc64abi32  qemu-sh4    qemu-sparc32plus  status
python3.5  qemu-arm      qemu-m68k   qemu-mips64      qemu-ppc       qemu-ppc64le     qemu-sh4eb  qemu-sparc64      

# 顯示 qemu-aarch64
yijyun@yijyun-VirtualBox:~$ cat /proc/sys/fs/binfmt_misc/qemu-aarch64
enabled
interpreter /usr/bin/qemu-aarch64-static
flags: OC
offset 0
magic 7f454c460201010000000000000000000200b700
mask ffffffffffffff00fffffffffffffffffeffffff

經由 qemu-aarch64 的內容可以看出, 根據 binfmt_misc 設定檔來決定 kernel 是否可以直接執行某架構的程式
而這些架構就根據設定裡的 interpreter, magic 來判斷架構和使用對應的動態轉譯程式, 如qemu.
看到這就有種豁然開朗的感覺 XD

binfmt_misc 與 chroot

binfmt_misc, qemu 最適合的應用就是與 chroot 搭配. 藉由 chroot 切換 / (根目錄) 到另一種架構的 / (根目錄). 在使用 binfmt_misc 和 qemu, 就如同在特定架構運行程式

以下為範例為在 x86_64 架構下切換到 aarch64架構根目錄.
首先從 Ubuntu Base rootfs [2]下載 aarch64 的 rootfs 並解壓縮. 在複製 qemu-aarch64-static 到 aarch64 架構的 rootfs 裡面. 再藉由 chroot 切換到 aarch64的根目錄. 

# 列出 base rootfs 內容
root@yijyun-VirtualBox:/home/yijyun/ubuntu-aarch64-rootfs# ls rootfs/
bin  boot  dev  etc  home  lib  media  mnt  opt  proc  root  run  sbin  snap  srv  sys  tmp  usr  var
# 複製 /usr/bin/qemu-aarch64-static 到 rootfs/usr/bin/ 
# 1) qemu-aarch64 interpreter 的路徑為此
# 2) 這也是為什麼要編譯成 static 的原因
root@yijyun-VirtualBox:/home/yijyun/ubuntu-aarch64-rootfs# cp -fa /usr/bin/qemu-aarch64-static rootfs/usr/bin/
# 藉由 chroot 切換到 aarch64 的根目錄
root@yijyun-VirtualBox:/home/yijyun/ubuntu-aarch64-rootfs# chroot rootfs/
# 顯示
root@yijyun-VirtualBox:/# ls
bin  boot  dev  etc  home  lib  media  mnt  opt  proc  root  run  sbin  snap  srv  sys  tmp  usr  var
# 透過 objdump 驗證架構
root@yijyun-VirtualBox:/# objdump -f /bin/ls

/bin/ls:     file format elf64-littleaarch64
architecture: aarch64, flags 0x00000112:
EXEC_P, HAS_SYMS, D_PAGED
start address 0x0000000000404cd0

以上環境只要在設定好網路, 並把原本系統相關的掛載點(e.g. dev, proc, 等等) 給轉移到 aarch64 的根目錄底下. 再透過 ubuntu base 內建的 apt-get. 就可以客製化自己的 rootfs[3][4]. 只是需要注意圖形化桌面的套件選擇是否適用於 arm 平台下.

Reference

  1. 透過 binfmt_misc 讓 Linux 可以執行不同格式的執行檔
  2. Ubuntu Base
  3. Build Ubuntu Rootfs via Ubuntu Base(FIXME: TBD)
  4. 在 x86 下 chroot 到 ARM 平台的 rootfs

留言

張貼留言

這個網誌中的熱門文章

yocto recipe : (1) 撰寫 recipe

-
此篇文章介紹如何透過 yocto 的 utilities 來產生 recipe. 而完成的 recipe 又如何加入到 image. yocto 相關工具介紹 有三個適用於 layer 與 recipe 相關的 utilities. bitbake-layers: 負責 (1) 建立 layer. (2) 修改 bblayers.conf. (3) 查看 layer 底下的 recipes recipetool: 用於建立一個 recipe 和新增/修改 recipe. 這邊 recipe 在 yocto 即是 xx.bb 或 xx.bbappend 檔案 devtool: 定位在開發測試上. devtool 會建立一個獨立的 workspace layer. 讓開發者於此建立/修改 recipe 與 patch source code. 在不修改原有設定下與現有 layers 進行整合測試. 完畢之後可以再透過 devtool 新增或更新到 layer 裡 利用 utilities 撰寫 recipe 的時候. 要確保所屬的 layer 是存在於 bblayer.conf. 不然執行 bitbake [recipe basename] 會找不到相關的 recipe. yocto 事前準備 以 core-image-miniaml recipe 為例子. core-image-miniaml 會產生系統所需的 image 相關檔案. 接著利用 bitbake-layers 建立自己的 layer 於 build 目錄底下. 再透過 bitbake-layers 把 layer 加入到 bblayers.conf 設定檔. [ yijyun@localhost poky ] $ . oe-init-build-env [ yijyun@localhost build ] $ bitbake core-image-minimal [ yijyun@localhost build ] $ bitbake-layers create-layer meta-layer [ yijyun@localhost build ] $ bitbake-layers add-...
閱讀完整內容

yocto recipe : (2) 撰寫 bbappend

-
前言 xxx.bb 檔案是用來描述一個 recipe. 然而 xxx.bb 會因為 patch codes、新增 tasks、等等的因素修改. 這邊介紹如何使用 xxx.bbappend[1] 檔案. 以不修改 xxx.bb 的情況下擴充需求. 文章將以 patch codes 為例子, 並個別以 devtool 工具和手動的方式示範. bbapend 簡介 .bbappend 是擴充 .bb 的方式. 藉由 .bbappend 來新增 tasks、patch code、新增/修改變數等等諸此之類的事. 其名稱必須跟所要修改的相同, 而版本號則依據需求寫. 舉例: bb file 名稱: giflib_5.1.4.bb bbappend 名稱: giflib_5.1.4.bbappend 或 giflib_%.bbappend. %: 表示萬用字元 使用 .bbappend 的情況, 我個人認為有以下情況再使用 (1) 當 recipe 已存在 yocto 最基本的 layer, 不應隨便修改. 舉例: u-boot_2017.09.bb 存在於 yocto 的 meta layer (2) 某些 layers 會共用此 recipe 的情況下. 舉例: meta-raspberrypi 與 meta-ti 分別各自使用自己的 xserver-xf86-config_0.1.bbappend 來對 yocto meta layer 的 xserver-xf86-config_0.1.bb 做擴充修改. bbappend 範例 事前準備 用 giflib [4] 作為測試程式. 先下載 giflib-5.1.4.tar.bz2. 接著使用 bitbake-layer 建立 meta-custom layer, 再透過 recipetool 把產生的 giflib_5.1.4.bb 存放於此 layer. # 執行 oe-init-build-env 進行 yocto 編譯環境設定 [ yijyun@localhost poky ] $ . oe-init-build-env # 建立 3rd-pkgs, 並把 giflib 放至此 [ yijyun@localhost build ] $ ...
閱讀完整內容

yocto recipe : (3) 使用 External Source 來編譯軟體

-
Yocto 有提供許多 fetch code 的方式[3], 大都是以抓取外網的方式. 雖然很齊全, 但是開發時候多少需要以本機上的 source code 作為來源進行編譯. 這邊就紀錄如何讓 yocto 直接抓取本機上的 source code 使用本機上的 source code 這邊介紹兩種方式. 使用硬碟上的 source code, 而不是透過 yocto fetch 去網路上抓取 (1) git fetcher: 基於 git fetcher, 僅修改 src_uri 參數, 就可以用本機上的 source code (2) external source: 基於 externalsrc class. 有兩種方式達成: (1) 於 recipe 直接新增 external source 變數 (2)於 local.conf 新增特定 recipe 的 external source 參數. 事前準備 於 build 目錄底下建立 3rd-pkgs. 把下載的 giflib 程式碼放置於此 [ yijyun@localhost build ] $ pwd /media/disk1-1/Github/poky/build [ yijyun@localhost build ] $ ls 3rd-pkgs/ giflib-5.1.4.tar.bz2 新增 meta-test 於 yocto. 並在此 meta-layer 底下新增 giflib 目錄. 存放之後的 bb files [ yijyun@localhost build ] $ bitbake-layers create-layer meta-test [ yijyun@localhost build ] $ bitbake-layers add-layer meta-test [ yijyun@localhost build ] $ mkdir meta-test/recipes-example/giflib git fetcher 使用 git fetcher 有兩個重點: src_uri 的 protocol 參數需要改為 file. S 的路徑要改為 S="...
閱讀完整內容