script 嵌入 binary 檔案

-

下載的一些工具安裝檔案, 有時候是一個檔案頗大的 shell script. 這麼大的原因是 script 有塞入 binary file 的關係. 而這樣的好處應該就是可以把檔案集中成一個. 之外我覺得就是省去記檔案名稱吧 XDD. 此文章紀錄如何實作封裝與安裝的 script.

實作

這邊分兩個部分, 一個是負責封裝 install template script 與 binary 檔案的 pack script. 另一個則是 install template script. 這的 binary file 以 tar 檔案為例子.

Pack script

pack script 的流程主要是以 install template script 為樣板, 產生一個 install script. 接著在後面加入類似標籤的字串. 並在”下一行“塞入 tar 檔案. 

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#!/bin/sh
read -p "Input a tar file path: " file

# is file exsted >
if [ ! -f ${file} ]
then
    echo "no such file"
    exit 1
fi

# check file extension
extension=$(basename ${file} | tr "[:upper:]" "[:lower:]" | tr '.' '\n' | tail -n 1)
if [ ${extension} != "tar" ]
then
    echo "only support tar file"
    exit 1
fi

# append install.sh first
echo "packing...."
cat install_script.sh > install.sh
echo "PAYLOAD:" >> install.sh

# append tar file
cat ${file}  >> install.sh
echo "done...."

line 2 取得想要塞入 script 的 tar 檔案路徑. line 5-9 判斷輸入的檔案是否存在. line 12-17 判斷輸入的檔案是否為 tar 檔案. 擷取副檔名的部分由 line 12 得到. 接下來就是 install script 與 tar 檔案的部分. line 20-21 透過 cat 指令把 install template script 內容輸出到 install.sh, 接著 line 22 塞入 PAYLOAD: 標籤. 最後透過 cat 指令, 把 tar 檔案附加於 script 後面.

Install template script

主要是負責安裝的部分, 會去尋找 install script 裡面的標籤 PAYLOAD:. 把下一行的部分都視為 tar 來做處理.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
#!/bin/sh

unpack()
{
    file=$1
    match=$(($(grep --text --line-number -m1 '^PAYLOAD:$' ${file} | cut -d ':' -f 1) + 1))
    echo "extract payload after line ${match}"
    echo "create destination folder \"unpack\""
    mkdir unpack
    echo "extracting...."
    tail -n +${match} $0 | tar -xvf - -C unpack
}


read -p "install ? (y/n) " ans
result=`echo ${ans} | tr "[:upper:]" "[:lower:]"`

# exit installation
if [ ${result} != "y" ]
then
    echo "exit installation"
    exit 0
fi

# start to install
unpack $0
exit 0

主要解說 unpack 函數. line 3-12 unpack 函數負責解壓以及安裝. line 6 在尋找 script 內的標籤 "PAYLOAD:". 利用 grep 指令去尋找開頭 PAYLOAD: 和 PAYLOAD: 結尾字串. -m1 表示搜尋到之後就可以停止搜尋了. line 9-11 則是把檔案解壓縮到所建立的 unpack 目錄底下.

執行 

hayashiyoshihitoshis-MacBook-Pro:temp yijyun$ ls
folder.tar  install_script.sh pack.sh
hayashiyoshihitoshis-MacBook-Pro:temp yijyun$ sh pack.sh
Input a tar file path: folder.tar
packing....
done....
hayashiyoshihitoshis-MacBook-Pro:temp yijyun$ ls
folder.tar  install.sh  install_script.sh pack.sh

這邊有三個檔案, 分別為 tar 檔案, 負責封裝的 pack.sh 以及負責安裝 install_script.sh 樣板. 先使用 pack.sh 來封裝 install_script.sh 與 tar 檔案來成為一個 install.sh 檔案 

hayashiyoshihitoshis-MacBook-Pro:temp yijyun$ sh install.sh
install ? (y/n) y
extract payload after line 29
create destination folder "unpack"
extracting....
x dir/
x dir/temp.2
x dir/temp.3
x dir/temp.1

hayashiyoshihitoshis-MacBook-Pro:temp yijyun$ ls . unpack/*
.:
folder.tar  install_script.sh unpack
install.sh  pack.sh

unpack/dir:
temp.1 temp.2 temp.3

這邊執行 install.sh 來進行安裝. 這邊會先建立一個 unpack 目錄. 接著把 script 內的 tar 檔案解壓縮於 unpack 目錄裡.

Reference

  1. Add a Binary Payload to your Shell Scripts

留言

張貼留言

這個網誌中的熱門文章

yocto recipe : (1) 撰寫 recipe

-
此篇文章介紹如何透過 yocto 的 utilities 來產生 recipe. 而完成的 recipe 又如何加入到 image. yocto 相關工具介紹 有三個適用於 layer 與 recipe 相關的 utilities. bitbake-layers: 負責 (1) 建立 layer. (2) 修改 bblayers.conf. (3) 查看 layer 底下的 recipes recipetool: 用於建立一個 recipe 和新增/修改 recipe. 這邊 recipe 在 yocto 即是 xx.bb 或 xx.bbappend 檔案 devtool: 定位在開發測試上. devtool 會建立一個獨立的 workspace layer. 讓開發者於此建立/修改 recipe 與 patch source code. 在不修改原有設定下與現有 layers 進行整合測試. 完畢之後可以再透過 devtool 新增或更新到 layer 裡 利用 utilities 撰寫 recipe 的時候. 要確保所屬的 layer 是存在於 bblayer.conf. 不然執行 bitbake [recipe basename] 會找不到相關的 recipe. yocto 事前準備 以 core-image-miniaml recipe 為例子. core-image-miniaml 會產生系統所需的 image 相關檔案. 接著利用 bitbake-layers 建立自己的 layer 於 build 目錄底下. 再透過 bitbake-layers 把 layer 加入到 bblayers.conf 設定檔. [ yijyun@localhost poky ] $ . oe-init-build-env [ yijyun@localhost build ] $ bitbake core-image-minimal [ yijyun@localhost build ] $ bitbake-layers create-layer meta-layer [ yijyun@localhost build ] $ bitbake-layers add-
閱讀完整內容

yocto recipe : (2) 撰寫 bbappend

-
前言 xxx.bb 檔案是用來描述一個 recipe. 然而 xxx.bb 會因為 patch codes、新增 tasks、等等的因素修改. 這邊介紹如何使用 xxx.bbappend[1] 檔案. 以不修改 xxx.bb 的情況下擴充需求. 文章將以 patch codes 為例子, 並個別以 devtool 工具和手動的方式示範. bbapend 簡介 .bbappend 是擴充 .bb 的方式. 藉由 .bbappend 來新增 tasks、patch code、新增/修改變數等等諸此之類的事. 其名稱必須跟所要修改的相同, 而版本號則依據需求寫. 舉例: bb file 名稱: giflib_5.1.4.bb bbappend 名稱: giflib_5.1.4.bbappend 或 giflib_%.bbappend. %: 表示萬用字元 使用 .bbappend 的情況, 我個人認為有以下情況再使用 (1) 當 recipe 已存在 yocto 最基本的 layer, 不應隨便修改. 舉例: u-boot_2017.09.bb 存在於 yocto 的 meta layer (2) 某些 layers 會共用此 recipe 的情況下. 舉例: meta-raspberrypi 與 meta-ti 分別各自使用自己的 xserver-xf86-config_0.1.bbappend 來對 yocto meta layer 的 xserver-xf86-config_0.1.bb 做擴充修改. bbappend 範例 事前準備 用 giflib [4] 作為測試程式. 先下載 giflib-5.1.4.tar.bz2. 接著使用 bitbake-layer 建立 meta-custom layer, 再透過 recipetool 把產生的 giflib_5.1.4.bb 存放於此 layer. # 執行 oe-init-build-env 進行 yocto 編譯環境設定 [ yijyun@localhost poky ] $ . oe-init-build-env # 建立 3rd-pkgs, 並把 giflib 放至此 [ yijyun@localhost build ] $
閱讀完整內容

yocto recipe : (3) 使用 External Source 來編譯軟體

-
Yocto 有提供許多 fetch code 的方式[3], 大都是以抓取外網的方式. 雖然很齊全, 但是開發時候多少需要以本機上的 source code 作為來源進行編譯. 這邊就紀錄如何讓 yocto 直接抓取本機上的 source code 使用本機上的 source code 這邊介紹兩種方式. 使用硬碟上的 source code, 而不是透過 yocto fetch 去網路上抓取 (1) git fetcher: 基於 git fetcher, 僅修改 src_uri 參數, 就可以用本機上的 source code (2) external source: 基於 externalsrc class. 有兩種方式達成: (1) 於 recipe 直接新增 external source 變數 (2)於 local.conf 新增特定 recipe 的 external source 參數. 事前準備 於 build 目錄底下建立 3rd-pkgs. 把下載的 giflib 程式碼放置於此 [ yijyun@localhost build ] $ pwd /media/disk1-1/Github/poky/build [ yijyun@localhost build ] $ ls 3rd-pkgs/ giflib-5.1.4.tar.bz2 新增 meta-test 於 yocto. 並在此 meta-layer 底下新增 giflib 目錄. 存放之後的 bb files [ yijyun@localhost build ] $ bitbake-layers create-layer meta-test [ yijyun@localhost build ] $ bitbake-layers add-layer meta-test [ yijyun@localhost build ] $ mkdir meta-test/recipes-example/giflib git fetcher 使用 git fetcher 有兩個重點: src_uri 的 protocol 參數需要改為 file. S 的路徑要改為 S="
閱讀完整內容