在(zài)生(shēng)成(chéng)式AI崛起(qǐ)的(de)浪潮(cháo)中，NVIDIA Jetson Orin NX 作(zuò)为(wèi)一(yī)款強(qiáng)大(dà)的(de)嵌入(rù)式AI計(jì)算平台(tái)，为(wèi)在(zài)边緣端運行大(dà)模型提(tí)供了(le)理(lǐ)想(xiǎng)的(de)硬(yìng)件(jiàn)支持(chí)。本(běn)文(wén)将介紹如(rú)何在(zài) Leetop Jetson Orin NX 解(jiě)決方(fāng)案(àn)上部(bù)署(shǔ) NanoOWL大(dà)模型並(bìng)提(tí)供了(le)详细步驟。
在(zài)開(kāi)始(shǐ)之(zhī)前(qián)，請确保你已經(jīng)完成(chéng)以(yǐ)下準備工作(zuò)：
一(yī)、獲取(qǔ)硬(yìng)件(jiàn)（一(yī)套(tào)ALP-606）
我们準備一(yī)套(tào)LEETOP的(de)ALP-606（配置Jetson Orin NX 16G核心(xīn)闆）边緣計(jì)算终端和(hé)攝像头(tóu)，並(bìng)且(qiě)正确安(ān)裝(zhuāng)操作(zuò)系(xì)統及(jí)软(ruǎn)件(jiàn)
二(èr)、配置ALP-606
連(lián)接 Alp-606 到計(jì)算機(jī)(Ubuntu 20.04)，並(bìng)使用(yòng) SDK Manager 完成(chéng)初始(shǐ)配置。确保 JetPack 和(hé)所(suǒ)需的(de)软(ruǎn)件(jiàn)庫已經(jīng)正确安(ān)裝(zhuāng)。
三、安(ān)裝(zhuāng)依賴庫
在(zài) Jetson Orin NX 上運行以(yǐ)下命令安(ān)裝(zhuāng)所(suǒ)需的(de)依賴庫：
1.安(ān)裝(zhuāng)依賴庫
sudo apt-get update sudo apt-get install libhdf5-serial-dev \ hdf5-tools \ libhdf5-dev \ zlib1g-dev \ zip \ libjpeg8-dev \ liblapack-dev \ libblas-dev \ gfortran |
2.安(ān)裝(zhuāng)和(hé)升(shēng)级pip3工具
sudo apt-get install python3-pip sudo python3 -m pip install --upgrade pip sudo pip3 install -U testresources setuptools==65.5.0 |
3.安(ān)裝(zhuāng)python依賴包(bāo)
sudo pip3 install -U numpy==1.22 \ future==0.18.2 \ mock==3.0.5 \ keras_preprocessing==1.1.2 \ keras_applications==1.0.8 \ gast==0.4.0 \ protobuf \ pybind11 \ cython \ pkgconfig \ packaging \ h5py==3.6.0 |
4.安(ān)裝(zhuāng)tensorflow
sudo pip3 install --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v512 tensorflow==2.12.0+nv23.06 |
接下来(lái)我们就(jiù)開(kāi)始(shǐ)在(zài)ALP-606上快(kuài)速部(bù)署(shǔ)NanoOWL算法(fǎ)
1.配置jetson_contain
git clone https://github.com/dusty-nv/jetson-containers cd jetson-containers sudo apt update; sudo apt install -y python3-pip pip3 install -r requirements.txt |
2.運行腳(jiǎo)本(běn)拉取(qǔ)docker鏡(jìng)像並(bìng)進(jìn)入(rù)nanoowl的(de)docker环(huán)境
cd jetson-containers ./run.sh $(./autotag nanoowl) |
等待拉取(qǔ)nanoowl的(de)docker鏡(jìng)像，成(chéng)功后会(huì)自(zì)動(dòng)進(jìn)入(rù)docker环(huán)境
3.運行NanoOWL算法(fǎ)example
cd examples python3 owl_predict.py \ --prompt="[an owl, a glove]" \ --threshold=0.1 \ --image_encoder_engine=../data/owl_image_encoder_patch32.engine |
運行成(chéng)功生(shēng)成(chéng)/opt/nanoowl/data/owl_predict_out.jpg文(wén)件(jiàn)
4.運行NanoOWL算法(fǎ)樹(shù)型預測demo (Live Camera)
## 查看(kàn)docker环(huán)境里(lǐ)的(de)USB攝像头(tóu)节(jié)點(diǎn)，根據(jù)具體(tǐ)設備号(hào)修改tree_demo.py ls /dev/video* ## 運行demo python3 tree_demo.py ../../data/owl_image_encoder_patch32.engine |
等待模型加载(zài)，加载(zài)成(chéng)功如(rú)下图(tú)所(suǒ)示
5.在(zài)PC主(zhǔ)機(jī)或(huò)者(zhě)ALP-606上打(dǎ)開(kāi)浏覽器進(jìn)入(rù)http://<ip address>:7860
可(kě)以(yǐ)看(kàn)到攝像头(tóu)的(de)實(shí)时画(huà)面(miàn)，在(zài)下方(fāng)編輯欄內(nèi)填入(rù)想(xiǎng)要(yào)识别的(de)物(wù)體(tǐ)種(zhǒng)類(lèi)名(míng)称，如(rú)
[a face [a nose, an eye, a mouth]]或(huò)[a chair [a cellphone]]
此(cǐ)时会(huì)在(zài)實(shí)时画(huà)面(miàn)上能(néng)看(kàn)到想(xiǎng)要(yào)识别的(de)目标(biāo)框
結論
通(tòng)过(guò)这(zhè)个(gè)簡單的(de)指南(nán)，你已經(jīng)可(kě)以(yǐ)成(chéng)功地(dì)在(zài) Jetson Orin NX 上部(bù)署(shǔ) NanoOWL 大(dà)模型。在(zài)實(shí)際生(shēng)産环(huán)境中，确保進(jìn)行性能(néng)優化和(hé)安(ān)全(quán)性評估，以(yǐ)滿足您的(de)實(shí)際應(yìng)用(yòng)需求。
希望这(zhè)篇指南(nán)对(duì)您在(zài)Jetson Orin NX上部(bù)署(shǔ)大(dà)模型有(yǒu)所(suǒ)幫助。
leetop 提(tí)供一(yī)系(xì)列支撐边緣計(jì)算和(hé)大(dà)模型部(bù)署(shǔ)的(de)衆多方(fāng)案(àn) ，並(bìng)支持(chí)産品定(dìng)制化
如(rú)果(guǒ)您有(yǒu)任何需求或(huò)者(zhě)疑問(wèn)和(hé)反(fǎn)馈，歡迎在(zài)評論中留言或(huò)者(zhě)直接聯系(xì)我们.
GTC 2024 将于(yú) 2024 年(nián) 3 月(yuè) 18 至(zhì) 21 日(rì)在(zài)美(měi)國(guó)加州聖何塞会(huì)議中心(xīn)舉行，線(xiàn)上大(dà)会(huì)也将同(tóng)期(qī)開(kāi)放(fàng)。掃描下方(fāng)海(hǎi)報二(èr)維碼，立即注册(cè) GTC 大(dà)会(huì)。