基于視覺捕捉的網(wǎng)球自拾取機器人系統(tǒng)
2017-8-10 來源：江南大學(xué) 機械工程學(xué)院(江蘇 無錫) 作者： 孫世俊 平雪良 曾慶鈺 董涵清 官樂樂
摘 要: 為了規(guī)避網(wǎng)球比賽的風(fēng)險，提高效率，開發(fā)了一套基于視覺捕捉的網(wǎng)球自動拾取機器人系統(tǒng)，由移動機器人平臺搭載機械臂自由移動對散落在網(wǎng)球場地的網(wǎng)球進行偵測并拾取。采用基于 AＲM 的硬件架構(gòu)搭建移動機器人的控制系統(tǒng)平臺，并通過網(wǎng)絡(luò)控制接口與機器人平臺上的圖像采集與識別模塊實現(xiàn)通信; 將視覺采集捕捉到的網(wǎng)球的位置信息傳送給控制器，控制移動機器人移動定位，機械臂配合實現(xiàn)網(wǎng)球拾取。經(jīng)模擬網(wǎng)球場運行證明設(shè)計方案可行，視覺的引入節(jié)省了大量的人力與時間。開發(fā)的網(wǎng)球自拾取機器人系統(tǒng)有很強的實用性，具有一定的推廣意義。
關(guān) 鍵 詞:移動機器人; 視覺捕捉; 網(wǎng)球識別定位; 機械臂
日常網(wǎng)球訓(xùn)練中，為了提高訓(xùn)練效果，減輕運動員和教練員的負擔(dān)，在網(wǎng)球比賽中最大限度地規(guī)避球童受傷的風(fēng)險，研究人員想到了用機器人來拾取網(wǎng)球。一般情況下，該技術(shù)主要包括以下內(nèi)容:
①.機器人的路徑規(guī)劃。
路徑規(guī)劃技術(shù)是機器人控制技術(shù)研究中一個十分重要的問題，到目前為止，研究方法主要有傳統(tǒng)方法和智能法 2 大類。傳統(tǒng)的路徑規(guī)劃方法———自由空間法、圖搜索法、刪格解耦法和人工勢場法等; 智能路徑規(guī)劃的方法———基于模糊邏輯的機器人路徑規(guī)劃和基于神經(jīng)網(wǎng)絡(luò)方法的機器人路徑規(guī)劃等［1-2］。
②.網(wǎng)球的定位問題，目前市場上機器人系統(tǒng)的目標定位多基于圖像處理的方法［3-4］，也有基于單目視覺的機器人定位方法［5］，這些方法對圖像處理的要求精度較高，算法也相對復(fù)雜，并不適用于普通工程技術(shù)人員的編程和操作，難以實現(xiàn)。
③.網(wǎng)球的抓取功能，目前市場上撿球機器人所采用的夾持器以虎鉗式為主，夾持精度不高，運動效率低，而專業(yè)化的機械臂價格昂貴，功能多樣化，可 以完 成 機 械臂在非特定環(huán)境下的自主抓取［6］。目前國內(nèi)已有一部分可以拾取網(wǎng)球的機器人，但還沒有基于真實環(huán)境的機型［7］; 現(xiàn)有的機器人采用的抓取方法主要以虎鉗式為主，所用夾持器只有 2 ～ 3個自由度，自由度不高，作業(yè)半徑小。國外現(xiàn)有的拾取網(wǎng)球機器人只能實現(xiàn)半自動化，無法獨立自主找到散落的球并完成撿拾，而且因為體型過于龐大，無法運用于賽場。總體來說，國內(nèi)外在通過移動平臺撿拾網(wǎng)球上的技術(shù)還是不夠成熟，提升空間很大，同時，它的市場前景又相當廣闊［8］。針對以上存在的問題，本文在以往方法的基礎(chǔ)上，改善網(wǎng)球自拾取過程的各個環(huán)節(jié)，提出一種基于視覺捕捉的網(wǎng)球自拾取方法，并設(shè)計整體方案，搭建物理樣機，開發(fā)出一套造價低廉，控制精度較高，適用于市場的網(wǎng)球拾取機器人系統(tǒng)，即移動機器人與機械臂聯(lián)合平臺，并進行效果驗證。
1. 總體方案設(shè)計
用機器人拾取網(wǎng)球，需要解決以下幾個問題: ①機器人的路徑規(guī)劃問題; ②機器人定位問題，有了準確的定位，才能讓移動機器人平臺進行精確地導(dǎo)航; ③如何實現(xiàn)網(wǎng)球的抓取問題。目前國內(nèi)的網(wǎng)球拾取機器人主要通過傳感器獲取網(wǎng)球的信息，利用嵌入式系統(tǒng)控制車身運動，搜尋網(wǎng)球并利用特殊的拾球機構(gòu)拾取網(wǎng)球［9］，拾取效率低，識別精度也不高。國外的網(wǎng)球拾取機器人功能結(jié)構(gòu)復(fù)雜，造價昂貴，并不適用于市場的投放［10］。
本文利用一臺全方位移動平臺作為機器人框架的主體，系統(tǒng)利用紅外傳感器以及無刷電機的差速轉(zhuǎn)動實現(xiàn)循跡，利用超聲波傳感器進行測距，并通過對收集到的數(shù)據(jù)信息進行處理與分析而實現(xiàn)避障，很好地解決了機器人的路徑規(guī)劃問題。針對機器人定位問題，本文采用圖像識別模塊作為定位傳感器; 由于周圍環(huán)境的雜色對機器人定位算法有一定的影響，通過分析幾種常見的距離判斷算法，經(jīng)過實驗，為機器人規(guī)劃出一塊確定的運動與識別區(qū)域?qū)崿F(xiàn)了機器人的定位功能。針對網(wǎng)球的抓取，本文在移動機器人平臺上搭載一個六自由度機械手( 為簡化算法，本文只用了其中 3個自由度) ，根據(jù)圖像識別模塊得到的網(wǎng)球中心位置的 x，y 坐標值，計算出機械手各個關(guān)節(jié)抓取網(wǎng)球時需要轉(zhuǎn)動的角度 θ，根據(jù)串口中讀出的網(wǎng)球的寬度和高度計算出網(wǎng)球在圖像中的面積，通過判斷面積的大小，給機械臂發(fā)送抓取指令。具體方案如圖 1 所示。
2 .視覺捕捉與抓取
2． 1 視覺捕捉機器視覺
由于精確、快速和可數(shù)字化等優(yōu)點被廣泛應(yīng)用，其一般工作原理為: CCD 照相機攝取檢測圖象并轉(zhuǎn)化為數(shù)字信號，再采用先進的計算機硬件與軟件技術(shù)對圖象數(shù)字信號進行處理，從而得到所需要的各種目標圖象特征值，并由此實現(xiàn)模式識別、坐標計算、灰度分布圖等多種功能。再根據(jù)其結(jié)果顯示圖象、輸出數(shù)據(jù)、發(fā)出指令，配合執(zhí)行機構(gòu)完成位置調(diào)整、好壞篩選和數(shù)據(jù)統(tǒng)計等。
圖 1 總體方案
Figure 1 Overall program
本文采用圖像采集識別模塊，該模塊提供了 API函數(shù)供系統(tǒng)調(diào)用，通過識別網(wǎng)球的顏色( 灰度值) ，調(diào)用相應(yīng)的函數(shù)可得到網(wǎng)球的寬度、高度、中心點的 x，y坐標。本文設(shè)定視窗捕捉范圍 x 方向為 0 ～ 360 mm，y方向 0 ～ 200 mm，通過串口監(jiān)視器可以觀察到所獲得的位置信息，如圖 2 所示。
圖 2 獲得的位置信息
Figure 2 Position information obtained
2．2 自動抓取
圖像處理后小車可以實現(xiàn)對網(wǎng)球的實時追蹤。由于距離的不同，視野中各個網(wǎng)球的面積不是一個定值，網(wǎng)球與機器人距離較遠時，計算得到的網(wǎng)球面積較小，距離較近時，計算得到的網(wǎng)球面積較大。通過計算識別得到網(wǎng)球的面積，同時判斷小車與網(wǎng)球的距離，當網(wǎng)球面積達到設(shè)定值，調(diào)動機械手實現(xiàn)網(wǎng)球的抓取，如圖3 ～ 4 所示。
圖 3 抓取網(wǎng)球示意圖
Figure 3 Crawl tennis schemati
圖 4 運動原理圖
Figure 4 Schematic of motion
3 .實驗系統(tǒng)開發(fā)
3．1 硬件開發(fā)
為實現(xiàn)網(wǎng)球機器人在球場中的移動，本文參照自主研發(fā)的全方位移動平臺，采用基于 AＲM 的機器人控制硬件體系結(jié)構(gòu); 為了使機器人快速、準確地識別目標，采用高性能的圖像采集識別模塊; 網(wǎng)球抓取采用簡易機械臂實現(xiàn)。機器人通過網(wǎng)絡(luò)控制接口與移動平臺上的圖像采集與識別模塊實現(xiàn)通信，將捕捉到的位置信息傳輸?shù)较到y(tǒng)控制移動平臺，使機械臂實現(xiàn)移動定位和網(wǎng)球拾取。系統(tǒng)硬件主要由基于 AＲM Cortex-M3 的 32 位微處理器 STM32F103ZET6 芯片組成，該芯片主頻 72 MHz，擁有 256 k B Flash，48 k B SＲAM，且外設(shè)資源豐富，擁有多種定時器，支持 SPI，I2C，USAＲT，USB，CAN 等接口; 系統(tǒng)還選用 Pixy Cmu Cam5 圖像識別模塊并搭載了超聲波傳感器、紅外傳感器、藍牙模塊和 Wi Fi 控制模塊等，機器 人 總 體 硬 件 結(jié) 構(gòu) 如 圖 5所示。
圖 5 機器人硬件結(jié)構(gòu)
Figure 5 Ｒobot hardware structure
機器人移動平臺選用兩輪獨立驅(qū)動方式，驅(qū)動電機為無刷直流電機，由 BLCD-5015A 驅(qū)動器控制，機械手選用 AＲEXX 的六自由度機械手，可實現(xiàn)多角度抓取( 本文僅用其中 3 個自由度; PixyCmuCam5 是一個開源的圖像識別傳感器，支持多物體多色彩的顏色識別，支持 SPI，I2C 等多種通信方式，其搭載的圖像識別模塊可以以 1 MB /s 的速度發(fā)送塊 信息 給 ArduinoUNO 板，每秒可以發(fā)送超過6 000 個識別的物體或每幀 135 個被識別的物體。
3． 2 軟件開發(fā)
本文軟件的組成大體可以分為 3 個部分:
1) 基于 STM32 的移動機器人控制軟件。主要解決機器人的路徑規(guī)劃、超聲波壁障及 Wi Fi 和藍牙控制等; 整個系統(tǒng)的工作模式是上位機通過 SPI 將無線模塊 NＲF24L01 接入 AＲM 處理器，同時將搖桿 ADC 控制模塊初始化。AＲM 處理器可以對操作人員在液晶顯示屏上輸入的指令進行分析與識別，并將指令傳送給下位，同時還可以通過 USAＲT 串口與計算機通信。
2) 圖像識別模塊。通過 Pixy Cmu Cam5 攝像頭可以直接獲取網(wǎng)球的位置信息( 網(wǎng)球中心位置的 x 和 y坐標，被識別網(wǎng)球的寬度、高度) ，并將獲取的信息通過 ISCP 通信端口發(fā)送到 Arduino IDE 開發(fā)板。
3) Arduino IDE 開發(fā)板與 STM32F103ZET6 芯片的通信。由于本文的 2 塊開發(fā)板類型不同，故通過 ArduinoIDE 開發(fā)板的 TX，ＲX 通信端口實現(xiàn) 2 塊板子的通信。圖 6 為主程序流程圖。
圖 6 主程序流程圖
Figure 6 Main program flow chart
3． 3 實驗驗證與分析
本文搭建了移動機器人樣機，并在多種場合進行了測試，機器人可以精確地識別網(wǎng)球的位置并反饋給機械手; 在視野中如果沒有發(fā)現(xiàn)網(wǎng)球，攝像頭會自動調(diào)用子程序轉(zhuǎn)動舵機尋找各個方位網(wǎng)球的位置，實現(xiàn)了網(wǎng)球的高效、精準地抓取，如圖 7 ～ 8 所示。
圖 7 成功捕捉到網(wǎng)球
Figure 7 Tennis successfully captured
圖 8 實驗室測試
Figure 8 Laboratory tests
雖然市面上已經(jīng)出現(xiàn)網(wǎng)球撿拾機器人，但國內(nèi)大多數(shù)是運用傳感器進行識別，紅外線進行定位，由于識別距離有限，響應(yīng)速度有一定的延遲。國外運用高精度 CCD 攝像頭進行識別的網(wǎng)球撿拾機器人，雖然精度高，但是價格昂貴，使用成本太高，不適合投入市場大量運用。而本文所搭建的機器人小車運用 的 PixyCmu Cam5 攝像頭，價格適中，性價比高，并且可以做到快速識別。同時本文沒有采用常規(guī)的真空吸取、依靠慣性等撿取網(wǎng)球的方式，而是運用了機械手，雖然增加了成本，但大大提高了撿球效率，可以高效而又精準地實現(xiàn)抓取動作。
4 .結(jié)語
本文設(shè)計開發(fā)的基于視覺捕捉的網(wǎng)球自動拾取機器人系統(tǒng)，解決了耗費人力資源而且人工撿球效率低的問題。在研究過程中，機器人的路徑規(guī)劃問題一直是一個難點。機器人在運行過程中有時會偏離運行軌跡，要提高機器人運動精度，需要軟件和硬件協(xié)調(diào)配合，這在后期的工作中需要進一步加強。本系統(tǒng)具有廣闊的應(yīng)用前景，可以用在任意網(wǎng)球場地。經(jīng)技術(shù)完善后，可以在標準化的網(wǎng)球場上的 4個角落放置 4 臺機器人，組成一個撿拾網(wǎng)球的局域網(wǎng)系統(tǒng)，通過一個中央處理器計算整合，可高效而又準確地完成撿拾網(wǎng)球并退回原位等一系列動作。
參考文獻:
［1］ 張穎，吳成東，原寶龍． 機器人路徑規(guī)劃方法綜述［J］． 控制工程，2003，10( 增刊 1) : 152 － 155
［2］ 趙曉東，鮑方． 清潔機器人路徑規(guī)劃算法研究綜述［J］． 機電工程，2013，30( 11) : 1440 － 1444．
［3］ 張俊強，張華． 基于圖像處理的移動機器人對目標的識別和定位［J］． 計算機測量與控制，2006，14( 5) : 673 － 675．
［4］ 彭惠青，李海燕． 機器人視覺定位的圖像處理［J］． 計算技術(shù)與自動化，2004，23( 1) : 74 － 76．
［5］ 于乃功，黃燦，林佳． 基于單目視覺的機器人目標定位測距方法研究［J］． 計算機測量與控制，2012，20( 10) : 2654 － 2656．
［6韓崢，劉華平，黃文炳，等． 基于 Kinect 的機械臂目標抓取［J］． 智能系統(tǒng)學(xué)報，2013，8( 2) : 149 － 155．
［7］ 席澤生． 網(wǎng)球場撿球機器人系統(tǒng)設(shè)計［J］． 機械制造與自動化，2012，41( 2) : 140 － 141．
［8］ 唐瑩． 智能網(wǎng)球拾取機器人的市場分析: 以創(chuàng)睿智能網(wǎng)球機器人有限公司為例［J］． 職業(yè)，2012( 17) : 148 － 149．
［9］ 于剛，唐小川． 智能拾取網(wǎng)球機器人［C］/ /第二屆全國大學(xué)生創(chuàng)新論壇論文集． 南京: 東南大學(xué)出版社，2009．
［10］ MAO Yanbing． Design of tennis picking intelligent robot orientationsystem［J］． Machine building ＆ automation，2009，38( 2) : 54．
投稿箱：
如果您有機床行業(yè)、企業(yè)相關(guān)新聞稿件發(fā)表，或進行資訊合作，歡迎聯(lián)系本網(wǎng)編輯部， 郵箱：skjcsc@vip.sina.com
如果您有機床行業(yè)、企業(yè)相關(guān)新聞稿件發(fā)表，或進行資訊合作，歡迎聯(lián)系本網(wǎng)編輯部， 郵箱：skjcsc@vip.sina.com
更多相關(guān)信息
業(yè)界視點
| 更多
行業(yè)數(shù)據(jù)
| 更多
- 2025年6月 新能源汽車銷量情況
- 2025年6月 新能源汽車產(chǎn)量數(shù)據(jù)
- 2025年6月 基本型乘用車（轎車）產(chǎn)量數(shù)據(jù)
- 2025年6月 軸承出口情況
- 2025年6月 分地區(qū)金屬切削機床產(chǎn)量數(shù)據(jù)
- 2025年6月 金屬切削機床產(chǎn)量數(shù)據(jù)
- 2025年5月 新能源汽車銷量情況
- 2025年5月 新能源汽車產(chǎn)量數(shù)據(jù)
- 2025年5月 基本型乘用車（轎車）產(chǎn)量數(shù)據(jù)
- 2025年5月 軸承出口情況
- 2025年5月 分地區(qū)金屬切削機床產(chǎn)量數(shù)據(jù)
- 2025年5月 金屬切削機床產(chǎn)量數(shù)據(jù)
- 2025年4月 新能源汽車銷量情況