OpenCV+Python識別車牌和字元分割
前面已經基於MNIST識別手寫字型（基於MNIST資料集實現手寫數字識別），接著本篇文章主要基於python語言和OpenCV庫（cv2）進行車牌區域識別和字元分割，後續將結合這些基於tensorflow識別分割的字元。針對在python中安裝opencv的環境這裡不做介紹，可以自行安裝配置！
車牌號檢測需要大致分為四個部分：
1。車輛影象獲取
2。車牌定位、
3。車牌字元分割
4。車牌字元識別
具體介紹
車牌定位需要用到的是圖片二值化為黑白後進canny邊緣檢測後多次進行開運算與閉運算用於消除小塊的區域，保留大塊的區域，後用cv2。rectangle選取矩形框，從而定位車牌位置
車牌字元的分割前需要準備的是隻保留車牌部分，將其他部分均變為黑色背景。這裡我採用cv2。grabCut方法，可將影象分割成前景與背景。分割完成後，再經過二值化為黑白圖後即可進行字元分割。由於影象中只有黑色和白色畫素，因此我們需要透過影象的白色畫素和黑色畫素來分割開字元。即分別透過判斷每一行每一列的黑色白色畫素值的位置，來定位出字元。
具體步驟如下：
1。灰度轉換：將彩色圖片轉換為灰度影象，常見的R=G=B=畫素平均值。
2。高斯平滑和中值濾波：去除噪聲。
3。Sobel運算元：提取影象邊緣輪廓，X方向和Y方向平方和開跟。
4。二值化處理：影象轉換為黑白兩色，通常畫素大於127設定為255，小於設定為0。
5。膨脹和細化：放大影象輪廓，轉換為一個個區域，這些區域內包含車牌。
6。透過演算法選擇合適的車牌位置，通常將較小的區域過濾掉或尋找藍色底的區域。
7。標註車牌位置
8。影象切割和識別
透過程式碼實現:
# -*- coding： utf-8 -*-“”“@email：cuiran2001@163。com@author： cuiran”“”import cv2import numpy as npfrom PIL import Imageimport os。pathfrom skimage import io，datadef stretch（img）： ‘’‘ 影象拉伸函式 ’‘’ maxi=float（img。max（）） mini=float（img。min（）） for i in range（img。shape［0］）： for j in range（img。shape［1］）： img［i，j］=（255/（maxi-mini）*img［i，j］-（255*mini）/（maxi-mini）） return imgdef dobinaryzation（img）： ‘’‘ 二值化處理函式 ’‘’ maxi=float（img。max（）） mini=float（img。min（）） x=maxi-（（maxi-mini）/2） #二值化，返回閾值ret 和 二值化操作後的影象thresh ret，thresh=cv2。threshold（img，x，255，cv2。THRESH_BINARY） #返回二值化後的黑白影象 return threshdef find_rectangle（contour）： ‘’‘ 尋找矩形輪廓 ’‘’ y，x=［］，［］ for p in contour： y。append（p［0］［0］） x。append（p［0］［1］） return ［min（y），min（x），max（y），max（x）］def locate_license（img，afterimg）： ‘’‘ 定位車牌號 ’‘’ img，contours，hierarchy=cv2。findContours（img，cv2。RETR_EXTERNAL，cv2。CHAIN_APPROX_SIMPLE） #找出最大的三個區域 block=［］ for c in contours： #找出輪廓的左上點和右下點，由此計算它的面積和長度比 r=find_rectangle（c） a=（r［2］-r［0］）*（r［3］-r［1］） #面積 s=（r［2］-r［0］）*（r［3］-r［1］） #長度比 block。append（［r，a，s］） #選出面積最大的3個區域 block=sorted（block，key=lambda b： b［1］）［-3：］ #使用顏色識別判斷找出最像車牌的區域 maxweight，maxindex=0，-1 for i in range（len（block））： b=afterimg［block［i］［0］［1］：block［i］［0］［3］，block［i］［0］［0］：block［i］［0］［2］］ #BGR轉HSV hsv=cv2。cvtColor（b，cv2。COLOR_BGR2HSV） #藍色車牌的範圍 lower=np。array（［100，50，50］） upper=np。array（［140，255，255］） #根據閾值構建掩膜 mask=cv2。inRange（hsv，lower，upper） #統計權值 w1=0 for m in mask： w1+=m/255 w2=0 for n in w1： w2+=n #選出最大權值的區域 if w2>maxweight： maxindex=i maxweight=w2 return block［maxindex］［0］def find_license（img）： ‘’‘ 預處理函式 ’‘’ m=400*img。shape［0］/img。shape［1］ #壓縮影象 img=cv2。resize（img，（400，int（m）），interpolation=cv2。INTER_CUBIC） #BGR轉換為灰度影象 gray_img=cv2。cvtColor（img，cv2。COLOR_BGR2GRAY） #灰度拉伸 stretchedimg=stretch（gray_img） ‘’‘進行開運算，用來去除噪聲’‘’ r=16 h=w=r*2+1 kernel=np。zeros（（h，w），np。uint8） cv2。circle（kernel，（r，r），r，1，-1） #開運算 openingimg=cv2。morphologyEx（stretchedimg，cv2。MORPH_OPEN，kernel） #獲取差分圖，兩幅影象做差 cv2。absdiff（‘影象1’，‘影象2’） strtimg=cv2。absdiff（stretchedimg，openingimg） #影象二值化 binaryimg=dobinaryzation（strtimg） #canny邊緣檢測 canny=cv2。Canny（binaryimg，binaryimg。shape［0］，binaryimg。shape［1］） ‘’‘消除小的區域，保留大塊的區域，從而定位車牌’‘’ #進行閉運算 kernel=np。ones（（5，19），np。uint8） closingimg=cv2。morphologyEx（canny，cv2。MORPH_CLOSE，kernel） #進行開運算 openingimg=cv2。morphologyEx（closingimg，cv2。MORPH_OPEN，kernel） #再次進行開運算 kernel=np。ones（（11，5），np。uint8） openingimg=cv2。morphologyEx（openingimg，cv2。MORPH_OPEN，kernel） #消除小區域，定位車牌位置 rect=locate_license（openingimg，img） return rect，imgdef cut_license（afterimg，rect）： ‘’‘ 影象分割函式 ’‘’ #轉換為寬度和高度 rect［2］=rect［2］-rect［0］ rect［3］=rect［3］-rect［1］ rect_copy=tuple（rect。copy（）） rect=［0，0，0，0］ #建立掩膜 mask=np。zeros（afterimg。shape［：2］，np。uint8） #建立背景模型 大小隻能為13*5，行數只能為1，單通道浮點型 bgdModel=np。zeros（（1，65），np。float64） #建立前景模型 fgdModel=np。zeros（（1，65），np。float64） #分割影象 cv2。grabCut（afterimg，mask，rect_copy，bgdModel，fgdModel，5，cv2。GC_INIT_WITH_RECT） mask2=np。where（（mask==2）|（mask==0），0，1）。astype（‘uint8’） img_show=afterimg*mask2［：，：，np。newaxis］ return img_showdef deal_license（licenseimg）： ‘’‘ 車牌圖片二值化 ’‘’ #車牌變為灰度影象 gray_img=cv2。cvtColor（licenseimg，cv2。COLOR_BGR2GRAY） #均值濾波 去除噪聲 kernel=np。ones（（3，3），np。float32）/9 gray_img=cv2。filter2D（gray_img，-1，kernel） #二值化處理 ret，thresh=cv2。threshold（gray_img，120，255，cv2。THRESH_BINARY） return threshdef find_end（start，arg，black，white，width，black_max，white_max）： end=start+1 for m in range（start+1，width-1）： if （black［m］ if arg else white［m］）>（0。98*black_max if arg else 0。98*white_max）： end=m break return endif __name__==‘__main__’： img=cv2。imread（‘test_images/car001。jpg’，cv2。IMREAD_COLOR） #預處理影象 rect，afterimg=find_license（img） #框出車牌號 cv2。rectangle（afterimg，（rect［0］，rect［1］），（rect［2］，rect［3］），（0，255，0），2） cv2。imshow（‘afterimg’，afterimg） #分割車牌與背景 cutimg=cut_license（afterimg，rect） cv2。imshow（‘cutimg’，cutimg） #二值化生成黑白圖 thresh=deal_license（cutimg） cv2。imshow（‘thresh’，thresh） cv2。waitKey（0） #分割字元 ‘’‘ 判斷底色和字色 ’‘’ #記錄黑白畫素總和 white=［］ black=［］ height=thresh。shape［0］ #263 width=thresh。shape［1］ #400 #print（‘height’，height） #print（‘width’，width） white_max=0 black_max=0 #計算每一列的黑白畫素總和 for i in range（width）： line_white=0 line_black=0 for j in range（height）： if thresh［j］［i］==255： line_white+=1 if thresh［j］［i］==0： line_black+=1 white_max=max（white_max，line_white） black_max=max（black_max，line_black） white。append（line_white） black。append（line_black） print（‘white’，white） print（‘black’，black） #arg為true表示黑底白字，False為白底黑字 arg=True if black_max
執行效果如圖所示
車牌定位並進行處理
這
執行效果
車牌分割如圖所示
車牌分割
後面將實現基於深度學習來識別具體分割的字元，敬請期待！！！
若需瞭解更多,可關注公眾號【code_cayden】