FPGA tabanlı derin öğrenme algoritması ile baskılı devre kusurlarının tespiti

Abstract

Endüstrinin gelişmesiyle birlikte hayatımızın her noktasında bulunan elektronik donanımların temel altyapısı olan elektronik kartların ve devre yollarının küçülmesi, baskılı devre üretimini karmaşıklaştırarak, son üründe kusurların meydana gelmesine sebep olabilmektedir. Baskılı devrede oluşabilecek kusurlar elektronik kartların küçük olması sebebiyle dikkatlice, büyüteç gibi ekipmanlar kullanılarak kontrol edilmelidir. Bu yöntem, zamansal olarak uzundur ve hatalara açıktır. Kusurların tespit edilememesi cihazın kısa sürede arıza vermesine ve performansının düşük seviyelerde seyretmesine sebep olarak kullanıcıyı mağdur edecek ve ürün/marka taleplerinde düşüşe sebep olacaktır. Bu soruna çözüm olarak, nesne tespit alanında kullanılan derin öğrenme modelleri ile çalışan sistemlerin üretim veya üretim sonrası süreçlere dahil edilmesi önerilebilir. Bu sistemler, baskılı devreler üzerinde oluşan kusurları, yüksek doğrulukta ve yüksek hızda tespit edilebilecek kabiliyete sahip olmalıdır. FPGA’lar (Field Programmable Gate Array), paralel işlem yeteneği, tasarımda esneklik ve yeniden programlanabilme kabiliyetleri sayesinde bu tip gerçek zamanlı çalışması gereken sistemler için genelde kullanılan CPU (Central Processing Unit), GPU (Graphical Processing Unit) ve hibrit yapılara (SoC- System on Chip) göre daha uygun bir ortam sağlamaktadır. Bu tez çalışmasında, baskılı devre üretimi sonrasında oluşan kusurların derin öğrenme modeli yardımı ile tespitini gerçekleştiren FPGA tabanlı yöntem önerilmektedir. Çalışmada kullanılan açık kaynaklı veri seti, 9666 adet görüntü ve 7 farklı kusura ait sınıf içermektedir. Yapılan çalışmada, derin öğrenme modeli olarak bu alanda FPGA ile kullanılan en son versiyon YOLOv8 modelinin daha üst versiyonlarından birisi olan YOLOv11 versiyonu kullanılmıştır. Performans farklarının anlaşılması adına YOLOv8 ve YOLOv11 modelleri aynı koşullar altında eğitilmiş ve performansları karşılaştırılmıştır. Parametre-performans ilişkisinde nihai eğitimde %98,4 mAP50 (IoU - Intersection over Union - eşiğinde ortalama hassasiyet 0,50) performansıyla üstün gelerek gömülü sistemlerde daha az yer kaplayan YOLOv11n modelinin diğer çalışmalardan farklı olarak GPU veya CPU desteği olmaksızın sadece RTL (Register Transfer Language) tabanlı FPGA mimarisi oluşturularak sonuçların performansı incelenmiştir. İncelemeler doğrultusunda genel mAP50 değerinin %97,86 seviyesinde korunduğu, çıkarım hızının ise 34,9386306ms olduğu gözlemlenmiştir. Tespit yeteneğinin çok az miktarda kayıpla korunabilmesi, YOLOv11n modelinin RTL temelli gerçeklemesinin mümkün olduğunu göstermiştir. Bu tez çalışmasında alınan sonuçlar, gerçek zamanlı sistemlerde CPU, GPU ve hibrit yapılar yerine işlem gücü olarak sadece FPGA bulunduran sistemler kullanılabileceğine dair ışık tutmuştur. With the developing industry, the miniaturization of electronic boards and circuit paths, which are the basis of electronics in our lives, complicates PCB (Printed Circuit Board) production and can cause defects on the final product. Defects occurring on the PCB should be checked carefully using equipment such as a magnifying glass due to the size of the electronic cards. This method is time-consuming and prone to mistakes. Failure of detection of defects may cause the device to fail in a short time and its performance to remain at low levels, which will cause a decrease in product/brand demand by victimizing the user. As a solution, including systems working with deep learning models, used in object detection, in production or post-production stages can be suggested. These systems must detect defects on PCBs with high accuracy and speed. FPGAs (Field Programmable Gate Array) provide a more suitable environment for real-time systems, with their parallel processing capability, flexibility in design and re-programmability, compared to CPU (Central Processing Unit), GPU (Graphical Processing Unit) and hybrid structures (SoC - System on Chip) which are generally used in these systems. In this thesis, an FPGA-based architecture is proposed that detects defects, which occur after PCB production, with the help of a deep learning model. The open-source dataset used in this study contains 9666 images and 7 different defect classes. In the thesis, one of the upper versions of the YOLOv8 model, the YOLOv11 version, is used as the deep learning model, which is the latest version used in this with FPGA field so far. To understand the performance differences, YOLOv8 and YOLOv11 models are trained under the same conditions and their performances are compared. In the parameter-performance relationship, the YOLOv11n model, which occupies less space in embedded systems and achieving 98,4% mAP50 (mean average precision for IoU - Intersection over Union – at threshold 0,50) performance in the final training, is examined by creating only RTL (Register Transfer Language) based FPGA architecture without GPU or CPU support. Within the observations in examinations, the overall mAP50 value is preserved at 97,86% with the inference speed is 34,9386306ms. The fact of the preservation of detection capability with a very small amount of loss proves the RTL implementation of YOLOv11n model is possible. The results in this thesis shed light on the systems contains FPGA as processing power can be used instead of CPU, GPU and hybrid structures in real-time systems