CHYTRÉ SENZORY

Umělá inteligence, deep learning a neuronové sítě

Autor: SICK

Do popředí strojového vidění přináší umělá inteligence schopnosti řešit aplikace, které nelze řešit tradičními algoritmy strojového vidění založenými na pravidlech. Součástí umělé inteligence je tzv. deep learning, který využívá neuronové sítě k napodobování způsobu, jakým funguje lidský mozek při rozpoznávání a rozhodování. V průmyslovém prostředí se toto využívá při rozpoznávání nebo identifikaci objektů, skupin objektů nebo prvků, jako jsou např. defekty, a to za účelem jejich výběru nebo třídění.

Deep learning dobře funguje pro detekci celých objektů nebo jen povrchových defektů, ale lze jím také zjišťovat přítomnost jemné součásti v složité sestavě. Identifikací různých typů objektů nebo defektů mohou systémy deep learningu přiřadit detekovanou položku do jedné z několika kategorií. Tato klasifikace se používá k řešení problémů, jako jsou identifikace defektů, rozpoznávání znaků a detekce přítomnosti. Další částí deep learningu je detekce anomálií neboli odchylek. Zde je neuronová síť trénována pouze s dobrými obrázky a signalizuje, když je během procesu detekována odchylka od normálu. Nastavení neuronových sítí pro detekci anomálií je mnohem rychlejší, ale nevede k okamžitým výsledkům klasifikace, pouze umožňuje vytvořit jednoduchý klasifikátor  - „vyhověl/nevyhověl“.

Základním požadavkem pro vývoj deep learningového řešení je získat sadu tréninkových obrázků označit je podle požadovaných tříd a následně vypočíst neuronovou síť. Vytrénovaná síť se pak použije pro vyhodnocování obrázků z kamerového senzoru v reálném čase.

Pro vytvoření neuronových sítí používáme výkonné nezávislé interní systémy. Jedná se o síťovou aplikaci, která je schopna zpracovat velké množství obrazových informací a díky tomu i rozsáhlé projekty trénování sítí trvají zlomek času oproti jiným řešením. Intuitivní vytvoření neuronové sítě probíhá jednoduchým nahráním nasnímaných obrázků do tohoto cloudového prostředí s názvem dStudio. Není nutné vlastnit speciální hardware nebo software, znát přesně a do detailů principy neuronových sítí nebo se učit programovat. Neuronová síť je přímo optimalizována pro Sick zařízení. Jediným úkolem zákazníka je pouze výsledný soubor nahrát přímo do kamery pomocí jejího webového rozhraní. Zákazníci mají možnost si vytvořit a vyzkoušet tyto neuronové sítě zdarma v neomezeném množství. K zakoupení sítě dochází až poté, co si zákazník odzkouší její funkčnost a je s výsledkem spokojen. Samozřejmostí je zabezpečení všech vstupních i výstupních dat. Aby byla jistota, že jsou data v bezpečí, používáme zabezpečené připojení, bezpečnostní kryptování a sledujeme veškerá podezřelá chování zachycená zvenčí.

Pro Deep learning je určena řada výkonných 2D programovatelných kamerových senzorů InspectorP6xx, která byla navržena pro snadné použití a jejich všestrannost bez ohledu na aplikaci. Od miniaturní řady InspectorP61x s rozlišením 1,2Mpx a kompaktní řady InspectorP62x s elektricky nastavitelným ostřením, přes všestraně konfigurovatelné řady InspectorP63x a InspectorP64x s výměnými objektivy, až po konfigurovatelnou řadu InspectorP65x s rozlišením do 4,2Mpx. Kamerové senzory nabízejí škálu různých úrovní výkonu a dosahů, aby vyhovovaly každé aplikaci. 

Jsou to univerzální programovatelné kamery, do kterých se nainstaluje aplikace Deep learningu s patřičnou licencí. Tato aplikace pak na základě nahrané neuronové sítě provádí vyhodnocení aktuálních snímků. Nastavení kamerového senzoru se provádí pomocí intuitivního webového rozhraní, ve kterém probíhají veškeré nastavení kamery od základních nastavení např.rychlosti závěrky, přes principy vyhodnocení snímaných obrazů pomocí různých nástrojů, až po nastavení chování výstupních obvodů.

S nástrojem pro načtení obrázků ve webovém rozhraní zákazník začíná shromažďováním vzorových obrázků svého produktu v reálných výrobních podmínkách. Poté jednoduše nahraje snímky do zmiňované cloudové aplikace dStudio. Krok za krokem si zákazník sám vycvičí a vyhodnotí požadovanou neuronovou síť, která by vyhovovala potřebám kontroly. V případě potřeby si může přidat další snímky a znovu je vyhodnotit tak, aby byl výsledek dokonalý.

Jakmile jsou uživatelé spokojeni, nakopírují natrénovanou neuronovou síť přímo do kamery opět přes webové rozhraní. Kamera pak již pracuje samostatně a další připojení do cloudu již není nutné. Vyhodnocení obrazu se provádí přímo na zařízení a není tudíž ani potřeba další PC. V kombinaci s nástroji Deep Learning mohou uživatelé také používat tradiční nástroje kamerových senzorů, které pomohou např. se zaměřit na určitou oblast výrobku, kde bude prováděna kontrola.

Deep learning lze použít ve 2D i 3D zobrazovacích aplikacích. Lze jej použít v různých průmyslových odvětvích od automatizace továren po robotickou sklizeň ovoce a zeleniny, a to díky své schopnosti rozlišovat mezi skutečnými předměty nebo defekty a přírodními variacemi. Tyto přirozené odchylky mohou být vlastní samotnému objektu nebo mohou vyplývat z odchylek osvětlení, stínování nebo zkreslení obrazu. Deep learning tak může pomoci v aplikacích, které by jinak nebylo možné, na základě kontroly strojového vidění, vyhodnotit.

 Příklady, kde je výhodné použít aplikaci deep learning:

• kontrola povrchových vad, jako jsou škrábance, promáčkliny a stopy na solárních panelech atd.
• třídění celé řady produktů, jako je např. oddělení různých druhů ořechů nebo ovoce
• klasifikace materiálu a textury, včetně identifikace vad u tkaných materiálů, jako jsou neočekávané stehy, díry a vady osnovy
• identifikace přítomnosti cizího materiálu, například drobných úlomků v potravinách, skořápek při balení ořechů, části slupek v rýži nebo kávových zrnech
• kontrola poškození, jako jsou rozbité sušenky, nekompletní farmaceutické tablety, poškození lopatek turbíny nárazem a erozí
• variabilní umístění funkcí, jako je identifikace míst řezání pro automatizované ořezávání nebo sklizeň ovoce a zeleniny
• ověření sestavy – kontrola přítomnosti nebo nepřítomnosti součástí v sestavě nebo obalu, jako jsou díly na dveřích vozidla, chybějící tablety v blistrovém balení nebo obsah dárkového balení
• náročné OCR aplikace, např. při čtení z reflexních povrchů
• 3D aplikace, jako je třídění kusů masa na základě jejich 3D orientace nebo používání 3D dat ke klasifikaci objektů pro výběr a umístění robotem

Na závěr dva již realizované příklady praktického použití. Prvním příkladem je automatická linka na čištění lahví. Stroje na mytí lahví v nápojovém průmyslu potřebují vědět, zda čistí nové nebo vrácené sklo. Výběr vhodného programu byl dříve prováděn ručně. Nyní pomocí 2D kamery řady InspectorP62x v kombinaci s aplikací Deep Learning lze lahve snadno klasifikovat jako nové nebo použité sklo ihned ve vstupní zóně čisticího stroje, a podle toho spustit intenzitu čištění.

Druhým příkladem je automatizovaná linka na zpracování dřeva. Přirozeně a jedinečně vyrostlé stromy je obtížné třídit s tradičním strojovým viděním. Technologie Deep Learningu se ideálně hodí pro třídění podle struktury letokruhů. S kamerovým senzorem řady InspectorP62x v kombinaci s aplikací Deep Learning umožňuje klasifikovat orientace dřevěných desek v automatizovaném procesu s vysokou spolehlivostí.

Deep Learning pravděpodobně nebude reagovat na neznámé nebo neočekávané situace podobným způsobem jako člověk. Ve skutečnosti bude výkon neuronových sítí v situacích, které nebyly zahrnuty v trénovacích datech, s největší pravděpodobností neuspokojivý. Popis jako „samoučící se systém“ je nejednoznačný a měl by být používán opatrně, protože současné nasazené neuronové sítě nejsou samoučící se v tom smyslu, že by se adaptivně automaticky aktualizovaly, když jsou zjištěna nová data. Pro vylepšení algoritmu je potřeba vytvořit novou neuronovou síť manuálním zásahem člověka. Zbývá ještě dlouhá doba, než stroje skutečně převezmou kontrolu, přesto i dnes dosahuje technologie Deep Learningu působivých výsledků, které nabízí mnoho výhod. Zásadní práci však stále vykonávají lidé. 

Články čísla 5/22

Aktuality