Recentemente, il team di ricerca e sviluppo di Homsh ̊ ha completato l'integrazione cascata a tre livelli del modulo di cattura binoculare MD31, della piattaforma di calcolo RK3588 edge e della scheda acceleratore FPGA AXU9EGB,e ha pubblicato una relazione tecnica in faseDalla cattura di un'immagine oculare in scala di grigi 640×480 da parte della fotocamera, attraverso la valutazione della qualità, la localizzazione dell'iride, l'inferenza delle caratteristiche, la corrispondenza 1:N,per la visualizzazione dei risultati di riconoscimento di nuovo sullo schermo questa intera pipeline ora corre completamente attraverso tre schede hardware.
Per Homsh, questo è più di un altro test di integrazione di successo.Significa che abbiamo trasferito le funzionalità di riconoscimento dell'iride precedentemente eseguite su PC industriali Windows in un'architettura edge con basso consumo di energia, fattori di forma più flessibili e la possibilità di essere incorporati in vari dispositivi terminali.
L'intero sistema adotta un'architettura a cascata: cattura e ritaglio da parte della fotocamera MD31, accesso e trasmissione da parte di RK3588, inferenza da parte di AXU9EGB FPGA e feedback visivo da parte di RK3588.Le uscite MD31 ritagliate immagini a occhio singolo per entrambi gli occhi sinistri e destri; l'RK3588 funziona su Android ARM64, responsabile dell'abbinamento binoculare, della gestione delle attività e della trasmissione di rete; l'FPGA gestisce il gate di qualità e tutti gli algoritmi dell'iride,e invia i risultati al RK3588 per la visualizzazione.
Questa divisione del lavoro ha un significato più profondo: la cattura della fotocamera e l'inferenza FPGA sono completamente disaccoppiate, collegate da uno strato semantico di protocollo unificato.Ogni serie di immagini dell'occhio sinistro e destro è associata a un ID di operazione e a un numero di sequenza strettamente incrementale, garantendo la non confusione tra le cornici di anteprima, le cornici di riprova e le cornici di attività precedenti.sia la nostra soluzione Windows legacy e la nuova soluzione RK3588 condividono lo stesso set di protocolli FPGA e definizioni di risultati di inferenza, con un insieme di servizi di bordo che supportano due generazioni di sistemi host.
Flusso complessivo di dati della cascata a tre livelli
L'FPGA restituisce insieme lo stato di qualità, le identità dei candidati, i punteggi di somiglianza, le distanze, le soglie e le durate delle fasi, rendendo l'intero processo di riconoscimento pienamente visibile agli utenti.
La parte più pesante della pipeline si trova sull'AXU9EGB, basata sulla scheda FPGA Zynq UltraScale+ MPSoC, e abilitata da Vitis AI 3.0 e DPU hardware acceleration.intraprende l'intera pipeline di inferenza in sette fasi: dalla convalida degli input, dalla localizzazione della pupilla e dell'iride tramite un modello circolare a sei parametri, dal gating di qualità, dallo scarico delle coordinate polari Daugman,alla generazione di caratteristiche iris 512 dimensionali da parte della rete IResNet100, 1:N corrispondenza dopo la normalizzazione L2 e, infine, restituzione dei risultati insieme alla latenza per fase.
Per consentire a una rete profonda di cento strati di estrarre in modo stabile le caratteristiche su FPGA si basa su uno stretto allineamento tra quantizzazione del modello, set di dati di taratura e distribuzioni di immagini di telecamere reali,così come un backend di accelerazione a copia zero personalizzato per il modello circolareQuesto è esattamente ciò che Homsh ha fatto per 15 anni: incorporare algoritmi nell'hardware, in modo che il riconoscimento avvenga il più vicino possibile al dispositivo.
Pipeline di inferenza di bordo in sette fasi su FPGA
Le immagini che non superano i controlli di qualità vengono respinte al terzo passaggio, evitando il spreco di calcolo delle caratteristiche.Vettore delle caratteristiche dell'iride 512-dimensionale ¢ 7 passaggi di conduzione di inferenza di bordo ¢ 326 test cumulativi superati
In termini di logica d'uso, il sistema aderisce al principio di "registrazione rigorosa, riconoscimento flessibile".sia i modelli dell'occhio sinistro che quelli dell'occhio destro dell'utente devono superare il gate di qualità ed essere iscritti con successo■ le cornici difettose, i lati oculari duplicati e i lati oculari sconosciuti sono esclusi dal conteggio di registrazione; durante il riconoscimento, invece, gli occhi sinistro e destro sono dedotti separatamente e abbinati:N rispetto ai modelli dell'occhio sinistro e destro rispettivamente nella libreria dei modelli. Una corrispondenza da una singola immagine dell'occhio di qualsiasi query contro qualsiasi modello restituisce un risultato gli utenti non hanno bisogno di posizionare entrambi gli occhi per il sistema; qualunque occhio viene catturato viene elaborato.
I problemi di qualità, i disallineamenti temporanei o gli errori di comunicazione recuperabili non interrompono improvvisamente l'attività.dopo il ripristino della connessione, riprende dall'ID dell'operazione e dai numeri di sequenza riconosciuti senza ripresentare i fotogrammi già ricevuti dall'FPGA.la latenza , rendendo visibili agli utenti il successo, il fallimento e i nuovi tentativi.
La registrazione richiede modelli binoculari completi, mentre il riconoscimento richiede solo una corrispondenza da entrambi gli occhi, bilanciando la sicurezza e l'esperienza utente.
Ciò di cui siamo più orgogliosi in questo rapporto è la sua metodologia, ogni conclusione di verifica è chiaramente classificata in quattro tipi:"Verificato storicamente" da precedenti record di integrazioneI 176 test automatizzati sulla base di Windows sono stati tutti superati.150 test Python a bordo superati, e le funzioni di registrazione/riconoscimento e recupero delle connessioni completate Gli articoli non ancora sottoposti a nuove prove in loco sono anch'essi chiaramente contrassegnati in bianco e nero come "da verificare", senza ambiguità.
Il riconoscimento dell'iride è il business dell'identità, non lascia spazio a "probabilmente va bene".
Tre dati chiave: caratteristiche 512-dimensionali generate tramite accelerazione DPU; tutti i 176 test di base automatizzati di Windows superati; 150 record di test di bordo di Python superati.
Il giudizio generale della relazione è che la soluzione attuale ha gettato le basi per la dimostrazione, l'integrazione e la documentazione in fase,con chiari confini architettonici e architettura cascata complessiva tecnicamente fattibileLe prossime priorità sono altrettanto chiare: stabilità end-to-end, qualità dell'immagine in tempo reale, coerenza di sfasamento delle coordinate polari e monitoraggio dello stato a circuito chiuso per il funzionamento a lungo termine,spostare il gasdotto da "funzionale" a "stabile e affidabile", e poi ai prodotti pronti per la produzione.
Dai chip di riconoscimento dell'iride sviluppati da noi stessi, alla sinergia software-hardware tra algoritmi e FPGA, alla pipeline completa di riconoscimento integrata nei dispositivi edge,Homsh ha sempre creduto che il futuro della biometria risieda al limiteQuesto rapporto è un altro passo verso questo futuro.
