WiMi Hologram Cloud Inc. ha annunciato un metodo di segmentazione semantica della nuvola di punti fusa con l'immagine, basato sulla rete convoluzionale a grafo fuso, con l'obiettivo di utilizzare le diverse informazioni dell'immagine e della nuvola di punti per migliorare la precisione e l'efficienza della segmentazione semantica. I dati delle nuvole di punti sono molto efficaci nel rappresentare la geometria e la struttura degli oggetti, mentre i dati delle immagini contengono informazioni ricche di colori e texture. La fusione di questi due tipi di dati può utilizzare i loro vantaggi simultaneamente e fornire informazioni più complete per la segmentazione semantica.

La rete convoluzionale a grafo fuso (FGCN) è un modello di apprendimento profondo efficace, in grado di elaborare simultaneamente i dati delle immagini e delle nuvole di punti e di trattare in modo efficiente le caratteristiche delle immagini con risoluzioni e scale diverse, per un'estrazione efficiente delle caratteristiche e una segmentazione delle immagini. FGCN è in grado di utilizzare i dati multimodali in modo più efficiente, estraendo le informazioni semantiche di ogni punto coinvolto nei dati bimodali dell'immagine e della nuvola di punti. Questo modulo consente all'FGCN di utilizzare le informazioni spaziali nei dati dell'immagine per comprendere meglio le informazioni contestuali nell'immagine, calcolando le informazioni semantiche dei k vicini più prossimi intorno a ciascun punto.

Questo aiuta FGCN a distinguere meglio le caratteristiche più importanti e a rimuovere il rumore rilevante. Inoltre, FGCN impiega un meccanismo di attenzione spaziale per concentrarsi meglio sulle caratteristiche più importanti nei dati della nuvola di punti. Questo meccanismo consente al modello di assegnare pesi diversi a ciascun punto in base alla sua geometria e alla relazione dei punti vicini, per comprendere meglio le informazioni semantiche dei dati della nuvola di punti.

Fondendo le caratteristiche multi-scala, FGCN aumenta la capacità di generalizzazione della rete e migliora l'accuratezza della segmentazione semantica. L'estrazione di caratteristiche multi-scala consente al modello di considerare le informazioni in diverse scale spaziali, portando a una comprensione più completa del contenuto semantico delle immagini e dei dati delle nuvole di punti. Questa segmentazione semantica di nuvole di punti fuse con immagini e rete convoluzionale a grafo di fusione è in grado di utilizzare le informazioni dei dati multimodali, come le immagini e le nuvole di punti, in modo più efficiente, per migliorare l'accuratezza e l'efficienza della segmentazione semantica, che dovrebbe far progredire la visione artificiale, l'intelligenza artificiale, la fotogrammetria, il telerilevamento e altri campi, fornendo un nuovo metodo per la futura ricerca sulla segmentazione semantica.

Questa segmentazione semantica delle nuvole di punti con rete convoluzionale a grafo di fusione ha un'ampia gamma di prospettive di applicazione e può essere applicata in molti campi, come la guida autonoma, la robotica e l'analisi delle immagini mediche. Con il rapido sviluppo della guida autonoma, della robotica, dell'analisi delle immagini mediche e di altri campi, c'è una crescente richiesta di elaborazione e segmentazione semantica dei dati di immagini e nuvole di punti. Ad esempio, nel campo della guida autonoma, le auto a guida autonoma devono percepire e comprendere accuratamente l'ambiente circostante, compresa la segmentazione semantica di oggetti come strade, veicoli e pedoni.

Questa segmentazione semantica della nuvola di punti con rete convoluzionale a grafo di fusione può migliorare la percezione e la comprensione dell'ambiente circostante e fornire un supporto di dati più preciso per il processo decisionale e il controllo delle auto a guida autonoma. Nel campo della robotica, i robot devono percepire e comprendere l'ambiente esterno per svolgere diversi compiti. La segmentazione semantica della nuvola di punti di fusione di immagini con la rete convoluzionale del grafico di fusione può fondere i dati di immagini e nuvole di punti acquisiti dai robot per migliorare la capacità di percepire e comprendere l'ambiente esterno, aiutando i robot a svolgere meglio i compiti.

Nel settore medico, l'analisi delle immagini mediche richiede una segmentazione e un riconoscimento accurati delle immagini mediche per assistere meglio la diagnosi e il trattamento medico. La segmentazione semantica delle nuvole di punti con rete convoluzionale a grafo di fusione può fondere le immagini mediche e i dati delle nuvole di punti per migliorare la segmentazione e l'accuratezza del riconoscimento delle immagini mediche, fornendo così un supporto di dati più preciso per la diagnosi e il trattamento medico. In futuro, la ricerca WiMi ottimizzerà ulteriormente la struttura del modello.

Allo stesso tempo, il modello sarà combinato con la tecnologia di deep learning per sfruttare la tecnologia di deep learning e migliorare le prestazioni del modello. E svilupperà ulteriormente la tecnologia di fusione dei dati multimodali per fondere diversi tipi di dati (ad esempio, immagine, nuvola di punti, testo, ecc.) per fornire informazioni più complete e più ricche e migliorare l'accuratezza della segmentazione semantica. WiMi continuerà a migliorare l'elaborazione in tempo reale della segmentazione semantica delle nuvole di punti fuse con immagini e con la capacità di rete convoluzionale del grafico di fusione per soddisfare la domanda.