Onderzoekers van de Universiteit van Californië, Davis, zijn erin geslaagd een camera te ontwikkelen die omvangrijke conventionele optica vermijdt ten gunste van een dunne microlensarray en uniek nieuwe beeldverwerkingsalgoritmen om 3D-informatie over de omliggende objecten met slechts één belichting te absorberen.
De nieuwe camera is niet iets dat zomaar iedereen kan ophalen bij hun lokale elektronicawinkel (althans nog niet), maar het kan erg handig worden voor een reeks toepassingen. Denk hierbij aan onder andere verkennende en inspectiefotografie, gebarenherkenning en 3D-weergavetoepassingen.
Volgens opmerkingen voor het optische wetenschappelijke tijdschrift Optica, van onderzoeksteamleider Weijin Yang van de Universiteit van Californië, Davis, “beschouwen we onze camera als lensloos omdat deze de bulklenzen die in conventionele camera’s worden gebruikt, vervangt door een dunne, lichtgewicht microlensarray gemaakt van flexibel polymeer,”
Hij legt verder uit: “Omdat elke microlens objecten vanuit verschillende kijkhoeken kan observeren, kan het complexe beeldtaken uitvoeren, zoals het verkrijgen van 3D-informatie van objecten die gedeeltelijk worden verduisterd door objecten dichter bij de camera.”
Yang en co-auteur van het onderzoek, Feng Tian, een promovendus in het lab van Yang, legden uit dat de nieuwe camera werkt door te leren van bestaande gegevens over een scène om deze digitaal te reconstrueren in 3D-beelden in realtime.
Specifiek, “Deze 3D-camera kan worden gebruikt om robots 3D-visie te geven, wat hen kan helpen bij het navigeren door de 3D-ruimte of complexe taken mogelijk maakt, zoals manipulatie van fijne objecten”, aldus Yang. “Het kan ook worden gebruikt om rijke 3D-informatie te verkrijgen die inhoud kan bieden voor 3D-schermen die worden gebruikt in gaming, entertainment of vele andere toepassingen.”
De camera van Yang en Tian kwam voort uit eerder werk waarin de twee onderzoekers een compacte microscoop creëerden voor 3D-beeldvorming van kleine structuren in de biogeneeskunde. Zoals de onderzoekers uitleggen, gebruikte de microscoop ook een microlensarray om beelden weer te geven en vervolgens onderzochten ze de mogelijkheid om dezelfde technologie op een macroscopisch beeldvormingsapparaat te gebruiken.
Omdat de camera flexibele individuele lenzen bevat, kan deze worden gebruikt om objecten vanuit meerdere perspectieven te bekijken voor superieure diepte- en vorminformatie die in 3D-vorm wordt gevisualiseerd.
Afbeelding Credits: Optica
Eerdere onderzoeksinspanningen van anderen hebben een meer basale vorm van deze technologie gebruikt in hun eigen microlensarrays, maar met slechts één lenslaag. De camera van Yang en Tian gebruikt in plaats daarvan meerdere lenslagen voor nauwkeurigere beeldvorming op snelheid. Dit was voorheen moeilijk te bereiken vanwege “uitgebreide kalibratieprocessen” en trage fotoreconstructiesnelheden.
Yang legt uit dat voor eerdere inspanningen met deze beeldverwerkingstechnologie, “veel bestaande neurale netwerken aangewezen taken kunnen uitvoeren, maar het onderliggende mechanisme is moeilijk uit te leggen en te begrijpen,” Hij legt vervolgens uit dat nu met de camera- en verwerkingssystemen van zijn team, “ons neurale netwerk is gebaseerd op een fysiek model van beeldreconstructie. Dit maakt het leerproces veel eenvoudiger en resulteert in hoogwaardige reconstructies.”
Volgens de onderzoekers zal het, zodra dit beeldvormingsproces is voltooid, snel beelden ontwikkelen die meerdere objecten op verschillende afstanden van de camera bevatten en detailleren. Het zal deze snel kunnen ontwikkelen omdat het geen complexe kalibratie nodig heeft en dus de 3D-locaties en ruimtelijke profielen van objecten in kaart kan brengen.
Bovendien is de camera in staat om 3D-beelden van meerdere objecten op verschillende diepten te maken op een zodanige manier dat de resulterende 3D-foto opnieuw kan worden scherpgesteld naar verschillende nauwkeurige brandpuntsafstanden tussen de vastgelegde objecten. Voor Yang betekent dit dat “onze camera objecten achter de ondoorzichtige obstakels in beeld kan brengen”, hij verklaarde ook dat “Voor zover we weten, is dit de eerste demonstratie van het fotograferen van objecten achter ondoorzichtige obstakels met behulp van een lensloze camera.”
Met deze mogelijkheden kan de camera worden gebruikt om robots 3D-zicht te geven op een manier waarmee ze door complexe ruimtes kunnen navigeren en ingewikkelde manipulatieve taken veel gemakkelijker kunnen uitvoeren. De camera kan ook robots of tastapparatuur verborgen en ontoegankelijke ruimtes in detail laten scannen op manieren die conventionele camera’s niet kunnen.
Toekomstige toepassingen voor de cameratechnologie zouden ook heel goed in consumentenelektronicawinkels terecht kunnen komen. Yang zei dat “het ook kan worden gebruikt om rijke 3D-informatie te verkrijgen die inhoud kan bieden voor 3D-schermen die worden gebruikt in gaming, entertainment of vele andere toepassingen,”
Het is vermeldenswaard dat de cameralensarray zelf slechts 12 millimeter breed is met een totaal van 37 microlenzen verdeeld in deze ruimte. Dit is de totaliteit van het lenssysteem dat wordt gebruikt om een hele complexe scène vast te leggen die de fysicabewuste deep learning-algoritmen achter de camera vervolgens in realtime in beelden oplossen.
Met andere woorden, het is heel goed mogelijk dat consumentencamera’s en smartphonelenzen in de nabije toekomst dezelfde technologie voor recreatief fotograferen kunnen bevatten die tot nu toe niet is gezien. Dit is in feite waar Yang en zijn team specifiek aan willen werken zodra ze de artefact- en foutproblemen hebben verminderd die hun microlenscamera nog steeds veroorzaakt.
Yang’s volledige onderzoekspaper is beschikbaar op de website van het Optica-tijdschrift voor iedereen die geïnteresseerd is in de diepere details.
Bekijk deze 8 essentiële tools om je te helpen slagen als professionele fotograaf.
Inclusief tijdelijke kortingen.
Lees hier meer