Inleiding tot industriële camera’s
Inleiding tot industriële camera’s
Bij het samenstellen van een machinevisie-systeem is de keuze van de camera en lens afhankelijk van verschillende factoren zoals de te detecteren objecten, de gewenste output, het beschikbare licht, de temperatuur, de beschikbare ruimte, en natuurlijk ook de prijs van het complete systeem. Dit artikel bevat een korte beschrijving van de verschillende aspecten van een industriële camera, en verwijzingen naar meer informatie voor de geïnteresseerde lezer. Zo kan u de type sensoren selecteren die passen bij de behoeften van uw toepassing.
Area scan en lijnscan sensoren
De sensor in een industriële camera kan verschillende vormen aannemen, afhankelijk van de functie. De meest gangbare zijn rechthoekige sensoren welke 2D beelden kunnen registreren (area scan) en lijnvormige sensoren voor 1D beelden (line scan). Welke de voorkeur geniet hangt sterk af van de situatie:
- Area scan sensoren zijn geschikt om een volledig beeld tegelijk waar te nemen, en zijn dus geschikt voor het op afstand monitoren van statische of dynamische situaties. Voorbeelden zijn pick-and-place toepassingen, monitoring van systemen op afstand, het lokaliseren of volgen van een object, en kwaliteitscontrole.
- Line scan of lijnscan sensoren zijn uitermate geschikt voor situaties waarin een intrinsieke constante beweging aanwezig is, zoals transportbanden, productstromen of bewegende platformen (auto, vliegtuig, satelliet, …). De beweging zelf zal de 2e ruimtelijke dimensie van het beeld vormen, wat een lijnscanner toelaat een in principe oneindig lange 2D foto continu op te bouwen. Gebruik van een area scan sensor voor een dergelijke situatie zou heel wat moeilijkheden opleveren wegens de grote overlap tussen opeenvolgende beelden en de nood aan synchronisatie en stitching. Een andere manier om naar een lijnscan sensor te kijken is als een spatiaal-temporele sensor, waarbij de 2e ruimtelijke dimensie een lineaire functie van de tijd is.
Een area scan sensor (links) neemt een rechthoekig 2D beeld waar, een lijnscan sensor (rechts) een enkele 1D lijn. Door de beweging van het object kan een lijnscan sensor toch een 2D beeld opbouwen, lijn per lijn.
Geometrie van een sensor
De geometrie van een standaard area scan sensor bepaald reeds heel wat van zijn eigenschappen. Zo heeft een sensor een fysieke grootte, traditioneel uitgedrukt als een verhouding en een lengte:
- De “grootte” van een sensor is de diagonale afstand, gemeten tussen twee tegenover elkaar liggende punten van de rechthoek. Deze afstand wordt in mm of in inch gegeven (1 inch = 25.4mm).
- De verhouding tussen de lange (horizontale) en korte (vertikale) zijde van de rechthoek is de aspect ratio van de sensor. De meest gangbare aspect ratio is 4/3, hoewel hier erg veel afwijkingen op bestaan. Ook is dit niet steeds een mooie verhouding wegens elektronische of digitale afwegingen.
Indien de diagonaal en de aspect ratio van de rechthoek gekend zijn kan men de horizontale en vertikale lengte éénduidig bepalen.
Een standaard beeldsensor op een chip. De lichtgevoelige sensor array zelf is de groen-rood getinte rechthoek in het midden. Filya1, CC BY-SA 3.0 https://creativecommons.org/licenses/by-sa/3.0, via Wikimedia Commons
Een sensor bestaat uit een regelmatig rooster van lichtgevoelige cellen, de pixels. Het aantal rijen en kolommen pixels dat zich in dit rooster bevind is de resolutie van de sensor, en wordt vaak weergegeven als twee getallen. Het totale aantal pixels is dan het product van deze twee getallen, en wordt vaak aangegeven in megapixel (1 miljoen pixels). In bijna alle gevallen zijn pixels vierkant, en zal dus de verhouding van de twee resolutie getallen overeenkomen met de fysieke aspect ratio van de sensor. De fysieke grootte van de sensor en zijn resolutie bepalen ook de grootte van een individuele pixel, de “pixel pitch”. Merk op dat het effectief fotogevoelige gebied van een pixel meestal kleiner is dan de volledige theoretische grootte: De verhouding van beide noemt men de “fill factor”, of vullingsfactor. We geven een voorbeeld ter verduidelijking aan de hand van de Sony IMX007 sensor:
- De beeldsensor heeft vierkante pixels, met een resolutie van 4312 x 2880. Dit betekent dat er 2880 horizontale rijen pixels zijn en 4312 vertikale kolommen in sensor array. Het totale aantal pixels is 12418560, dit is dus een 12.4 MP (megapixel) sensor.
- De aspect ratio kan hieruit berekend worden als 4312 / 2880 = 1.497. Dit is dus (bijna) een 3/2 verhouding.
- De sensor heeft een grootte van 28.47mm. Met de gekende aspect ratio kan dit omgerekend worden in de horizontale x vertikale afmetingen 23.67 x 15.81 mm.
- Hieruit kan ook de grootte van 1 pixel berekend worden: Elke pixel is 5.49 x 5.49 μm, of de pixel pitch is 5.49 μm
Op technische beperkingen na is er in principe geen grens op het aantal pixels dat men op een sensor kan plaatsen, maar enkele fysieke en praktische beperkingen beginnen wel te spelen:
- Een grotere pixel zal meer licht ontvangen, wat resulteert in een betere signaal-ruis verhouding en betere prestaties in donkere omgevingen.
- Een kleinere pixel laat toe meer pixels op de sensor te plaatsen en dus in theorie meer details waar te nemen. Een ondergrens is echter opgelegd door de optische karakteristieken van het lens systeem: De modulation transfer function van de lens bepaald (ruwweg) de kleinste details die nog scherp zichtbaar zijn op de sensor, en indien de pixels kleiner worden dan dit niveau zal dit enkel in wazige details resulteren, zonder extra info toe te voegen. Ook zijn er mechanische en elektronische beperkingen, waardoor de kleinst mogelijke pixel pitch momenteel rond de 1 μm zit. Typische sensoren hebben een pixel pitch rond de 3 – 10 μm.
- Een hoge resolutie met een grote pixel pitch geeft een scherp beeld met weinig ruis, maar resulteert in een fysiek grote (en dure) sensor welke ook grote (en dure) lenzen nodig heeft. Afwegingen moeten hier steeds gemaakt worden.
Een lijnscan sensor heeft in tegenstelling tot een area scan sensor maar 1 dimensie. De meeste van bovenstaande concepten blijven van toepassing bij een lijnscan sensor, waarbij de vertikale resolutie een klein getal is dat overeenkomt met één of enkele rijen pixels.
Monochroom, kleur en spectrale cameras
Een area scan sensor is steeds beperkt tot het waarnemen van één enkel signaal per pixel, wat dus een intrinsiek monochromatisch beeld zal opleveren. Het toepassen van per-pixel filters en interpolatie laat echter toch toe meerdere kleurkanalen waar te nemen met één sensor. Voor traditionele kleurencamera’s gebaseerd op drie kanalen (RGB) wordt dit typisch bereikt via een Bayer filter matrix, waar elke pixel een kleurenfilter heeft (rood, groen of blauw). De helft van de pixels heeft een groene, een kwart een rode en de rest een blauwe filter. Meer pixels hebben een groene filter om de menselijke waarneming na te bootsen, waarvan bekend is dat ze gevoeliger zijn voor het groene licht. Om de uiteindelijke 3-kanaals kleur van elke pixel te bepalen, wordt de informatie van aangrenzende pixels gebruikt door het debayering-algoritme. De meeste conventionele kleurensensoren die tegenwoordig op de markt verkrijgbaar zijn, hebben dit proces van debayering ingebed, waardoor direct van de sensor zelf het kleurenbeeld met drie kanalen (RGB) kan worden verkregen.
Een Bayer filter bovenop een area scan sensor. en:User:Cburnett, CC BY-SA 3.0 http://creativecommons.org/licenses/by-sa/3.0/, via Wikimedia Commons
Als de beoogde applicatie geen kleurinformatie nodig heeft voor de analyse, dan kan het best een monochrome camera gebruikt worden. Deze sensoren zijn gevoeliger dan kleurencamera’s (geen filters, en dus meer licht en een groter signaal) en leveren meer gedetailleerde beelden op. Ook zijn RGB camera’s geoptimaliseerd voor visuele weergave aan mensen, wat in een industrieel scenario vaak secundair aan de toepassing is. Aan de andere kant kan men de Bayer patronen op een sensor ook veranderen, bv. om andere golflengtes waar te nemen, of verder uitbreiden naar meer dan 3 kanalen, bv. zoals de imec multispectrale snapshot sensoren welke 16 tot 25 kleurkanalen kunnen waarnemen. Het compromis voor de hogere spectrale informatie van dergelijke spectrale snapshot sensoren zijn de grotere interpolatie-artefacten. https://www.imechyperspectral.com/en
Lijnscan sensoren hebben hierin een bijkomende troef: de ontbrekende tweede ruimtelijke dimensie kan gebruikt worden om inkomend licht op te splitsen in verschillende spectra (bv. met een prisma of een diffractierooster), waardoor een spatiaal-spectraal signaal bekomen kan worden (multispectrale of hyperspectrale beeldvorming). Hierbij is geen interpolatie vereist, en het aantal kleurkanalen per pixel kan groot zijn, in de grootteorde van tientallen (multispectraal), honderden (hyperspectraal) tot duizenden (ultraspectraal) kanalen. Merk op dat er heel wat alternatieve beeldvormingstechnieken bestaan om spectrale beelden te genereren, gebaseerd op het geometrisch spreiden van de kleurinfo met een dispersie-element, het selectief filteren van golflengtes of selectieve belichting met monochrome lichtbronnen.
Verschillende technieken voor spectrale beeldvorming. Lucasbosch, CC BY-SA 4.0 https://creativecommons.org/licenses/by-sa/4.0, via Wikimedia Commons
Spectrale beelden leveren uitermate veel kleurinformatie op in elke pixel, en geavanceerde hyperspectrale systemen laten zelfs toe een gedetailleerd spectrum per pixel te registreren, tot ver buiten het zichtbare gebied (UV – VIS – NIR – SWIR – MIR – LWIR – TIR). Dit gaat echter ten koste van hun grote ruisgevoeligheid (weinig licht per pixel per kleurkanaal), hun complexe opbouw (groot, koeling vereist, grote bandbreedte, delicate sensoren, …) en hun erg hoge prijs (tienduizenden euro voor VIS-NIR, tot honderduizenden voor SWIR).
We wensen in dit artikel niet diep in te gaan op spectrale beeldvorming, maar hebben wel veel ervaring hierin. U kan ons gerust contacteren indien u meer info hierover wenst.
Sensor technologie: CMOS, CCD en alternatieven
In CMOS-camera’s (Complementary Metal-Oxide Semiconductor) is de elektronica die het licht omzet in digitale signalen geïntegreerd in het oppervlak van de sensor (bijv. Versterkers, ruiscorrectie en digitaliseringscircuits). Dit maakt de overdracht van de digitale gegevens bijzonder snel. CMOS-sensoren zijn minder duur, vertonen geen uitvloeiing of vlek, en hebben een hoger dynamisch bereik. In de auto-industrie is dit laatste kenmerk vrij belangrijk omdat het het mogelijk maakt om zowel een verlichte kentekenplaat als de schaduwpersoon in een auto in hetzelfde beeld vast te leggen.
De CCD-sensoren (Charge-Coupled Device) hebben geen conversie-elektronica op het sensoroppervlak. Wanneer licht de fotoreceptor binnenkomt, wordt het opgeslagen als een elektrische lading in de sensor, vervolgens omgezet in spanning, gebufferd en uitgezonden als een analoog signaal wanneer de sluiter wordt gesloten. Ze kunnen meer licht opvangen en hebben dus een lagere ruisfactor, een hoge vulfactor en een hogere kleurechtheid. Deze eigenschappen maken CCD-camera’s een goede keuze voor toepassingen met weinig licht en lage snelheid, zoals astronomie.
Een CCD en CMOS sensor, met microscopiebeelden die duidelijk de hogere complexiteit aantonen van de CMOS sensor. Master dpo, CC BY-SA 3.0 https://creativecommons.org/licenses/by-sa/3.0, via Wikimedia Commons
Het substraat van de sensor zelf bepaalt de golflengtes waar de sensor gevoelig is, en vaak ook de prijs. De spectrale responscurve van een substraat toont de efficiëntie om fotonen om te zetten in een elektrische lading als een functie van de golflengte, en dus ook hoe gevoelig de sensor is voor licht van een bepaalde golflengte of kleur. Een goede respons in het waar te nemen gebied is uiteraard onontbeerlijk.
Voor zichtbaar licht zijn silicium substraten erg geschikt. Deze technologie is ook relatief goedkoop. Quasi alle commerciële camera’s voor zichtbaar licht zijn gebaseerd op silicium technologie. Merk op dat silicium ook erg gevoelig is voor nabij infrarood licht, en dat NIR cameras gemakkelijk gemaakt kunnen worden met Si-gebaseerde sensoren. Voor gebruik enkel in het zichtbare gebied is deze gevoeligheid echter ongewenst, en in de praktijk wordt een shortpass filter voor de sensor geplaatst welke de NIR golflengtes niet doorlaat.
Voor infrarood licht van langere golflengte zijn andere technologieën nodig. InGaAs sensoren zijn erg gevoelig in het SWIR gebied, voor nog langere golflengtes kan men overgaan nar HgCdTe of Vanadium oxide technologieën. Door de nood aan koeling, de gevoelige en complexe constructie en de lage productievolumes van deze sensoren zijn deze erg duur in aankoop.
De spectrale responscurve voor twee verschillende substraten: Silicium (de “standaard” sensor, vaak gebruikt voor zichtbaar licht en nabij infrarood) en Indium-Gallium-Arsenide voor kortegolf infrarood.
Frame rate en sluitertijd
De frame rate van een sensor of camera is het aantal afbeeldingen dat per seconde kan vastgelegd worden, en wordt uitgedrukt in frames per second (fps), oftewel beelden per seconde. De framesnelheid van een film is meestal 24 fps. Vanaf ongeveer 14 tot 16 fps ziet een afgespeelde film er vloeiend uit voor het menselijke brein.
In industriële toepassingen kunnen echter veel hogere frame rates nodig zijn. Monitoringsystemen voor hoge-snelheidsprocessen zoals bijvoorbeeld lasboog-monitoring, laser monitoring in selectief smelten voor 3D printen, of vrije-val sorteermachines halen gemakkelijk frame rates van verschillende duizenden frames per seconde. Merk op dat dit vaak ten koste gaat van resolutie: De hoeveelheid data gegenereerd door een sensor is ruwweg evenredig met het aantal pixels dat per seconde opgenomen wordt. Dit is op zijn beurt evenredig met de resolutie van elk frame, en met het aantal frames per seconde dat opgenomen wordt. Gezien de snelheid waarmee data gestreamed kan worden naar randapparatuur gelimiteerd is door de hardware die de communicatie verzorgt, zullen hogere frame rates lagere resoluties vereisen.
Het signaal dat de sluiter van de sensor opent en sluit als functie van de tijd. De sluitertijd is de periode dat de sensor gevoelig is voor licht tijdens elke periode, de frame rate het inverse van de tijd per frame.
De sluitertijd van een camera is het tijdsinterval gedurende wanneer de sensor “open” staat voor het opnemen van één enkele video frame. Dit noemt men ook de integratietijd. Gedurende het openen van de sluiter is de sensor gevoelig voor binnenkomend licht, en worden inkomende fotonen in elk sensor-element verzameld en omgezet in een elektrisch signaal (een lading of een spanning). Hoe langer de sluitertijd, hoe meer licht verzameld wordt en hoe beter de signaal-ruis verhouding zal worden. Dit is vooral van belang in donkere situaties. Lange sluitertijden gaan echter ten koste van “motion blur”, vervaging van het beeld veroorzaakt door het bewegen van het onderwerp tijdens de periode dat de sluiter open is. Korte sluitertijden geven scherpere beelden zonder motion blur, wat vooral in snelle processen van belang is. Dit gaat dan ten koste van de signaal-ruis verhouding, en zal donkere ruizige beelden opleveren. Een correcte en krachtige belichting, of een stroboscopische belichting gesynchroniseerd met het openen van de sluiter kan hier een oplossing bieden.
Sluitertijden zijn gelimiteerd door enerzijds de frame rate van de camera (de sluiter kan niet langer openstaan dan de tijd tussen twee frame opnames), en anderzijds de digitale en elektronische beperkingen van de sensor die een minimale sluitertijd opleggen. Merk op dat de meeste sensoren een korte tijd nodig hebben om de sensor uit te lezen en te resetten na opname van elk frame, waardoor een minimale periode waarin de sluiter dicht is noodzakelijk is.
Globale en rollende shutter
Sluiters in digitale fotografie zijn elektronisch, en verwerkt in de sensor hardware. De manier waarop een sluiter dan werkt en de sensor wordt uitgelezen kan echter verschillen tussen technologieën. De twee meest voorkomende types zijn de globale en de rollende sluiter.
Als je vervormingen bij hoge snelheden wilt vermijden en je je niet al te veel zorgen maakt over de prijs, vooral als je een dynamisch proces / systeem hebt, dan is een globale sluitersensor de optimale keuze. Met de globale sluiter wordt het hele sensoroppervlak tegelijk aan licht blootgesteld. Het is geweldig voor applicaties met hoge snelheid, zoals verkeer en transport, of logistiek.
Een rollende sluiter leest een beeld lijn per lijn en de lijnen worden vervolgens opnieuw samengesteld tot één enkel beeld. Als het object snel beweegt of de lichtomstandigheden slecht zijn, wordt het beeld vervormd. Er is echter een oplossing om de vervormingseffecten te minimaliseren door de belichtingstijd van de sensor aan te passen en een zaklamp aan het systeem toe te voegen.
In het algemeen is een globale sluiter moeilijker te construeren en daardoor duurder. Voor industriële toepassingen is dit meestal echter wel de beste keuze.
Een globale sluiter registreert het volledige beeld ineens. Gebeurtenissen tussen twee registraties kunnen hierdoor gemist worden. Een rollende sluiter registreert lijn per lijn, waarbij het object kan bewegen tussen opeenvolgende lijnen. Jacopo Bertolotti, CC0, via Wikimedia Commons