환경을 모니터링하고 실제 세계를 탐색하려면 로봇이 다양한 배경 조명 조건에서 이미지와 환경 측정값을 획득할 수 있어야 합니다. 최근 몇 년 동안 전 세계의 연구원과 엔지니어는 로봇, 감시 시스템 또는 주변 환경을 감지할 수 있는 기타 장치에 통합할 수 있는 더욱 발전된 센서를 개발하기 위해 노력해 왔습니다.
밈 컨설팅(Memes Consulting)에 따르면 홍콩 이공대, 북경대, 연세대, 복단대 연구진이 최근 인공적으로 망막 기능을 모사하는 메커니즘을 사용하는 새로운 유형의 생체 공학 비전 센서를 개발했으며 다양한 분야에 사용할 수 있는 데이터를 수집했다. 조명 조건에서. 이 생체 공학 비전 센서는 이황화 몰리브덴으로 만든 광 트랜지스터를 기반으로 합니다.
생체모방 비전 센서 어레이 사진(왼쪽); 비전 센서 유닛의 개략적인 구조와 광학현미경 이미지(오른쪽)
"Our research team started work on optoelectronic memory five years ago," said Yang Chai, one of the researchers who developed the vision sensor. "This emerging device can output light-dependent and history-dependent signals, enabling image integration. , Weak signal accumulation, spectral analysis and other complex image processing functions, the multi-functional integration of sensing, data storage and data processing into one device."
2018년 Yang Chai와 그의 동료들은 광전자 메모리에 대한 첫 번째 논문을 발표했으며, 여기에서 광 감지 및 논리 연산을 수행할 수 있는 저항성 스위칭 메모리 장치를 소개했습니다. 1년 후, 팀은 세 가지 다른 기능을 가진 새로운 유형의 감광성 랜덤 액세스 메모리를 도입했습니다. 특히 새로운 장치는 환경을 감지하고 정보를 메모리에 저장하며 뉴로모픽 시각적 전처리 작업을 수행할 수 있습니다.
"We studied the concepts of near-sensor and in-sensor computing paradigms in 2020 and published our views in the field." Yang Chai continued, "This new research on biomimetic vision sensors builds on our On top of all previous efforts."
The intensity of ambient natural light varies widely, with a total range of 280 dB. When the human retina senses external light signals, it adjusts the light sensitivity of its photoreceptors (i.e., rods and cones) according to the strength of the signal. This ultimately enables the human eye to gradually adapt to varying levels of lighting, allowing it to see clearly in both dark and bright environments, an ability known as "visual adaptation."
"For example, when you enter a dark cinema from a bright hall, you can hardly see anything at first, but after a while in the cinema, it becomes easier to see things," explains Yang Chai. "This phenomenon is called scotopic adaptation. Conversely, if you go from a dark movie theater to a sunny outdoors, you'll feel very dazzled at first, and it takes a while to get used to seeing what's going on around you. The process The opposite of dark adaptation is called photopic adaptation."
The main goal of Yang Chai and his colleagues' recent work is to build a vision sensor inspired by the structure and function of the human retina. To do this, they first started by studying the human retina and then tried to design perceptual strategies that would allow them to artificially simulate visual adaptations.
CMOS 기술을 기반으로 하는{0}최신{1}{2}이미지 센서는 일반적으로 동적 범위가 70dB로 제한됩니다. 그러나 이 동적 범위는 자연 장면의 조명 범위(280dB)보다 훨씬 좁습니다.
"To achieve visual perception over a wide range of light intensities, researchers have explored the use of controlled optical apertures, liquid lenses, adjustable exposure times, and denoising algorithms in post-processing," said Yang Chai. "However, these Methods often require complex hardware and software resources."
Dark and light adaptation of biomimetic vision sensor arrays. (a) Schematic of the dark adaptation test: recognition of low-light images using an 8 x 8 pixel array in a dark environment. (b) Schematic diagram of light adaptation test: recognition of high-illuminance images using an 8 x 8 pixel array in a bright environment. (c) Dark adaptation process to identify the "8" pattern. (d) The photoadaptation process to identify the "8" pattern.
광전자 기기는{0}감각 터미널에서 광적응 비전과 넓은 감지 범위를 갖는 매우 가치 있는 애플리케이션을 가질 수 있습니다. 예를 들어, 컴퓨터 비전 도구의 성능을 개선하고, 로봇 또는 기타 감지 시스템을 구축하는 데 필요한 하드웨어 복잡성을 줄이고, 이미지 인식 시스템의 정확도를 개선하는 데 도움이 될 수 있습니다.
그러나 다른 연구팀은 과거에 다양한 조명 조건에 적응할 수 있는 광전자 장치를 개발했습니다. 그러나 이전에 시연된 대부분의 장치는 망막의 광 적응 메커니즘만 모방할 수 있습니다. 암흑 적응 과정은 지금까지 시뮬레이션하기가 더 어려운 것으로 판명되었습니다.
"There is still a long way to go to fully replicate the visual adaptation function of the retina," explains Yang Chai. "To achieve this, we designed a phototransistor-based vision sensor using ultra-thin semiconductors that can The degree of dark adaptation and light adaptation in the same device was controlled by applying different gate voltages. In this way, we simulated photoreceptors and horizontal cells in the retina and successfully achieved a sensing range of 199 dB. Vision-adaptive devices in biomimetic sensors."
시각 적응(어두운 적응 및 빛 적응)을 위한 망막의 광수용체 및 수평 세포의 인공 시뮬레이션
Yang Chai와 동료들이 개발한 생체모방 비전 센서는 이황화 몰리브덴으로 알려진 초박형 반도체 재료로 만들어진 광 트랜지스터를 기반으로 합니다. 그들이 사용한 광트랜지스터는 다양한 게이트 전압에서 채널 내에서 전자를 가두거나 방출할 수 있는 다중 전하 트랩 상태를 가지고 있습니다.
Ultimately, these states allow researchers to dynamically tune the conductance of their devices. This, in turn, allowed them to artificially simulate the dark- and light-adaptive mechanisms of the human retina, thereby expanding the range of their sensor's perception of different lighting conditions.
"Our bionic vision sensor has several advantages and features," said Yang Chai. "First, the visual adaptation function is implemented in a single device, which greatly reduces the footprint. Second, multiple functions can be implemented on a single device. , including light sensing, memory, and processing. Finally, dark and light adaptation under different light intensities can be achieved by controlling its gate voltage."
Yang Chai와 그의 동료들은 일련의 테스트에서 생체 공학 비전 센서를 평가했으며 인간 망막의 기능을 효과적으로 모방할 수 있다는 것을 발견하여 어둡거나 밝은 적응 모두에서 놀라운 결과를 달성했습니다. 또한 이전에 제안된 솔루션에 비해 훨씬 더 높은 지각 범위(199dB)를 제공합니다.
"Our vision sensor can enrich machine vision functions, reduce hardware complexity, and achieve high image recognition efficiency," said Yang Chai, "All these advantages are available in areas such as autonomous driving, face recognition, and industrial manufacturing in complex lighting environments. great application prospects."
향후 연구에서 연구원들은 비전 센서의 성능을 더욱 개선하는 동시에 센서 어레이로 구성된 대규모 시스템을 제작하는 데{0}사용할 계획입니다. 이상적으로는 더 넓은 시야를 가능하게 하기 위해 유연하거나 반구형 기판에 이 센서 어레이를 구축하기를 원합니다.
"One area that needs improvement is the adaptation time of our vision sensor, as it is still not enough to support machine vision applications." Yang Chai added, "Our goal is to reduce the adaptation time to the microsecond level. In addition, the vision sensor array scale Further improvements are also needed. Our near-term target for array size is greater than 100 x 100 pixels. Finally, the heterogeneous integration of vision sensors and post-processing units, including silicon-based control circuits, is a very important step toward practical applications."
GMKJ Technology는 건강하고 스마트한 광원에 깊이 관여하여 모든 범위의 UVA UVB UVC LED, 적외선 IR LED VCSEL 제품 및 솔루션을 시장에 제공합니다. 건강하고 스마트한 삶을 만들기 위한 조명 기술의 사용을 공동으로 촉진하기 위해 국내외 시장에 수백 개의 고품질 파트너가 있습니다.{0} .
