Sony Corporation zapowiedziało wprowadzenie dwóch modeli inteligentnych czujników wizyjnych, będących pierwszymi na świecie przetwornikami obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI) Wprowadzenie funkcji przetwarzania AI w samym przetworniku obrazu umożliwia szybkie przetwarzanie Edge AI i selekcjonowanie tylko potrzebnych danych, co w przypadku użycia serwisów chmurowych oznacza mniejsze opóźnienia w transmisji, lepszą ochronę prywatności
oraz niższe zużycie energii i koszty łączności.
Nowe produkty zwiększą możliwości opracowywania kamer i aparatów wyposażonych w sztuczną inteligencję. Stworzą szereg nowych zastosowań w handlu detalicznym i sektorze urządzeń przemysłowych, przyczyniając się do budowy optymalnych systemów łączących z chmurą.
Rozwój Internetu rzeczy (IoT) spowodował powstanie najróżniejszych urządzeń połączonych z chmurą, w wyniku czego powszechne stały się systemy do przetwarzania informacji, w których dane pochodzące z takich urządzeń są przetwarzane przez sztuczną inteligencję w chmurze. Wzrost ilości informacji obsługiwanych przez chmurę rodzi jednak różne problemy: większe opóźnienia w transmisji danych utrudniające przetwarzanie w czasie rzeczywistym, obawy o bezpieczeństwo w przypadku użytkowników o których sądzi się, że przechowują w chmurze dane umożliwiające identyfikację osób, a także większy pobór mocy i wyższe koszty transmisji danych generowane przez usługi chmurowe.
Nowe przetworniki mają konfigurację warstwową i składają się bloku pikseli i bloku układów logicznych. Są pierwszymi na świecie przetwornikami obrazu, w których funkcje analizy i przetwarzania obrazu z użyciem sztucznej inteligencji są realizowane przez sam blok układów logicznych. Sygnał rejestrowany przez blok pikseli jest przetwarzany z użyciem sztucznej inteligencji w samym przetworniku. Eliminuje to zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, umożliwiając rozwój systemów Edge AI. Wyjściowymi danymi z przetwornika nie są informacje o obrazie, tylko metadane (informacje semantyczne należące do danych o obrazie), co pomaga rozwiązać problem dużej ilości danych i ochrony prywatności. Co więcej, sztuczna inteligencja pozwala zapewnić różnorodne funkcje o uniwersalnych zastosowaniach, takie jak śledzenie obiektów w czasie rzeczywistym z szybkim przetwarzaniem AI. Możliwość zastępowania danych w wewnętrznej pamięci pozwala wybierać różne modele AI, dostosowane do wymagań użytkownika lub warunków w miejscu, w których używany jest system.
Główne cechy
Pierwszy na świecie przetwornik obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI).
Blok pikseli jest wykonany w technologii BSI. Jego efektywna rozdzielczość wynosi około 12,3 megapiksela, co umożliwia rejestrację informacji przy szerokim kącie widzenia. Z kolei blok układów logicznych zawiera nie tylko standardowe obwody przetwornika obrazu, lecz także pamięć modelu AI oraz firmowy procesor sygnałowy (DSP) Sony przeznaczony do przetwarzania sygnału z użyciem sztucznej inteligencji. Taka konfiguracja eliminuje zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, dzięki czemu idealnie sprawdza się w systemach Edge AI.
Wyjściowe metadane
Sygnały rejestrowane przez blok pikseli przechodzą przez procesor obrazu (ISP), a przetwarzanie z użyciem sztucznej inteligencji odbywa się w bloku układów logicznych. Wyselekcjonowane informacje pojawiają się na wyjściu jako metadane, zmniejszając ilość obsługiwanych danych. Ponieważ na wyjściu układu nie muszą pojawiać się informacje o obrazie, maleje zagrożenie dla bezpieczeństwa i obawy o prywatność. Oprócz rejestracji obrazu przez standardowy przetwornik obrazu użytkownicy mogą wybrać format danych wyjściowych dostosowany do własnych potrzeb i zastosowań. Ustawienia obejmują wyjściowy format obrazu z procesora ISP (YUV/RGB) oraz obrazy z wyselekcjonowanym określonym obszarem (region zainteresowania — Region of Interest).
Szybkie przetwarzanie z użyciem AI
Kiedy do nagrywania materiału wideo służy standardowy przetwornik obrazu, do systemu przetwarzania AI trzeba przesłać informacje o każdej klatce wyjściowego obrazu, co zwiększa ilość przesyłanych danych i utrudnia uzyskanie działania w czasie rzeczywistym. Nowe przetworniki Sony wykonują przetwarzanie obrazu i szybkie przetwarzanie z użyciem AI (3,1 milisekundy dla architektury MobileNet V1 na poziomie bloku układów logicznych, realizując cały proces w jednej klatce obrazu wideo. Taki system pozwala zapewnić dokładne śledzenie obiektów w czasie rzeczywistym przy nagrywaniu filmów.
Możliwość wyboru modelu AI
Użytkownik może zapisywać w wewnętrznej pamięci wybrane przez siebie modele AI oraz zastępować je i aktualizować odpowiednio do własnych wymagań lub warunków w miejscu, w których używany jest system. Przykładowo, jeśli w miejscu sprzedaży detalicznej zainstalowanych jest wiele kamer wykorzystujących ten produkt, można używać jednego rodzaju kamery, uzyskując uniwersalność w różnych miejscach, okolicznościach, godzinach lub zastosowaniach. Kamera znajdująca się w wejściu do obiektu umożliwi zliczanie wchodzących klientów, zainstalowana na półce — wykrywanie braków towaru, a pod sufitem — tworzenie map ciepła (wykrywanie miejsc, w których gromadzi się dużo osób). Co więcej, model AI w danej kamerze będzie można zmienić, by na przykład zastąpić tworzenie map ciepła identyfikacją zachowań konsumentów