W publikacji „Intelligent Agents in AI Really Can Work Alone. Here’s How.” przygotowanej przez Gartner, autorzy przewidują, że do 2028 roku 33% aplikacji biznesowych będzie wykorzystywać agentyczną sztuczną inteligencję, w porównaniu do mniej niż 1% w roku 2024. Umożliwi to autonomiczne podejmowanie aż 15% codziennych decyzji operacyjnych. Czy Twoja firma jest przygotowana, by z tych zmian skorzystać? 

Gotowość technologiczna przedsiębiorstwa to szerokie pojęcie, obejmujące infrastrukturę IT, kompetencje zespołu, dojrzałość procesów biznesowych, gotowość organizacyjną do zmian oraz zgodność z regulacjami prawnymi i politykami bezpieczeństwa. Jeśli firma planuje wdrożenie systemu klasy ERP, narzędzia do zarządzania tożsamością (IAM) czy rozwiązań opartych o sztuczną inteligencję, potrzebuje solidnej podstawy technicznej i operacyjnej. 

Jak ocenić gotowość technologiczną przedsiębiorstwa?

Aby rzetelnie określić gotowość technologiczną przedsiębiorstwa, warto przeprowadzić ocenę w kilku kluczowych obszarach. Proces ten przypomina audyt, który pozwala odpowiedzieć na pytanie: czy firma jest przygotowana na skuteczne wdrożenie i wykorzystanie nowej technologii.  

Infrastruktura IT

Ocena infrastruktury IT powinna być poprzedzona dokładnym określeniem wymagań nowej technologii. To one definiują, jakie zasoby będą niezbędne – zarówno pod względem wydajności, jak i architektury, bezpieczeństwa czy dostępności. 

Dopiero mając specyfikację technologiczną, można rzetelnie ocenić, czy obecne środowisko IT jest w stanie spełnić te wymagania. Jeśli zastanawiasz nad wprowadzeniem do organizacji narzędzi opartych na sztucznej inteligencji i chcesz wiedzieć dokładnie jakie koszty są związane z wdrożeniem i utrzymaniem dużego modelu językowego, to koniecznie poznaj naszą najnowszą analizę.  

Ile kosztuje wdrożenie i utrzymanie modelu LLM w firmie? Szczegółowa analiza

Zarządzanie i dostępność danych

Ocena zarządzania danymi powinna rozpocząć się od określenia, jakie dane będą wykorzystywane przez wdrażaną technologię, w jakim formacie, z jaką częstotliwością oraz z jakich źródeł. To wymagania systemu definiują, jakie dane są potrzebne i w jakiej formie muszą być dostępne. 

 

Dopiero na tej podstawie można stwierdzić, czy dane w organizacji są gotowe do użycia. Należy zweryfikować, czy istnieją techniczne możliwości pobierania danych ze źródeł (np. API, pliki wymiany danych), czy dane mają ujednoliconą strukturę i czy spełniają minimalne kryteria jakościowe. Brak spójności, duplikaty, niepełne rekordy lub niestrukturalne dane mogą wymagać dodatkowego etapu przetwarzania, zanim zostaną wykorzystane. 

 

Istotna jest również dostępność organizacyjna – dane muszą być dostępne nie tylko technicznie, ale też zgodnie z wewnętrznymi zasadami i przepisami. W przypadku danych wrażliwych należy potwierdzić, że ich udostępnienie jest zgodne z polityką bezpieczeństwa i przepisami takimi jak RODO. 

Jeśli planowana technologia zakłada integrację wielu źródeł, analizę w czasie rzeczywistym lub przetwarzanie dużych wolumenów danych, konieczne może być przygotowanie osobnej warstwy integracyjnej lub reorganizacja sposobu zarządzania danymi w firmie. 

Przygotowanie i szkolenie zespołu

Ocena gotowości zespołu powinna być poprzedzona analizą kompetencji wymaganych do obsługi wdrażanej technologii. W zależności od rodzaju rozwiązania może to obejmować zarówno umiejętności techniczne (np. konfiguracja systemów, analiza danych), jak i operacyjne (np. znajomość procesów, interpretacja wyników działania systemu). 

Dopiero mając zdefiniowany zakres ról i zadań w nowym środowisku, można ocenić, czy zespół posiada odpowiednie kwalifikacje, czy też konieczne będzie uzupełnienie wiedzy. Może to oznaczać przeprowadzenie szkoleń, zaangażowanie zewnętrznych ekspertów lub czasowe wsparcie dostawcy technologii. 

Szczególną uwagę należy zwrócić na osoby odpowiedzialne za utrzymanie i rozwój systemu – to one powinny z wyprzedzeniem poznać jego architekturę, model danych, scenariusze awaryjne oraz sposób zarządzania dostępem. W przeciwnym razie nowa technologia stanie się tzw. „czarną skrzynką”, co zwiększa ryzyko błędów operacyjnych i utrudnia dalsze usprawnienia. 

Przygotowanie zespołu nie powinno być działaniem jednorazowym. Warto zaplanować również działania po wdrożeniu – w tym mentoring, dokumentację wewnętrzną oraz systematyczne rozwijanie kompetencji w obszarach, które technologia będzie wspierać. 

Jak mierzyć gotowość przedsiębiorstwa?

Ocena gotowości technologicznej powinna być traktowana jako proces. Najbardziej efektywnym podejściem jest zaplanowanie roadmapy działań przygotowawczych, a następnie mierzenie postępów w oparciu o jasno określone etapy i kryteria oceny. 

Roadmapa powinna zawierać kluczowe obszary, takie jak: infrastruktura IT, dostępność danych, przygotowanie zespołu, integracja systemów, zarządzanie zmianą i zgodność z regulacjami. Dla każdego z tych obszarów warto określić wymagania docelowe oraz stan obecny. To pozwala nie tylko oszacować poziom gotowości, ale również zidentyfikować konkretne przeszkody i słabe ogniwa, które mogą utrudnić wdrożenie. 

Ocena krok po kroku – na bazie harmonogramu i zadań przypisanych do poszczególnych zespołów – pozwala na bieżąco weryfikować, czy firma przesuwa się w stronę operacyjnej gotowości. Takie podejście minimalizuje ryzyko nieplanowanych opóźnień i kosztów, ponieważ ewentualne problemy są wychwytywane wcześniej, zanim przejdzie się do właściwego etapu wdrożeniowego. 

Gotowość technologiczna nie sprowadza się do jednego wyniku końcowego. To suma wielu elementów – technicznych, organizacyjnych i kompetencyjnych – które powinny być oceniane w kontekście konkretnego wdrożenia i jego wymagań. 

Jak my to robimy

W pracy z klientami przy wdrażaniu nowych aplikacji i systemów zawsze zaczynamy od rozmowy o kontekście biznesowym i rzeczywistych potrzebach organizacji. Nie rekomendujemy gotowych rozwiązań bez analizy – pomagamy zrozumieć, jakie technologie mają szansę realnie usprawnić procesy, a które mogą generować niepotrzebne koszty i komplikacje. 

Bazując na naszych doświadczeniach z projektami IT realizowanymi w różnych branżach, doradzamy krok po kroku: od etapu planowania, przez ocenę gotowości, po właściwe wdrożenie i stabilizację. Dbamy o to, aby technologia była dopasowana do możliwości organizacji i rzeczywiście wspierała jej rozwój operacyjny, a nie stawała się dodatkowym obciążeniem. 

Dobrze zaplanowane wdrożenie to takie, które kończy się nie tylko uruchomieniem aplikacji, ale przede wszystkim osiągnięciem zakładanych efektów biznesowych. 

Artykuł Gotowość technologiczna przedsiębiorstwa. Jak określić czy Twoja firma jest gotowa na wdrożenie nowej technologii pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Artykuł Dowiedź się jak skorzystać z bezpłatnych szkoleń prowadzonych przez ekspertów Inero Software w ramach PDiH pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Narzędzia oparte na sztucznej inteligencji znajdują coraz szersze zastosowanie. Od projektowania prostych grafik, tłumaczeń, aż po zaawansowanie analizowanie dokumentów, maili i baz danych. W tym tekście pokażemy jeden z praktycznych przykładów wykorzystania takiego asystenta w praktyce.  

Obszar zastosowania Agentów AI jest bardzo szeroki i wciąż odkrywany jest ich potencjał.  Do największych zalet asystentów opartych na sztucznej inteligencji możemy zaliczyć: 

1. Automatyzacja rutynowych procesów

Agenci AI mogą wykonywać powtarzalne zadania, takie jak obsługa zapytań klientów, analiza dokumentów czy zarządzanie danymi, co redukuje koszty operacyjne i zwiększa efektywność.

 

2. Personalizacja interakcji z klientem

Dzięki analizie danych agenci AI mogą dostarczać spersonalizowane rekomendacje i oferty, co zwiększa zaangażowanie klientów i poprawia ich doświadczenia.

 

3. Szybkość i dostępność

AI działa 24/7, zapewniając natychmiastowe odpowiedzi i obsługę w czasie rzeczywistym, co jest kluczowe w sektorach wymagających szybkiej reakcji, takich jak e-commerce, finanse czy logistyka.

 

4. Zaawansowana analiza danych

Agenci AI mogą przetwarzać duże ilości danych w krótkim czasie, identyfikując wzorce i zależności, co wspiera podejmowanie trafnych decyzji biznesowych.

 

5. Optymalizacja procesów decyzyjnych

Dzięki modelom predykcyjnym AI wspiera podejmowanie decyzji w obszarach takich jak prognozowanie popytu, zarządzanie ryzykiem czy optymalizacja łańcucha dostaw.

6. Integracja z istniejącymi systemami

Nowoczesne rozwiązania AI można łatwo wdrożyć w ramach istniejących systemów ERP, CRM czy platform analitycznych, co zwiększa ich funkcjonalność.

Praktyczny przykład wykorzystania Agenta AI w branży transportowej

Agenci AI mogą znaleźć zastosowanie w wielu branżach jak np. bankowość, sprzedaż czy zarządzanie zasobami ludzkimi. W tym tekście wykorzystamy przykład firmy spedycyjnej, która codziennie obsługuje od kilku do kilkudziesięciu frachtów.  

 

Praca spedytorów wiąże się z koniecznością ciągłej komunikacji i weryfikacji wielu dokumentów. Każde z tych zadań, wiąże się z czasem, którego często bywa za mało, a wtedy łatwo o błędy. 

 

Jak więc lepiej zarządzać czasem? Automatyzując zadania, które są powtarzalne i przewidywalne. To zadanie dla Agenta AI. Oto przykład stworzonego przez nas asystenta, opartego na Dużym Modelu Językowym Gemini od Google.  

 

Możemy go wykorzystać na przykład w poniższym scenariuszu: 

 

Spedytor otrzymuje mail, w którym powinny być polisa ubezpieczeniowa wraz z potwierdzeniem jej opłacenia. Agent AI samodzielnie, bez wywołania sprawdza czy otrzymany mail zawiera wspomniane wcześniej załączniki. Jeśli są dołączone, to w kolejnym kroku sprawdza następujące informacje: 

W polisie ubezpieczeniowej: 

• • Numer polisy 

• • Okres ubezpieczenia i czy jest ona aktualnie ważna  

• • Kto jest ubezpieczony, wraz z numerem identyfikacji podatkowej i adresem 

• • Numer konta na jaki należy przelać składkę  

W potwierdzeniu przelewu: 

• • Tytuł przelewu 

• • Kwota 

• • Numer konta 

• • Data płatności 

• • Czy przelew dotyczy przesłanej polisy (np. na podstawie tytułu, numeru konta) 

Następnie Agent AI przenosi znalezione dane do wskazanego pliku excel, który jest na bieżąco aktualizowany. Plik z danymi może być formatowany, np. oznaczać kolorem czerwonym wpisy, w których polisa jest nieważna albo nie została zweryfikowana płatność. 

 

W ten prosty sposób, zamiast przeglądać skrzynkę mailową w poszukiwaniu właściwych wiadomości, spedytor może sprawdzić w pliku exel czy otrzymał dokumenty od konkretnego nadawcy i czy są one poprawne. To duża oszczędność czasu i pewność, że dane są prawidłowe.  

 

Jest wiele możliwości dalej rozbudowy naszego Asystenta AI. Możemy integrować go z innymi narzędziami, jak na przykład Slack lub inny komunikator, by wysłać powiadomienia o brakach w dokumentach albo by generować automatyczne odpowiedzi na wiadomości. Agent oparty na sztucznej inteligencji może być dostosowany do indywidualnych potrzeb danej firmy, jej działu lub indywidualnego stanowiska. 

Chcesz poznać możliwości Agentów AI?

Umów spotkanie. Chętnie porozmawiamy o możliwościach.

UMÓW SPOTKANIE

Artykuł Poznaj swojego osobistego Agenta AI: Case study dla firmy spedycyjnej pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Artykuł Cyberbezpieczeństwo to nie tylko programy antywirusowe pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Artykuł Systemy Security Information and Event Management. Dlaczego warto dodać do nich Keycloak? pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Keycloak w wersji 26 przyniósł kilka ciekawych rozwiązań, które mogą z powodzeniem być wykorzystywane w średnich i dużych przedsiębiorstwach. Jednym z nich jest funkcja „Organizacje”, na której skupimy się w poniższym tekście. Omówimy sposób korzystania, konfiguracji oraz to, w jaki sposób może usprawnić zarządzanie użytkownikami w złożonych środowiskach.

Czym są organizacje w Keycloak?

Organizacja w Keycloak reprezentuje podmiot. Może nim być klient lub partner biznesowy. Funkcja ta pozwala na:

• Przypisywanie użytkowników jako członków konkretnej organizacji.
• Definiowanie dedykowanego administratora dla organizacji.
• Ustalanie specyficznych procesów autentykacji dla każdej organizacji.

Dzięki zastosowaniu tej funkcji Keycloak umożliwia tworzenie indywidualnych procesów logowania dla różnych klientów w ramach jednego systemu. Na przykład użytkownicy mogą być rozpoznawani na podstawie domeny ich adresu e-mail, co automatycznie kieruje ich do odpowiedniego procesu logowania.

Funkcjonalność organizacji jest szczególnie istotna w środowiskach korporacyjnych i międzyorganizacyjnych, gdzie zarządzanie użytkownikami jest złożone. Organizacje w Keycloak rozwiązują problem obsługi różnorodnych procesów logowania i personalizacji uwierzytelniania. Przykładowo:

• Firmy świadczące usługi dla wielu klientów mogą tworzyć różne metody logowania i integracji z systemami klientów.
• Organizacje składające się z wielu jednostek biznesowych mogą niezależnie zarządzać użytkownikami i ich uprawnieniami.
• Systemy wymagające federacji z zewnętrznymi dostawcami tożsamości mogą korzystać z dedykowanych flow autentykacji.

Organizacje vs. Grupy – jakie są różnice?

W Keycloak 26 funkcjonalność organizacji i grup pełni różne role, mimo że oba mechanizmy służą do zarządzania użytkownikami. Organizacje są przeznaczone do obsługi bardziej złożonych scenariuszy, takich jak zarządzanie użytkownikami w kontekście różnych klientów lub partnerów biznesowych. Skupiają się na flow autentykacji oraz federacji tożsamości, umożliwiając precyzyjne dopasowanie procesów uwierzytelniania do potrzeb zewnętrznych podmiotów. Z kolei grupy lepiej sprawdzają się przy organizowaniu użytkowników w ramach jednej aplikacji, na przykład do przypisywania uprawnień lub definiowania dostępu do zasobów.

Konfiguracja organizacji

W przypadku rozbudowanych systemów uwierzytelniania funkcjonalność organizacji pozwala na bardziej precyzyjne zarządzanie użytkownikami i ich dostępem w ramach określonych struktur. W dalszej części artykułu pokażemy, jak krok po kroku skonfigurować organizacje w Keycloak, od aktywacji tej funkcji w ustawieniach realmu, po przypisywanie użytkowników do konkretnych grup.

1. Włączenie funkcjonalności organizacji w realmie
Aby skorzystać z funkcji organizacji, należy ją aktywować w ramach ustawień realmu:
Przejdź do Realm Settings > General, a następnie włącz opcję Switch Organizations.
Po aktywacji w menu po lewej stronie pojawi się nowa zakładka: Organizations.

2. Tworzenie nowej organizacji
Wejdź w zakładkę Organizations, wybierz Add Organization, a następnie wypełnij kluczowe pola:

• • Name: Unikalna nazwa organizacji, wyświetlana w interfejsie.
  • Alias: Unikalny alias używany w URL’ach (niezmienny po zapisaniu).
  • Redirect URL: Adres, na który użytkownik zostanie przekierowany po rejestracji lub zaakceptowaniu zaproszenia.
  • Domains: Domena używana do rozpoznawania organizacji na podstawie adresu e-mail użytkownika.

Automatyczne przypisywanie na podstawie domeny:
Podczas logowania użytkownik podaje adres e-mail. Keycloak analizuje jego domenę i automatycznie przypisuje go do odpowiedniej organizacji. Dzięki temu użytkownik korzysta z dedykowanego flow autentykacji. Warto zaznaczyć, że Keycloak obsługuje wildcardy w konfiguracji domen, co pozwala na przypisywanie subdomen (np. *.example.com) do tej samej organizacji.

 3. Dodawanie użytkowników do organizacji
Użytkowników można przypisać do organizacji na kilka sposobów:

• • Istniejący użytkownicy: Dodaj użytkowników już obecnych w realmie (Organizations > Members > Add Realm User).
  • Zaproszenia: Wyślij zaproszenie do nowego lub istniejącego użytkownika (Organizations > Members > Add Member > Invite Member).
  • Identity Provider: Powiąż dostawcę tożsamości z organizacją, aby automatycznie przypisywać użytkowników (Organizations > Identity Providers > Link Identity Provider).

4. Wyświetlanie użytkowników w organizacji
Lista użytkowników organizacji jest dostępna w sekcji Organizations > [Nazwa Organizacji] > Members. Informacja o przynależności do organizacji może być zawarta w tokenach jako claim organization. Dzięki temu aplikacje mogą różnicować uprawnienia użytkowników.

5. Zarządzanie flow autentykacji
Organizacje w Keycloak umożliwiają zastosowanie dedykowanych flow autentykacji dla użytkowników.

• • Identity-first login: Użytkownik podaje najpierw adres e-mail lub nazwę użytkownika, co pozwala Keycloakowi rozpoznać organizację i zastosować dedykowany flow.
  • Customizacja flow: Każda organizacja może mieć własny flow autentykacji, co pozwala dostosować procesy logowania do specyficznych wymagań klientów.

Dzięki zastosowaniu funkcji organizacji Keycloak umożliwia zaawansowaną personalizację w systemach IAM, upraszczając jednocześnie zarządzanie użytkownikami i ich dostępem w złożonych środowiskach.

Nowa funkcja zarządzania organizacjami w Keycloak umożliwia tworzenie i administrowanie strukturami organizacyjnymi, takimi jak działy czy zespoły, co znacząco może usprawnić procesy takie jak onboarding czy offboarding pracowników oraz kwestie bezpieczeństwa z nimi związane. Przykładowo, podczas onboardingu nowy pracownik może zostać przypisany do odpowiedniej jednostki organizacyjnej, co automatycznie nadaje mu właściwe uprawnienia i dostęp do niezbędnych zasobów, które mogą mieć także charakter tymczasowy (np. dla pracowników tymczasowych). Analogicznie, w przypadku offboardingu usunięcie pracownika z danej jednostki powoduje natychmiastowe cofnięcie jego uprawnień i dostępu do firmowych zasobów, zwiększając tym samym bezpieczeństwo danych. Dzięki tej funkcji zarządzanie dostępami staje się bardziej zautomatyzowane i bezpieczne, co upraszcza procesy kadrowe w organizacji.

dr inż. Andrzej Chybicki CEO Inero Software

Artykuł Organizacje w Keycloak: Zarządzanie i personalizacja autentykacji pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Wraz z rosnącym zapotrzebowaniem na aplikacje działające w czasie rzeczywistym, uruchamianie modeli głębokiego uczenia w przeglądarce staje się coraz bardziej dostępne i wydajne. W tym artykule pokażemy, jak zaimplementować wykrywanie obiektów bezpośrednio w przeglądarce, wykorzystując YOLO (You Only Look Once) oraz TensorFlow.js. Skoncentrujemy się na zastosowaniu wytrenowanego przez nas niestandardowego modelu YOLOv8 do wykrywania ludzkich twarzy. Na końcu tego przewodnika dowiesz się, jak skonfigurować i uruchomić model YOLO do wykrywania twarzy za pomocą TensorFlow.js, przetworzyć wyniki i zoptymalizować wydajność – wszystko to bez potrzeby korzystania z serwera czy przetwarzania po stronie backendu.

Dlaczego warto korzystać z sieci neuronowych w przeglądarce?

Uruchamianie sieci neuronowych w przeglądarce ma wiele zalet. Najważniejsze z nich to:

1. Niskie opóźnienia: Wszystko odbywa się po stronie klienta, co eliminuje opóźnienia wynikające z przesyłania danych na serwer i oczekiwania na odpowiedź.
2. Większa prywatność: Wrażliwe dane pozostają na urządzeniu użytkownika, co minimalizuje ryzyko ich naruszenia lub ujawnienia.
3. Możliwość użycia offline: Użytkownicy mogą korzystać z funkcji uczenia maszynowego nawet bez stałego połączenia z internetem.
4. Kompatybilność między platformami: Aplikacja działa na każdym urządzeniu z przeglądarką – niezależnie czy to komputer, tablet, czy smartfon.

Wybór i przygotowanie sieci neuronowej

Przy wyborze sieci neuronowej do implementacji w przeglądarce warto uwzględnić takie czynniki jak rozmiar modelu, szybkość działania, zużycie pamięci oraz kompatybilność z technologiami przeglądarkowymi, np. WebGL. Dla optymalnej wydajności na urządzeniach o ograniczonych zasobach zaleca się stosowanie modeli o rozmiarze poniżej 30 MB. Do odpowiednich modeli należą MobileNetV2, SqueezeNet, EfficientNet oraz wybrane warianty YOLO. My zdecydowaliśmy się na wytrenowany przez nas model YOLOv8 do wykrywania ludzkich twarzy na obrazach.

Jeśli Twój model przekracza zalecany rozmiar, warto rozważyć techniki optymalizacji, takie jak kwantyzacja (quantization) i przycinanie (pruning). Kwantyzacja zmniejsza precyzję wag modelu, zazwyczaj konwertując wartości zmiennoprzecinkowe 32-bitowe na liczby zmiennoprzecinkowe 16-bitowe lub całkowite 8-bitowe. Przycinanie usuwa zbędne połączenia w sieci neuronowej. Obie metody zmniejszają rozmiar modelu i redukują złożoność obliczeniową, co poprawia szybkość inferencji – szczególnie na urządzeniach takich jak smartfony – choć mogą one nieznacznie wpłynąć na dokładność.

Optymalizacja YOLOv8 do wykrywania twarzy: wyniki naszego niestandardowego modelu

Nasz model YOLOv8 został wytrenowany na niestandardowym zbiorze danych w celu automatycznego sprawdzania, czy załącznik zawiera wyraźne zdjęcie ludzkiej twarzy, skierowanej na wprost i niezasłoniętej, np. przez maskę. Taka funkcjonalność jest szczególnie przydatna w systemach obiegu dokumentów, gdzie weryfikacja tożsamości wymaga widoczności twarzy. Zbiór danych składał się z 1500 obrazów, z czego 1200 wykorzystano do treningu, a 300 do walidacji. Dataset zawierał zdjęcia twarzy fotografowanych z różnych kątów, twarzy częściowo zasłoniętych oraz zdjęcia innych obiektów. Dzięki treningowi model nauczył się skutecznie wykrywać twarze spełniające wymagane kryteria. Poniższe przykłady ilustrują, jak model działa w praktyce. Dwie twarze po lewej stronie zostały poprawnie wykryte, podczas gdy dwie po prawej nie zostały rozpoznane, ponieważ były częściowo zasłonięte:

(source of images: https://www.kaggle.com/datasets/ashwingupta3012/human-faces, https://www.kaggle.com/datasets/andrewmvd/face-mask-detection)

Wyniki wnioskowania na czterech przykładach – dwie twarze po lewej stronie zostały poprawnie wykryte, natomiast dwie po prawej nie, ponieważ były częściowo zasłonięte.

Jako bazowy model dla naszego projektu wybraliśmy YOLOv8s (small), co dało model o rozmiarze 44 MB, osiągający 99,9% precyzji (ang. precision) oraz 99,1% czułości (ang. recall) na naszym niestandardowym zbiorze danych walidacyjnych. W celu optymalizacji przetestowaliśmy również mniejszy model bazowy, YOLOv8n (nano), oraz przeanalizowaliśmy efekty kwantyzacji. Trening z modelem YOLOv8n dał model o rozmiarze zaledwie 12 MB, przy niemal identycznych wynikach – 99,7% precyzji i 99,1% czułości. Następnie przeprowadziliśmy kwantyzację obu modeli, a ich rozmiary oraz dokładność po kwantyzacji zostały zaprezentowane w poniższej tabeli:

	Model bazowy			Model kwantyzowany 16-bitowy
	Rozmiar	Precyzja	Recall	Rozmiar	Precyzja	Recall
YOLOv8 small	44 MB	0.999	0.991	22 MB	0.997	0.991
YOLOv8 nano	12 MB	0.997	0.991	6 MB	0.989	0.991

Uwaga: Czułość mierzy, ile rzeczywistych pozytywnych próbek zostało poprawnie zidentyfikowanych (tutaj: ile twarzy zostało poprawnie wykrytych), natomiast precyzja wskazuje, ile próbek zidentyfikowanych przez model jako pozytywne było faktycznie pozytywnych (tutaj: ile obiektów wykrytych przez model to faktycznie ludzkie twarze). W idealnym przypadku oba wskaźniki wynoszą 1.

W naszym przykładzie, zastosowanie mniejszego modelu bazowego wraz z kwantyzacją zmniejszyło dokładność o mniej niż 1%, jednocześnie redukując rozmiar modelu z 44 MB do zaledwie 6 MB.

Poniżej przedstawiamy kilka przykładowych zdjęć, które pokazują, jak działają dwa modele: YOLOv8s i YOLOv8n z kwantyzacją.

Wyniki inferencji z modelem YOLOv8s, bez kwantyzacji (o rozmiarze 44 MB):

(source of images: https://www.kaggle.com/datasets/ashwingupta3012/human-faces).

Wyniki inferencji z modelem YOLOv8n po kwantyzacji 16-bitowej (o rozmiarze 6 MB). Różnica w poziomie ufności jest minimalna, natomiast położenie wykrytych obiektów pozostało takie samo.

Przetestowaliśmy wydajność dwóch modeli — YOLOv8s (44 MB) i YOLOv8n po kwantyzacji 16-bitowej (6 MB) — na trzech różnych procesorach. Mniejszy model, YOLOv8n, konsekwentnie przewyższał swój większy odpowiednik pod względem czasu wczytania modelu oraz szybkości pojedynczej inferencji. Szczegółowe dane dotyczące wydajności zostały podsumowane w tabeli poniżej.

	Ładowanie modelu			Pojedyncze wnioskowanie
	CPU 1	CPU 2	CPU 3	CPU 1	CPU 2	CPU 3
YOLOv8 small	1050 ms	3700 ms	4200 ms	21 ms	117.5 ms	196.5 ms
YOLOv8 nano 16-bit	980 ms	3200 ms	3700 ms	16 ms	112.5 ms	189 ms
Przyspieszenie	6.7 %	13.5 %	11.9 %	23.8 %	4.2 %	3.8 %

Oprócz czasu wczytania modelu i inferencji, istotnym czynnikiem do rozważenia jest również czas pobrania modelu, który nie został uwzględniony w tabeli. Czas ten jest bezpośrednio proporcjonalny do rozmiaru modelu i w znacznym stopniu zależy od prędkości połączenia internetowego użytkownika.

Praktyczna implementacja krok po kroku

Aby wdrożyć model uczenia maszynowego w przeglądarce, skorzystamy z TensorFlow.js — popularnej biblioteki, która umożliwia uruchamianie wytrenowanych modeli lub całkowite trenowanie nowych modeli bezpośrednio w przeglądarce. W tym przewodniku skupimy się na wdrożeniu wytrenowanego modelu YOLOv8 do wykrywania twarzy. Poniżej znajdziesz instrukcję, jak krok po kroku skonfigurować środowisko i uruchomić model z TensorFlow.js.

1. Instalacja TensorFlow.js

Najłatwiejszą metodą instalacji Tensorflow.js jest użycie npm:

npm install @tensorflow/tfjs 

2. Wczytanie modelu

Ponieważ używamy biblioteki TensorFlow.js, musisz przekonwertować swój model na format TensorFlow.js (Tf.js). W przypadku modeli YOLO, twórcy Ultralytics udostępnili łatwy sposób na dokonanie tego za pomocą prostego polecenia:

yolo export model=path/to/best.pt format=tfjs 

Po konwersji Twój model zostanie zapisany jako pliki binarne wraz z plikiem JSON o nazwie model.json. Wówczas możesz wczytać model korzystając z funkcji tf.loadGraphModel(). Poniżej znajdziesz przykład implementacji. Zwróć uwagę na dodatkowy etap „rozgrzewki” modelu, poprzez wykonanie jednokrotnej inferencji na losowych danych wejściowych. Ten krok poprawi wydajność modelu przy kolejnej inferencji.

export async function loadModel(modelPath) { 
  try { 
    // Load the model using a URL 
    const model = await tf.loadGraphModel(`${modelPath}/model.json`); 
    // Warm up the model 
    const dummyInput = tf.ones(model.inputs[0].shape); 
    await model.execute(dummyInput); 
    return model; 
  } catch (error) { 
    throw new Error(`Failed to load model: ${error.message}`); 
  } 
} 

3. Przygotowanie danych wejściowych

Przed uruchomieniem modelu musimy odpowiednio przygotować obraz wejściowy. Modele YOLO oczekują obrazów o określonym rozmiarze, takim samym jaki został użyty podczas treningu sieci. Zamiast jednak zmieniać rozmiar obrazu (np. funkcją resize()), zalecamy bardziej zaawansowaną metodę przetwarzania obrazu, która zachowuje proporcje i stosuje wypełnienie (letterbox padding). Takie podejście jest zgodne z przetwarzaniem stosowanym przez Ultralytics podczas trenowania modelu YOLO i zapewni najlepszą skuteczność.

Poniższa funkcja skaluje obraz tak, aby największy jego wymiar zgadzał się z tym oczekiwanym przez model, dodaje wypełnienie aby dopasować drugi wymiar obrazu (jeżeli trzeba) i normalizuje obraz wejściowy:

function preprocessImage(base64Image, imgSize) { 
  const image = new Image(); 
  image.src = base64Image; 
  const canvas = document.createElement('canvas'); 
  canvas.width = image.width; 
  canvas.height = image.height; 
  const ctx = canvas.getContext('2d'); 
  ctx.drawImage(image, 0, 0, image.width, image.height); 
 
  // Convert canvas image to a tensor 
  let imgTensor = tf.browser.fromPixels(canvas); 
 
  // Determine rescale factor 
  const xFactor = image.width / imgSize; 
  const yFactor = image.height / imgSize; 
  const factor = Math.max(xFactor, yFactor); 
  const newWidth = Math.round(image.width / factor); 
  const newHeight = Math.round(image.height / factor); 
 
  // Resize to expected input shape  
  imgTensor = tf.image.resizeBilinear(imgTensor, [newHeight, newWidth]); 
 
  // Add padding 
  const xPad = (imgSize - newWidth) / 2; 
  const yPad = (imgSize - newHeight) / 2; 
  const top = Math.floor(yPad); 
  const bottom = Math.ceil(yPad); 
  const left = Math.floor(xPad); 
  const right = Math.ceil(xPad); 
  imgTensor = tf.pad(imgTensor, [[top, bottom], [left, right], [0, 0]], 114); 
 
  // Normalize pixel values 
  imgTensor = imgTensor.div(255.0).expandDims(0); // Add batch dimension 
  return { imgTensor, left, top, factor }; 
 
} 

4. Uruchom inferencję modelu

Po załadowaniu modelu i przetworzeniu danych wejściowych, wykonanie inferencji odbywa się za pomocą tej linii kodu:

const prediction = await model.execute(inputTensor); 

5. Przetwarzanie wyników modelu

Wynik sieci YOLO to tensor, który należy odpowiednio zinterpretować. Poniżej znajdują się kroki w naszej funkcji postprocessInferenceResults(), które pozwalają na wyodrębnienie współrzędnych wszystkich wykrytych obiektów:

const results = prediction.transpose([0, 2, 1]);  
const numClass = 1; // Only one class in our case 
const boxes = tf.tidy(() => { 
const w = results.slice([0, 0, 2], [-1, -1, 1]); // Get width 
const h = results.slice([0, 0, 3], [-1, -1, 1]); // Get height 
const x1 = tf.sub(results.slice([0, 0, 0], [-1, -1, 1]), tf.div(w, 2)); // Get x1 

const y1 = tf.sub(results.slice([0, 0, 1], [-1, -1, 1]), tf.div(h, 2)); // Get y1 
return tf.concat([y1, x1, y1.add(h), x1.add(w)], 2).squeeze(); 
}); 

Aby wyodrębnić klasy i poziomy ufności dla każdego obiektu:

const numClass = labels.length; 
const [scores, classes] = tf.tidy(() => { 
const rawData = results.slice([0, 0, 4], [-1, -1, numClass]).squeeze(0); 
  return [rawData.max(1), rawData.argMax(1)]; 
}); 

Następnie należy pozbyć się wyników z poziomem ufności poniżej ustalonego progu (u nas był to 0.4):

const array = await scores.array(); 
const highConfidenceIndices = array.reduce((acc, value, index) => { 
  if (value > 0.4) acc.push(index); 
  return acc; 
}, []); 
 
const highConfidenceBoxes = boxes.gather(highConfidenceIndices); 
const highConfidenceScores = scores.gather(highConfidenceIndices); 
const highConfidenceClasses = classes.gather(highConfidenceIndices); 

Na koniec zastosuj Non-Max Suppression (NMS), aby odfiltrować duplikaty, tzn. wykryte obiekty, które się na siebie nakładają:

const nms = await tf.image.nonMaxSuppressionAsync(highConfidenceBoxes, highConfidenceScores, 40, 0.45, 0.4); // NMS to filter boxes 
 
const boxesData = highConfidenceBoxes.gather(nms, 0); // Indexing boxes by NMS index 
const scoresData = highConfidenceScores.gather(nms, 0).dataSync(); // Indexing scores by 
const classesData = highConfidenceClasses.gather(nms, 0).dataSync(); // Indexing classes by NMS index 

Ostatnim krokiem jest przeskalowanie współrzędnych, aby dopasować je do kształtu oryginalnego obrazu:

// Precompute the margins and factors outside the stack 
const yMarginTensor = tf.scalar(yMargin); 
const xMarginTensor = tf.scalar(xMargin); 
const resizeFactorTensor = tf.scalar(resizeFactor); 
// Slice the boxesData and apply transformations in one step 
 
const [yCoordinates, xCoordinates, height, width] =  
  ['0', '1', '2', '3'].map((index) =>  
    boxesData.slice([0, parseInt(index)], [-1, 1]).sub(index % 2 === 0 ? yMarginTensor : xMarginTensor).mul(resizeFactorTensor) 
); 
 
// Stack the tensors without converting to arrays (unless needed) 
const bbox = tf.stack([yCoordinates, xCoordinates, height, width], 1); 
 
// Convert to an array only if absolutely necessary 
const bboxArray = bbox.arraySync(); 

Na końcu możemy zdefiniować funkcję runInference(), która zawiera cały opisany powyżej proces wykrywania obiektów. Ta funkcja zawiera przygotowanie obrazu, uruchomienie inferencji modelu oraz przetworzenie wyników. Oto jak wygląda:

export async function runInference(model, labels, image, confidenceThreshold = 0.4) { 
  try { 
    // Preprocess the image 
    const imgSize = model.inputs[0].shape[1]; 
    const { imgTensor: inputTensor, left: xMargin, top: yMargin, factor: resizeFactor } = preprocessImage(image, imgSize); 
 
    // Run inference 
    const prediction = await model.execute(inputTensor); 
 
    // Post-process the model output 
    const [boxes, scores, classes] = await postprocessInferenceResults(prediction, labels, xMargin, yMargin, resizeFactor, confidenceThreshold); 
    return [boxes, scores, classes]; 
 
  } catch (error) { 
    throw new Error(`Inference failed: ${error.message}`); 
  } 
} 

6. Wizualizacja wyników

Na samym końcu, gdy mamy już gotowe wyniki detekcji, możemy narysować wykryte obiekty na obrazie:

function drawBoxesOnCanvas(ctx, boxes, classes, scores, colors) { 
  boxes.forEach((box, i) => { 
    const [x1, y1, x2, y2] = box; 
    ctx.strokeStyle = colors[classes[i]]; 
    ctx.lineWidth = 2; 
    ctx.strokeRect(x1, y1, x2 - x1, y2 - y1); 
    ctx.fillStyle = colors[classes[i]]; 
    ctx.fillText(`${labels[classes[i]]} (${Math.round(scores[i] * 100)}%)`, x1, y1); 
  }); 
} 

Podsumowując, uruchamianie modelu YOLO do wykrywania obiektów bezpośrednio w przeglądarce przy użyciu TensorFlow.js otwiera nowe możliwości dla aplikacji real-time. W tym wpisie przedstawiliśmy wszystkie kroki, od konfiguracji TensorFlow.js, przez ładowanie modeli, przetwarzanie obrazów, uruchamianie wnioskowania, aż po wizualizację wyników, wraz ze wskazówkami jak zrobić to efektywnie. W miarę dalszego zgłębiania tej ciekawej technologii, warto eksperymentować z różnymi modelami, technikami optymalizacji oraz przypadkami użycia, aby w pełni wykorzystać potencjał uczenia maszynowego w aplikacjach internetowych.

Zapraszam do kontaktu, jeśli masz pytania lub chciałbyś podzielić się swoimi implementacjami!

KONTAKT

Artykuł Sieci neuronowe w przeglądarce: Przewodnik na przykładzie customowej sieci YOLO do wykrywania twarzy pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Rozwój szeroko rozumianej sztucznej inteligencji nabiera tempa. Świadczy o tym powszechne zainteresowanie tą tematyką, a wraz z nim rosnąca liczba artykułów medialnych oraz publikacji. Tym co zwraca szczególną uwagę są dane, które obrazują, ile środków finansowych jest przeznaczanych na  inwestycje w technologie półprzewodnikowe, czyli możliwości obliczeniowe i pamięciowe nowych centrów danych AI. Wszystko wskazuje, że ten rozwój w najbliższych latach będzie bardzo dynamiczny.

Raporty takie jak „The Future of Jobs Report 2020” opracowany przez Światowe Forum Ekonomiczne oraz badania przeprowadzone przez firmę doradczą McKinsey & Company zawracają uwagę na dynamiczne zmiany na rynku pracy, które będą miały miejsce w najbliższych latach. Oba źródła zgodnie wskazują, że będziemy świadkami znaczących przemian w zakresie zawodów i obowiązków, wynikających z postępu technologicznego, automatyzacji oraz zmieniających się potrzeb gospodarczych i społecznych.

W artykule „Większość zawodów 2030 roku jeszcze nie została wynaleziona”[1] możemy przeczytać:

„IFTF, organizacja non-profit, która stara się identyfikować pojawiające się trendy i ich wpływ na globalne społeczeństwo, prognozuje, że wiele zadań, obowiązków i zawodów, które dzisiejsi młodzi ludzie będą pełnić w 2030 roku, jeszcze nie istnieje.”

źródło: https://www.voanews.com/a/most-of-2030-s-jobs-haven-t-been-invented-yet/4778002.html

Obecna sytuacja, z punktu widzenia kadry zarządzającej jest to nie lada  wyzwanie. To jak będą się kształtować relacje i obowiązki pomiędzy pracownikami różnych działów, znacząco zmieni sposób pracy wielu organizacji. Identyfikacja tych obszarów oraz ewentualnych konsekwencji wynikających z rewolucji AI będzie decydować o sukcesie w nadchodzących latach.

„W mojej ocenie, rozumienie możliwości jakie dają nowe technologie oraz ocena tego jak mogą usprawnić daną organizację, będzie kluczową umiejętnością menadżerską w najbliższej dekadzie. – Podkreśla CEO Inero Software Andrzej Chybicki

Wskazuje on na dwa sposoby rozwoju świadomości technologicznej przedsiębiorstw w zakresie AI:

Pierwszym jest eksploracja dostępnych na rynku produktów lub usług, które mogą być zastosowane jako gotowe rozwiązania. Decyzja o ich wdrożeniu zależeć będzie od stopnia, w jakim te rozwiązania mogą być dopasowane do specyficznych procesów wymagających optymalizacji i automatyzacji. Ważne jest jednak, aby być świadomym, że takie oprogramowanie jest dostarczane w formie pewnej „bryły”, którą trzeba nie tylko zaimplementować, ale również dostosować procesy wewnątrz organizacji, aby mogły efektywnie współpracować z nowo wdrożonym produktem.

Alternatywą jest tworzenze wewnętrznych rozwiązań opartych o AI, na które już teraz decydują się duże firmy. To na  przykład, projektowanie własnych modeli językowych, dopasowanych do  indywidualnych potrzeb i wymogów danego przedsiębiorstwa. To zwykle wielomilionowe  projekty, ale są też takie, które mogą zamknąć się w mniejszym budżecie.

Jedną z globalnych marek, która zdecydowała się stworzyć własny model LLM jest Amazon. Zadaniem modelu „Rufus” jest wsparcie potencjalnych klientów na każdym etapie ścieżki zakupowej. Celem jego wdrożenia jest asystowanie użytkownikom i optymalizacja procesu składania zamówień.

„W Inero stosujemy podejście produktowo- usługowe. Mając wiedzę jak się rozwiązuje pewne problemy, za pomocą naszych autorskich systemów jak DocQuality lub DeliverM8 – Freight Matching Platform, staramy się zaprezentować pewien szablon rozwiązania i jego potencjał. Następnie dostosowujemy go do konkretnych potrzeb i procesów realizowanych w strukturze firmy klienta, a nie na odwrót. Nasze produkty stanowią pewien szablon możliwości jakie dają nowe technologie.” – zaznacza Andrzej Chybicki

Jest to rozwiązanie, które ma w sobie dobre cechy podejścia produktowego, ale zarazem daje pewną elastyczność, wynikającą z podejścia usługowego, przy czym koszt jest zdecydowanie  bardziej przystępny. Jako przykład można wskazać aplikację DocsQuality, która wykorzystuje techniki uczenia maszynowego do kategoryzacji dokumentów i rozpoznawania nieczytelnych fragmentów plików. Program ten można w łatwy i szybki sposób zintegrować z wewnętrzną infrastrukturą klienta, optymalizując proces obiegu dokumentów o wykrywanie problematycznych dokumentów.

Podsumowując, rozwój sztucznej inteligencji w zarządzaniu przedsiębiorstwami niesie ze sobą przestrzeń dla innowacji. Wyzwania związane z adaptacją nowych technologii wymagają strategicznego podejścia, zarówno w kontekście implementacji gotowych rozwiązań, jak i tworzenia wewnętrznych systemów AI. Sukces w nadchodzącej dekadzie będzie zależał od zdolności menedżerskich w zrozumieniu i wykorzystaniu potencjału technologicznego oraz umiejętności zarządzania zmieniającym się zespołem, który będzie wymagał wdrożenia nowych narzędzi, dopasowanych do nowych zadań.

Artykuł Możliwości, które niesie rozwój i popularyzacja sztucznej inteligencji w zarządzaniu przedsiębiorstwami pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.

Optymalizacja procesu gromadzenia danych dzięki algorytmom AI

W dobie postępu i licznych osiągnięć w dziedzinie przetwarzania języka naturalnego, widzimy coraz większe możliwości w zakresie analizy i wnioskowania, na podstawie danych zgromadzonych w nieustrukturyzowanych archiwach tekstowych i dokumentach. Koniecznym krokiem staje się więc, usprawnienie działań biznesowych i wdrożenie do nich narzędzi związanych z NLP i LLM. Digitalizacja procesów biznesowych sprawia, że wiele zadań przenosi się do świata wirtualnego, a kontrola i analiza dużej ilości zgromadzonych danych staje się poważnym wyzwaniem.

Kluczowy jest oczywiście czas

W erze ciągłego pośpiechu, żmudne zadania analityczne, wymagające skupienia, dokładności i sumienności stają się prawdziwym ciężarem dla sprawnych i często rozproszonych zespołów. Nowoczesny biznes działa szybko. Jest wiele branż, w których dbałość o jakość dokumentacji odgrywa bardzo ważną rolę i znacząco wpływa na efektywność pracy w grupie. To między innymi sektor księgowy, kancelarie prawnicze, branża ubezpieczeniowa czy transportowa. Właśnie tą ostatnią posłużymy się jako przykładem. Firmy TSL codziennie realizują nawet po kilkadziesiąt frachtów. Każdy z nich generuje dużą ilość dokumentacji, jak faktury, umowy, polisy, WZ, karty pracy kierowców itp.. Dodając je do wewnętrznego obiegu administracyjnego, łatwo przeoczyć dokument nieczytelny (np. pośpiesznie zeskanowany), który na pewnym etapie zakłóci proces obiegu dokumentów i będzie wymagał korekty, przez co liczba zadań do wykonania znacznie się wydłuży. Może mieć to wpływ na zachwianie przepływów pieniężnych. Optymalizacja procesu gromadzenia danych we właściwej jakości staje się więc kluczowa.

Tradycyjne metody stają się mniej skuteczne

Tradycyjne metody rozwoju oprogramowania stają się mniej skuteczne w przypadku dużych baz danych. Często opierają się wyłącznie na strukturalnie przetwarzanych danych i z góry określonych regułach, które mogą być nieodpowiednie do pracy z nieustrukturyzowanym tekstem i subtelnościami naturalnego pisma. Klasyczne podejście do tworzenia oprogramowania załamuje się w obliczu wielkoskalowych baz wiedzy. Pracując nad DocsQuality obniżamy barierę dostępu zespołów do narzędzi związanych z NLP (programowaniem neurolingwistycznym) i LLM (z ang. Large Language Model), aby mogły one w sposób prosty pobierać dane z archiwów nieustrukturyzowanych tekstów i dokumentów.

Zadaniem oprogramowania DocsQuality jest ocena atrybutów dokumentu, przed jego zaimportowaniem do obiegu księgowego. Oceni on w czasie rzeczywistym, między innymi czytelność, wyrazistość i jakość pliku. Oprogramowanie od razu poinformuje o problemach związanych np. z załącznikiem do maila, dając sygnał, że już na tym etapie system nie powinien przyjąć tego dokumentu do obiegu.

Modele NLP i LLM

Połączenie i zastosowanie modeli NLP i LLM to nowa, innowacyjna metoda oceny jakości dokumentacji. Przy tworzeniu oprogramowania, NLP może być używane do wyodrębnienia tekstu ze zdjęć dokumentów. Jest to związane z techniką OCR (Optical Character Recognition) i pozwala przekształcić tekst z obrazu na tekst edytowalny, który można ocenić pod kątem jakości. Z kolei modele LLM, mogą przeczytać i zrozumieć tekst w dokumencie PDF, pozwalając na ocenę czytelności, gramatyki, składni oraz poprawności ortografii w dokumencie, a w kolejnym etapie analizę, wnioskowanie i rozumienie treści.

DocsQuality

Inżynierowie Inero Software wiąż rozwijają funkcjonalności, które oferuje DocsQuality. Tworzenie nowego oprogramowania  w tak dynamicznym środowisku, wymaga ciągłego udoskonalania i szukania optymalnych rozwiązań. Potencjał, który ma w sobie wdrożenie do niego narzędzi związanych z NLP i LLM, pozwoli w przyszłości na jeszcze dokładniejszą analizę dokumentacji.

Jeśli zainteresowało Cię oprogramowanie DocsQuality zapraszamy na stronę https://docsquality.com/ oraz do kontaktu mailowego hi@docs-quality.com. Chętnie odpowiemy na wszystkie pytania i przedstawimy jego funkcjonalność i sposób wdrożenia. DocsQuality można z powodzeniem zintegrować z działającym systemem ERP.  Pozwoli to na rozszerzenie oferowanych funkcjonalności o skuteczny monitoring jakości dokumentów, pozwalający wyłapywać problematyczne pliki przed ich wdrożeniem do obiegu księgowego.

Artykuł Optymalizacja procesu gromadzenia danych dzięki algorytmom AI pochodzi z serwisu Inero Software - Rozwiązania IT i Konsulting.