Wyniki badania PMR dla Polskiej Chmury wskazują, że ponad 2/3 firm korzysta z rozwiązań chmurowych, a około 1/3 jest w trakcie ich wdrażania. Tym samym chmura to już stały element ekosystemu i działalności przedsiębiorstw w Polsce. Rynek ten dojrzał i firmy szukają w chmurze korzyści oraz rozwiązań dopasowanych wprost ...
Wraz z rozwojem nowoczesnych technologii rozwijają się również złośliwe schematy. Od niedawna do długiej listy oszustw dołączyła sztuczna inteligencja (Artificial Intelligence, AI). Wykorzystanie technologii sztucznej inteligencji i uczenia maszynowego (Machine Learning, ML) przenosi phishing i inne oszustwa cyb...
Według opublikowanego przez Veeam raportu Data Protection Trends Report 2022, największym wyzwaniem dla firm związanym z cyfryzacją są braki wykwalifikowanej kadry IT i starzejące się systemy. Aż 1/3 przedsiębiorstw w razie awarii i braku dostępu do zasobów planuje przywracać działanie serwerów w trybie r...
W ciągu ostatnich dwóch lat firma VMware podejmowała wysiłki mające na celu uproszczenie swojego portfolio rozwiązań i przejście z modelu licencji wieczystych na model subskrypcji, który branża przyjęła już jako standard korzystania z chmury. Firma zaznaczyła, że takie zmiany przyniosą klientom większe ko...
Środowiska IT stają się coraz bardziej rozbudowane. Firmy korzystają z infrastruktury on-premise jak również z rozwiązań chmurowych, często z wielu chmur (multicloud). W takiej sytuacji kluczem dla zapewnienia niezawodnego działania systemów IT jest monitoring infrastruktury. Właściwe rozwiązanie do monit...
Przed kilkoma tygodniami w skromnych progach naszej Virtual-nej redakcji pojawiła się przesyłka zawierająca router FRITZ!Box 6850 5G od firmy AVM. Router wprowadzony na rynek latem ubiegłego roku, za pomocą wbudowanego modemu obsługuje zakresy 5G w paśmie poniżej 6 GHz, a także LTE Advanced Pro we wszystkich obecnie wy...
Codziennie użytkownicy ChatGPT generują nawet 100 miliardów słów. Tak zwane duże modele językowe (Large Language Models, LLM) oparte na sztucznej inteligencji (Artificial Intelligence, AI) zdobywają coraz większą popularność jako alternatywa dla wyszukiwarek internetowych oraz jako narzędzie do komunikacji z klientami. Jednakże, oprócz nowych możliwości, modele AI niosą także zagrożenia - cyberprzestępcy mogą podsłuchiwać rozmowy prowadzone z użyciem chatbotów oraz manipulować instrukcjami przekazywanymi do modeli AI.
Duże modele językowe, takie jak ChatGPT czy Copilot, mogą być używane jako rozszerzenia przeglądarki internetowej i mieć do niej nieograniczony dostęp oraz kontrolę, na przykład uprawnienia do pobierania informacji, wypełniania formularzy czy formułowania zapytań. Może to być dużym wsparciem dla użytkowników, ale znacznie rozszerza też powierzchnię możliwych cyberataków. Jak pokazał eksperyment ekspertów firmy WithSecure przeprowadzony na specjalnie stworzonym chatbocie, cyberprzestępcy za pomocą programów LLM mogą przejąć poufne informacje ze skrzynki pocztowej użytkownika oraz zmienić oryginalne instrukcje wydane czatowi.
"Wystarczy, że cyberprzestępca wyśle maila ze złośliwą zawartością, a ofiara ataku poleci inteligentnemu asystentowi przeczytanie wiadomości ze swojej skrzynki i przygotowanie podsumowania. W momencie, gdy program otworzy maila, złośliwy ładunek zastępuje oryginalne instrukcje użytkownika (tak zwany prompt) i nakazuje asystentowi wyszukanie w skrzynce kodu logowania do banku oraz przesłanie go atakującemu. Akcja jest widoczna na ekranie, ślad po niej zostaje też w monitach, więc możliwe jest zorientowanie się, co się stało i podjęcie działań, np. zmiany haseł czy zablokowania konta. Jest to jednak poważne zagrożenie dla danych i prywatności użytkowników" - wskazuje Leszek Tasiemski, VP w firmie WithSecure.
Cyberprzestępcy mogą oszukać AI
Użytkownicy komunikują się z chatbotami poprzez wydawanie poleceń lub zadawanie pytań (tzw. promptów). Jeżeli pytanie zostanie odpowiednio spreparowane, informacja zwrócona użytkownikowi może być bardzo odmienna od tego, co przewidział operator danej usługi, a program zwróci użytkownikowi nieprawdziwe wyniki. Jak wskazały badania konsultanta ds. bezpieczeństwa z WithSecure, Donato Capitelli, z pomocą kilku technik cyberprzestępcy mogą oszukać chatbota tak, aby myślał, że zgodnie z poleceniem użytkownika sprawdził informacje z odpowiedniego systemu – a tak naprawdę są to dostarczone przez hakera fałszywe dane i podpowiedzi.
"Internetowe moduły sztucznej inteligencji podłączone do dużych modeli językowych będą coraz częściej stosowane przez firmy. Już teraz wiele przedsiębiorstw i użytkowników przetwarza dane z pomocą inteligentnych asystentów, aby podjąć odpowiednią decyzję, np. czy sprawa zgłoszona przez klienta powinna zostać przekazana do konsultanta. Takie firmy będą wystawiały się na ryzyko związane z manipulacją wejścia, ale także „halucynacjami” AI. Inicjatywy wdrażania mechanizmów LLM w aplikacjach i usługach udostępnianych klientom powinny być poprzedzone bardzo uważną analizą ryzyka. Brak odpowiednich zabezpieczeń może doprowadzić nie tylko do szkód finansowych, ale także utraty reputacji" - mówi Leszek Tasiemski.
Jak zabezpieczyć sztuczną inteligencję przed naturalną?
Aby uniknąć ryzyka i ograniczać potencjalne szkody konieczne jest m.in. dokładne kontrolowanie uprawnień dostępu modelu LLM do danych. Ważny jest również nadzór człowieka nad operacjami dokonywanymi przez inteligentnych asystentów. Warto rozważyć wdrożenie rozwiązań takich jak OpenAI Chat Markup Language (ChatML), które będą próbowały odróżnić rzeczywiste zapytania pochodzące od użytkowników od innych, potencjalnie złośliwych, treści. Zawsze też należy traktować odpowiedzi generowane przez duże modele językowe z ostrożnością i pewną dozą podejrzliwości. Warto mieć z tyłu głowy, że cały czas istnieje ryzyko, że powiedzie się próba naruszenia agenta sztucznej inteligencji i zmuszenia go do podejmowania niekorzystnych dla firmy czy użytkownika decyzji lub działań. Ich skutki mogą być nieprzewidywalne, dlatego konieczne jest zabezpieczenie wszelkich narzędzi lub systemów, do których chatbot może mieć dostęp.
Więcej szczegółów dostępnych jest na stronie opisującej przebieg badania.
Źródło: WithSecure
