Przewodniki8 min czytania

Multimodalne AI bez zgadywania z obrazka: PDF, zdjęcia i audio w procesie, który sprawdza każdy format

Jak pracować z multimodalnym AI: PDF, obrazy, audio, limity, OCR, wykresy i testy. Praktyczny przewodnik dla małej firmy bez zgadywania.

Otwarta księga z przestrzenną makietą miasta, mostów i żaglówek
Otwarta księga z przestrzenną makietą miasta, mostów i żaglówekIlustracja koncepcyjna: Aeneia

Model przeczytał cały PDF, rozpoznał wykres i podsumował nagranie. Brzmi jak koniec ręcznego przepisywania. Potem okazuje się, że tabela została zmniejszona przed wysyłką, jedna liczba jest z innej kolumny, a w nagraniu dwie osoby mówiły naraz. Multimodalność zwiększa możliwości wejścia, nie pewność wyniku.

Dobry proces zaczyna się od wyboru właściwego formatu i testu jakości. Nie każdy PDF jest tekstem, nie każde zdjęcie zachowuje szczegół, nie każda transkrypcja oddaje mowę. Poniższy przewodnik pomaga zbudować odbiór dla rzeczywistych materiałów.

Wybierz wynik przed formatem

Zapisz, co ma powstać: dane z tabeli, odpowiedź z cytatem, lista decyzji, opis obrazu albo porównanie wersji. Od tego zależy, czy potrzebujesz samego tekstu, układu strony, wykresu czy dźwięku. Nie wysyłaj wszystkiego „dla pełnego kontekstu”.

Jeżeli dokument ma dobrą warstwę tekstową, zacznij od ekstrakcji tekstu. Jest tańsza i łatwiejsza do sprawdzenia. Obraz jest potrzebny przy skanie, wykresie, podpisie, układzie kolumn i adnotacjach. Audio ma sens, kiedy ton, osoba albo moment wypowiedzi wpływa na znaczenie.

Nie zmieniaj formatu bez potrzeby. Kilka konwersji PDF → zdjęcie → kompresja → model może usunąć dokładnie te detale, które chcesz zbadać. Zachowaj oryginał i opisz każdą transformację, żeby wiedzieć, gdzie zniknął szczegół.

PDF: najpierw warstwa i struktura

Otwórz dokument i sprawdź, czy można zaznaczyć tekst. Jeśli nie, prawdopodobnie potrzebujesz OCR lub analizy obrazu. Zobacz liczbę stron, hasło, obrót, małe tabele i przypisy. Oficjalna dokumentacja Anthropic opisuje limity stron i żądań oraz różnice między ekstrakcją tekstu a pełną analizą wizualną.

Zapisz zakres stron. Model nie musi czytać dwustu stron, kiedy odpowiedź dotyczy jednej umowy i załącznika. Nie wybieraj jednak fragmentu bez sprawdzenia odsyłaczy. Wyjątek w sekcji końcowej potrafi zmienić znaczenie całego dokumentu.

Przy każdej odpowiedzi dodaj stronę i tytuł sekcji. Jeżeli model podaje liczbę, otwórz oryginał w tym miejscu. Poprawny cytat przy złej liczbie jest bardziej niebezpieczny niż brak odpowiedzi, bo wygląda na sprawdzony.

Obrazy: czytelność przed wysyłką

Zobacz rzeczywisty plik po kompresji, nie tylko oryginał. Dokumentacja obrazów wskazuje na skalowanie dużych zdjęć, limity rozmiaru i wpływ artefaktów kompresji na jakość. Tekst, który był czytelny na komputerze, może stać się zgadywanką po zmniejszeniu.

Przygotuj wariant pełny i kadrowany. Pełny pokazuje kontekst, kadr pozwala odczytać tabelę lub zrzut. Nie wycinaj nagłówków kolumn i jednostek. Powiększanie samej liczby bez kontekstu jest najlepszym sposobem na przypisanie jej do złego wiersza.

Sprawdź format i pierwszą klatkę. Animowany GIF może zostać potraktowany jako nieruchomy obraz. Zdjęcie obrócone lub niewyraźne zwiększa błędy. Jeżeli układ współrzędnych jest istotny, nie polegaj na przybliżonych współrzędnych modelu; zachowaj własny pomiar lub inne narzędzie.

Wykresy i tabele potrzebują rekonstrukcji

Poproś model o odczyt osi, jednostek, legendy i okresu przed interpretacją. Dopiero potem porównaj wartości. Jeżeli oś zaczyna się powyżej zera, różnica może wyglądać dramatyczniej. AI może opisać wrażenie zamiast danych.

Przy tabeli zapisz nagłówki i kilka wierszy jako strukturę. Policz sumę kontrolną niezależnie, jeżeli źródło ją zawiera. Model może pomylić kolumny lub pominąć wiersz. Nie przenoś odczytu do raportu bez sprawdzenia próbki i wartości krytycznych.

Jeżeli wykres nie ma liczb, nie wymyślaj ich. Napisz, że dokładnej wartości nie da się odczytać. Przybliżenie powinno być oznaczone jako przybliżenie i używane tylko wtedy, kiedy nie zmienia decyzji finansowej lub bezpieczeństwa.

Audio: transkrypcja jest osobnym źródłem błędów

Nagranie wymaga zgody i zasad przechowywania. Ogranicz dostęp oraz retencję. Nie przesyłaj rozmowy z klientem do przypadkowego narzędzia, bo jest wygodniejsze niż notatka. Szersze zasady opisuje przewodnik o notatkach ze spotkania z AI.

Sprawdź nazwiska, liczby, terminy i przypisanie głosów. Dwie osoby mówiące naraz, słaby mikrofon i branżowe skróty potrafią zmienić sens. Odsłuchaj kluczowe fragmenty. Nie oceniaj emocji ani intencji na podstawie samego transkryptu.

Zachowaj znaczniki czasu przy decyzjach i cytatach. Podsumowanie powinno prowadzić do momentu nagrania, nie tylko do pliku trwającego godzinę. Jeżeli decyzja jest istotna, potwierdź ją tekstowo z uczestnikami zamiast zgadywać ton.

Kiedy połączyć formaty

Połączenie pomaga, kiedy tekst opisuje zasadę, a wykres pokazuje wynik albo nagranie wyjaśnia decyzję. Przypisz identyfikatory wspólne dla źródeł, żeby model nie mieszał wersji. Nie przesyłaj całego pakietu bez mapy.

Przykład: PDF zawiera cenę, zrzut pokazuje nowy interfejs, a rozmowa wyjaśnia powód zmiany. W odpowiedzi rozdziel fakt z dokumentu, obserwację obrazu i deklarację z nagrania. Nie zamieniaj ich w jeden pewny wniosek o przyszłości produktu.

Jeżeli źródła się sprzeciwiają, pokaż konflikt. Nowsza wersja nie zawsze jest tą z wyższym numerem pliku. Właściciel procesu musi potwierdzić źródło prawdy. Model może wskazać różnicę, nie powinien wybierać wygodniejszej odpowiedzi.

Ograniczenia, które trzeba zapisać

Obraz może mieć przybliżone liczenie i lokalizację, PDF może utracić strukturę, audio może błędnie rozdzielić mówców. Zapisz ograniczenia przy wyniku, szczególnie gdy wpływa na decyzję. Nie ukrywaj ich w ogólnej informacji „AI może się mylić”.

Sprawdź aktualne limity dostawcy przed wdrożeniem, nie na podstawie starego artykułu. Zapisz datę testu i wersję integracji. Zmiana modelu lub sposobu przetwarzania może zmienić zarówno jakość, jak i koszt.

Nie używaj modelu do rozpoznawania osób na zdjęciach, wykrywania autorstwa obrazu ani diagnoz specjalistycznych bez właściwego procesu. Dokumentacja Anthropic wskazuje ograniczenia identyfikacji osób i wykrywania obrazów syntetycznych. „Wygląda prawdziwie” nie jest analizą pochodzenia.

Przykład: ta sama tabela, dwa różne wyniki

Na oryginalnym PDF wartość 8,40 zł znajduje się w kolumnie netto, a 10,33 zł w brutto. Po zmniejszeniu obrazu model odczytuje 8,40 zł i przypisuje ją do brutto. Odpowiedź jest płynna i zawiera właściwą stronę. Błąd widać dopiero przy otwarciu kolumny.

Odbiór powinien sprawdzić nagłówki i relację między polami, nie tylko obecność liczby. Po kadrowaniu tabeli zachowujemy jednostki i nagłówki, a następnie porównujemy sumę netto, VAT i brutto. Jeżeli suma nie przechodzi, wynik trafia do ręcznego odczytu.

To pokazuje, dlaczego test nie może pytać tylko „co jest na obrazie?”. Musi sprawdzać strukturę i skutek. Przy fakturach dodatkowe zasady znajdziesz w przewodniku o automatyzacji faktur z AI.

OCR i opis obrazu to różne zadania

OCR ma odczytać znaki, analiza wizualna ma zrozumieć układ i relacje. Model może poprawnie opisać wykres jako wzrostowy i jednocześnie źle odczytać jednostkę. Wybierz, która warstwa jest źródłem liczby i która służy komentarzowi.

Przy formularzu zapisz pola osobno i sprawdź, czy odpowiedź nie łączy zawartości z sąsiedniej sekcji. Przy zdjęciu produktu nie przypisuj właściwości, których nie widać i które nie wynikają z dokumentacji. „Metalowa obudowa” może być zgadywaniem materiału na podstawie koloru.

Jeżeli wymagany jest fakt techniczny, użyj specyfikacji lub pomiaru. Obraz jest dowodem wyglądu, nie zawsze właściwości. Taka granica ogranicza bardzo pewne, ale nieuzasadnione opisy.

Dostępność wyniku dla człowieka

Opis obrazu powinien pomagać odbiorcy, nie tylko być kolejnym wyjściem modelu. Zapisz istotne informacje i pomiń detale niezmieniające decyzji. Jeżeli tekst alternatywny powtarza cały dokument, przestaje być użyteczny.

Przy wykresie dodaj tabelę lub krótkie podsumowanie danych. Nie zastępuj oryginału opisem, jeżeli dokładna wartość jest potrzebna. Użytkownik powinien móc wrócić do źródła i jednostki.

Przy nagraniu przygotuj transkrypt z czasem i mówcami, a przy decyzjach krótkie odnośniki. Format ma ułatwiać pracę osobom, które nie będą odsłuchiwać całości. Odbiór powinien sprawdzić, czy najważniejsza informacja jest dostępna także bez odtwarzania.

Koszt i opóźnienie przy większych plikach

Zapisz liczbę stron, obrazów, rozmiar i czas odpowiedzi oraz czas odbioru. Analiza wizualna może kosztować więcej niż tekst i nie zawsze daje lepszy wynik. Nie wybieraj jej tylko dlatego, że jest nowsza.

Jeżeli wynik wymaga powtórzenia z powodu jakości, dolicz drugą próbę i nowy przegląd. Może lepsze przygotowanie obrazu jest tańsze niż mocniejszy model. Porównaj na tych samych przypadkach, nie na cenniku bez procesu.

Przy dużej bibliotece wykonaj próbę na reprezentatywnych plikach. Kilka idealnych PDF-ów nie pokazuje kosztu skanów i starych tabel. Decyzja o skali powinna wynikać z rozkładu rzeczywistych dokumentów.

Test jednego dokumentu w czterech wariantach

Przygotuj ten sam PDF jako tekst, obraz dobrej jakości, obraz po kompresji i wersję z kadrem tabeli. Zadaj te same pytania. Zapisz, które fakty są poprawne, gdzie giną szczegóły i ile kosztuje odbiór. To pokazuje rzeczywisty wpływ wejścia.

Dodaj pytanie bez odpowiedzi i konflikt z inną wersją. System powinien przyznać brak zamiast zgadywać. Jeżeli odpowiedź różni się między wariantami, wybierz proces z lepszym źródłem, nie średnią odpowiedzi.

Na końcu oceń czas człowieka. Jeżeli trzeba otworzyć każdą stronę i każdą tabelę, automatyzacja może nie dawać zysku. Ogranicz ją do wyszukania miejsca wymagającego uwagi zamiast pełnego raportu.

Test jednego nagrania i jednego zrzutu

Wybierz krótki fragment z liczbami i nazwami. Porównaj transkrypt z odsłuchem, zaznacz błędy i zapisz ich typ. Potem sprawdź, czy podsumowanie zachowuje decyzje i nie dodaje intencji. Nie wysyłaj całej serii przed poprawieniem słownika.

Przy zrzutu interfejsu kliknij proces ręcznie i porównaj z opisem modelu. Sprawdź nazwy przycisków, stany błędów i mały tekst. Jeżeli model zgaduje element poza kadrem, ogranicz instrukcję do widocznych dowodów.

Taki test powinien być powtarzany po zmianie modelu lub pipeline. Nie musisz analizować całej biblioteki za każdym razem. Wybierz przypadki zależne od zmiany i kilka stałych kontrolnych.

Minimalny proces produkcyjny

Na wejściu zapisz typ pliku, źródło, właściciela i wersję. System sprawdza format, rozmiar i czytelność. Dopiero potem wybiera ekstrakcję lub analizę wizualną. Odpowiedź zawiera cytat, stronę lub czas i ograniczenie.

Przed publikacją człowiek otwiera źródło przy wszystkich liczbach krytycznych i losowej próbce reszty. Log zawiera identyfikatory, transformacje i wynik odbioru, nie pełne kopie poufnych treści. Jeżeli jakość spada, proces wraca do mniejszego zakresu.

Przy mapie dokumentów i uprawnień Aeneia Audit pomaga zaprojektować granice procesu. Dla treści i obrazów Aeneia Design pomaga zachować czytelność materiału przed analizą i po niej.

Multimodalne AI nie rozumie każdego formatu tak samo. Najlepszy wynik daje proces, który wie, kiedy użyć tekstu, obrazu i dźwięku oraz kiedy poprosić o lepsze źródło. Model może zobaczyć więcej. Twoja praca to sprawdzić, co faktycznie zobaczył.

Źródła i dalsza lektura

Sprawdź nas. To zdrowe.

Temat zmienia się szybko. Linki prowadzą do źródeł pierwotnych i stron, na których możesz zweryfikować kontekst.

Doszłaś / Doszedłeś do końca. My też jesteśmy pod wrażeniem.Masz uwagę albo lepszy przykład? Napisz

Marki, dla których tworzyliśmy rozwiązania w Aeneia

Przewijaj w bok
  • L'Oréal
  • Garnier
  • Netflix
  • Carrefour
  • Warner Bros. Discovery
  • Biedronka
  • HBO Max
  • Wolt
  • Żabka
  • COSRX
  • Mixa
  • Ambasada Chin w Polsce

Narzędzia i technologie, z których korzystamy

Przewijaj w bok
  • Google
  • OpenAI
  • Microsoft
  • Stripe
  • Anthropic
  • Linear