Dokładność transkrypcji spotkań w języku japońskim: przetestowaliśmy sześć narzędzi opartych na sztucznej inteligencji (2026)

Spośród sześciu ocenianych narzędzi tl;dv osiągnęło najwyższą dokładność, uzyskując wynik częściowy wynoszący 60.

Rimo uplasowało się na 57. miejscu, Notta również na 57., Google Gemini na 39., ClovaNote na 33., a Tactiq z wynikiem 26.

tl;dv czołową pozycję pod względem poprawności językowej, poprawności nazw własnych i imion oraz rozpoznawania terminów technicznych jeszcze przed rozpoczęciem jakiegokolwiek szkolenia dostosowanego do konkretnych potrzeb. Osiągnęło również doskonałe wyniki w takich obszarach, jak obsługa specyficzna dla danego języka, liczby, daty i waluty, a także interpunkcja i segmentacja.

Wykrywanie obiektów

Jednym z elementów, które poddaliśmy testom, było wykrywanie encji. Wykrywanie encji definiuje się jako zdolność narzędzia do poprawnego rozpoznawania znanych nazw i terminów. W nagraniu audio pojawiło się kilka nazw marek, w tym tl;dv.

tl;dv zidentyfikować i poprawnie transkrybować tl;dv jego prawdziwą formę, wraz ze średnikiem. Żadne z pozostałych narzędzi nie było w stanie tego zrobić, choć wiele z nich potrafiło transkrybować to jako „TLDV”, co w tym przypadku jest niemal poprawne. Niektóre z pozostałych narzędzi nie były w stanie w ogóle poprawnie odtworzyć tego wyrażenia, w tym CLOVA , które wyświetlało różne warianty, takie jak „pldv”, „gldv” czy po prostu „dv”.

Stwierdziliśmy, że podobna sytuacja miała miejsce w przypadku innych nazw marek i imion osób – wiele narzędzi podawało różne wersje nazw własnych w poszczególnych wynikach. Narzędzie, które poprawnie odwzorowuje uznaną nazwę, zazwyczaj zachowuje dokładność również w odniesieniu do innych elementów występujących podczas spotkania, takich jak lokalizacje, osoby i nazwy firm.
tl;dv najwyższy wynik spośród wszystkich sześciu narzędzi. Ta sama spójność dotyczyła również innych elementów w transkrypcjach, a tl;dv zachowywało imiona i nazwiska osób, gdy były one wymieniane w wypowiedziach.

Wyniki CER

Udało nam się przeprowadzić czwarty test z wykorzystaniem zweryfikowanego transkryptu pochodzącego z zewnętrznego źródła w celu obliczeniawskaźnika błędów znakowych (CER) – podstawowego wskaźnika służącego do oceny jakości rozpoznawania mowy (ASR). W naszych testach CER tl;dv doskonały wynik na poziomie 0,8%, a Notta osiągnęła bardzo zbliżony wynik. Dla porównania: Rimo uzyskało wynik 1,5%, Tactiq , Tactiq %, Clova ,8%, a Gemini ,8%. Gemini na krótszym nagraniu, ponieważ wystąpił błąd związany z przerwaniem spotkania.

Oznaczanie głośników

tl;dv jedynym narzędziem umożliwiającym oznaczanie nazwisk mówców. W przypadku nagrań, w których występuje wielu mówców, to rozróżnienie ma bezpośredni wpływ na użyteczność transkrypcji. Jest to główny powód, dla którego tl;dv przed Rimo, które osiągnęło porównywalną dokładność, ale nie oferuje funkcji oznaczania mówców.

Obserwacje dotyczące konkurencji

Najdokładniejszy wynik osiągnął Rimo, charakteryzujący się wysoką dokładnością oraz proporcjonalnymi i czytelnymi segmentami. Jego głównym ograniczeniem jest brak oznaczeń mówców, a nazwę produktu odczytał jako „TLDV”.

Notta również poradziła sobie dobrze i podzieliła tekst na przejrzyste akapity, choć zdaniem naszego panelu złożonego z native speakerów poszczególne fragmenty były nieco zbyt długie.

Clova wyraźne podziały na linie po każdym zdaniu, jednak jej dokładność była niewystarczająca, by je poprzeć, a niekonsekwentne odwzorowanie nazw różnych produktów wskazuje na szersze problemy z rozpoznawaniem.

Tactiq najsłabiej pod względem podstawowych wskaźników. Nie udało mu się wykryć mówcy – jeden mówca został przypisany do wielu etykiet – a dokładność była niska w całym badaniu. Uzyskał najniższy wynik spośród wszystkich sześciu systemów.

Uwaga dotycząca Google Gemini

Materiały źródłowe stanowiły wcześniej nagrane webinaria, więc nie Gemini uruchomić Gemini na żywo w ramach Google Meet , co jest jego standardową metodą przechwytywania. Do bezpośredniego przetworzenia pliku M4A wykorzystano płatne konto Google. Gemini jedynie fragment sesji zamiast pełnego nagrania, a transkrypcja była zniekształcona w miejscach, gdzie nie udało się przeanalizować dźwięku, co skutkowało słabą jakością i trudnością w odczytaniu tekstu. Dla porównania ten sam plik został przekazany do Notta, co wykazało, że problemem nie był materiał źródłowy.

Google Meet obliczenia wyników CER przeprowadzono test na czwartym zasobie, który odbył się na żywo za pośrednictwem Google Meet . Usługa Google Gemini dodana na żywo do spotkania, ale w trakcie została wyłączona, po czym trzeba było ją ponownie uruchomić. W rezultacie transkrypcja została ponownie skrócona i zawierała wiele nieścisłości.

Gemini w porównaniu dla kompletności, zaznaczając jednak to ograniczenie. Wyniki tej usługi wykazały również pewną zdolność do rozpoznawania wielu języków, identyfikując w nagraniu angielskie sygnały nagrywania.