Im Bereich der Verarbeitung natürlicher Sprache haben Transformer-basierte maschinelle Übersetzungssysteme die Art und Weise revolutioniert, wie wir an die sprachübergreifende Kommunikation herangehen. Als führender Transformatorenlieferant sind wir intensiv an der Entwicklung und Optimierung dieser Systeme beteiligt. Um die qualitativ hochwertige Leistung unserer Transformer-basierten maschinellen Übersetzungslösungen sicherzustellen, ist es entscheidend, geeignete Bewertungsmetriken zu verstehen und zu nutzen.
1. BLAUER Punktestand
Der BLEU-Score (Bilingual Evaluation Understudy) ist eine der am häufigsten verwendeten Metriken zur Bewertung maschineller Übersetzung. Es misst die Ähnlichkeit zwischen dem maschinell übersetzten Text und einer oder mehreren Referenzübersetzungen. Die Grundidee von BLEU besteht darin, die n-Gramm-Überlappung zwischen der Kandidatenübersetzung und den Referenzübersetzungen zu berechnen.
Beispielsweise misst ein Unigramm-BLEU-Score (n = 1) den Anteil einzelner Wörter in der Kandidatenübersetzung, die auch in den Referenzübersetzungen vorkommen. N-Gramme höherer Ordnung, wie Bigramme (n = 2) und Trigramme (n = 3), erfassen komplexere syntaktische und semantische Informationen.
Der BLEU-Score reicht von 0 bis 1, wobei 0 keine Überschneidung mit den Referenzübersetzungen bedeutet und 1 eine perfekte Übereinstimmung darstellt. Allerdings weist der BLEU-Score einige Einschränkungen auf. Es berücksichtigt nicht die semantische Bedeutung des Textes und kann Übersetzungen, die zwar syntaktisch korrekt, aber semantisch falsch sind, mit hoher Punktzahl bewerten.
2. METEOR
METEOR (Metric for Evaluation of Translation with Explicit ORdering) ist eine weitere wichtige Bewertungsmetrik. Es kombiniert Unigramm-Matching mit Stamm- und Synonym-Matching, was dazu beiträgt, einige der Einschränkungen des BLEU-Scores zu beseitigen.
METEOR berechnet ein harmonisches Mittel der Präzision und Erinnerung von Unigrammen und berücksichtigt dabei sowohl die exakten Wortübereinstimmungen als auch die Übereinstimmungen nach Stammbildung und Synonymersetzung. Diese Metrik berücksichtigt in gewissem Maße auch die Wortreihenfolge, die für die Erfassung der syntaktischen Struktur des Satzes wichtig ist.
Im Vergleich zu BLEU bietet METEOR im Allgemeinen eine umfassendere Bewertung der Übersetzungsqualität, insbesondere im Hinblick auf semantische Ähnlichkeit. Allerdings ist der Rechenaufwand höher und die Berechnung kann möglicherweise langsamer sein.
3. ROUGE
ROUGE (Recall – Oriented Understudy for Gisting Evaluation) ist eine Reihe von Metriken, die ursprünglich für die Bewertung der automatischen Textzusammenfassung entwickelt wurden, aber auch auf die maschinelle Übersetzung angewendet wurden. ROUGE misst die Überlappung zwischen der Kandidatenübersetzung und den Referenzübersetzungen anhand von n-Grammen, Skip-Bigrammen und längsten gemeinsamen Teilsequenzen.
ROUGE-N misst den n-Gramm-Recall, wobei N 1, 2 usw. sein kann. ROUGE-L misst die längste gemeinsame Teilsequenz zwischen dem Kandidaten und der Referenz. Diese Metriken sind nützlich, um die Fähigkeit des maschinellen Übersetzungssystems zu bewerten, die Schlüsselinformationen im Quelltext zu erfassen.
4. HABEN
Die Translation Edit Rate (TER) misst die Anzahl der Bearbeitungen (Einfügungen, Löschungen und Ersetzungen), die erforderlich sind, um die Kandidatenübersetzung in die Referenzübersetzung umzuwandeln. Es ist ein Maß für die Fließfähigkeit und Genauigkeit der Übersetzung.
Ein niedrigerer TER-Wert weist auf eine bessere Übersetzungsqualität hin, da weniger Bearbeitungen erforderlich sind, um mit der Referenz übereinzustimmen. TER eignet sich besonders zur Bewertung der syntaktischen und lexikalischen Genauigkeit der Übersetzung.
5. Menschliche Bewertung
Während automatisierte Metriken praktisch sind und weit verbreitet sind, bleibt die menschliche Bewertung ein wesentlicher Bestandteil der Beurteilung der Qualität maschineller Übersetzung. Menschliche Gutachter können Faktoren wie semantische Kohärenz, kulturelle Angemessenheit und die allgemeine Lesbarkeit der Übersetzung berücksichtigen.
Die menschliche Bewertung kann durch Aufgaben wie die Bewertung der Übersetzung auf einer Skala, den Vergleich verschiedener Übersetzungen oder die Bereitstellung detaillierten Feedbacks erfolgen. Die menschliche Beurteilung ist jedoch zeitaufwändig und unterliegt individuellen Vorurteilen.
Unsere Transformer-Produkte für maschinelle Übersetzung
Als Transformatorlieferant bieten wir eine breite Palette hochwertiger Transformatorprodukte an, die für maschinelle Übersetzungssysteme geeignet sind. UnserEpoxidguss-TrockentransformatorBietet eine stabile Stromversorgung und zuverlässige Leistung, was für den reibungslosen Betrieb maschineller Übersetzungsalgorithmen von entscheidender Bedeutung ist.
Unser11-kV-Öltransformatorwurde entwickelt, um den hohen Leistungsanforderungen großer maschineller Übersetzungsmodelle gerecht zu werden. Es bietet hervorragende Isolations- und Wärmeableitungseigenschaften und gewährleistet so einen langfristigen und stabilen Betrieb.
Darüber hinaus unsere11-kV-Trockentransformatorist eine kostengünstige Lösung für kleine bis mittelgroße maschinelle Übersetzungsanwendungen. Es ist einfach zu installieren und zu warten, was es zu einer beliebten Wahl bei unseren Kunden macht.
Abschluss
Zusammenfassend lässt sich sagen, dass die Bewertung der Leistung eines Transformer-basierten maschinellen Übersetzungssystems eine Kombination aus automatisierten Metriken und menschlicher Bewertung erfordert. Jede Metrik hat ihre eigenen Stärken und Grenzen, und eine umfassende Bewertung sollte mehrere Aspekte der Übersetzungsqualität berücksichtigen.
Als Transformatorlieferant sind wir bestrebt, qualitativ hochwertige Transformatorprodukte bereitzustellen, um die Entwicklung und den Betrieb maschineller Übersetzungssysteme zu unterstützen. Wenn Sie an unseren Produkten interessiert sind und die Beschaffung besprechen möchten, können Sie sich gerne an uns wenden. Wir freuen uns darauf, mit Ihnen zusammenzuarbeiten, um eine bessere Leistung bei der maschinellen Übersetzung zu erzielen.
Referenzen
- Papineni, K., Roukos, S., Ward, T. & Zhu, WJ (2002). BLEU: eine Methode zur automatischen Auswertung maschineller Übersetzung. Tagungsband der 40. Jahrestagung der Vereinigung für Computerlinguistik.
- Banerjee, S. & Lavie, A. (2005). METEOR: Eine automatische Metrik für die MT-Bewertung mit verbesserter Korrelation mit menschlichen Urteilen. Vorträge des ACL-Workshops zu intrinsischen und extrinsischen Bewertungsmaßnahmen für maschinelle Übersetzung und/oder Zusammenfassung.
- Lin, CY (2004). ROUGE: Ein Paket zur automatischen Auswertung von Zusammenfassungen. Vorträge des Workshops zur Textzusammenfassung verzweigt sich.
- Snover, M., Dorr, B., Schwartz, R., Micciulla, L. & Makhoul, J. (2006). Eine Studie zur Übersetzungsbearbeitungsrate mit gezielter menschlicher Annotation. Tagungsband der Association for Machine Translation in the Americas.