Verbesserung der Datenqualität durch kollektive Fehlererkennung und kreative Problemlösung

von

Hast du genug von der deutschen Bürokratie und Politik? 🌍🤯 Dann ist unser Kanal genau das Richtige für dich! Hier gibt's nicht nur die heißesten Krypto-News, sondern auch eine Prise Sarkasmus und Spaß! 🚀😎

👉Beitreten zu Telegramm

Als Analyst mit über zwei Jahrzehnten Erfahrung in der Technologiebranche habe ich aus erster Hand die Herausforderungen miterlebt, mit denen Branchen aufgrund ungenauer, doppelter und unvollständiger Daten konfrontiert sind. Das Aufkommen der KI sollte diese Probleme lindern, aber wie wir alle wissen, ist keine Technologie perfekt.

Das anhaltende Problem falscher, wiederholter und unzureichender Daten besteht in verschiedenen Branchen. Künstliche Intelligenz (KI) wird als Lösung eingesetzt, doch auch sie weist ihre eigenen Einschränkungen auf. Manchmal sind die von der KI verwendeten Daten möglicherweise falsch klassifiziert oder einfach nicht anwendbar.

Fraction AI ebnet den Weg in der Datenkennzeichnung und verbindet die Schnelligkeit künstlicher Intelligenz mit menschlicher Intuition. Das Unternehmen hat gerade eine Pre-Seed-Finanzierungsrunde in Höhe von 6 Millionen US-Dollar abgeschlossen, die gemeinsam von Symbolic und Spartan geleitet wurde, sowie strategische Investitionen von Illia Polosukhin (Near), Sandeep Nailwal (Polygon) und anderen erstklassigen Angel-Investoren.

Als Analyst freue ich mich darauf, über unsere innovative Lösung Fraction AI zu sprechen. Im Gegensatz zu herkömmlichen Methoden, die ausschließlich auf künstlicher Intelligenz oder menschlichem Eingreifen basieren, gehen wir einen neuen Weg, indem wir unsere KI-Agenten von der menschlichen Intuition leiten. Die aus dieser Runde gesammelten Mittel werden dazu beitragen, tiefer in die Forschung hinter diesem Ansatz einzutauchen und unsere Infrastruktur zu verbessern, um sie an ihre Skalierbarkeit anzupassen. Diese hybride Methode, die sich durch gründliche Forschung als wirksam erwiesen hat, verspricht, die zunehmende Herausforderung einer effizienteren Generierung hochwertiger Daten zu bewältigen.

Einführung von Gamified Adversarial Prompting

Datenwissenschaftler haben gezeigt, dass der Einsatz von GAP (Gamified Adversarial Prompting) die Leistung moderner KI-Modelle durch die Erstellung effektiverer Datensätze erheblich verbessert. Das GAP-System funktioniert durch das Sammeln hochwertiger Daten während eines Spiels, wodurch die Datenerfassung für Spieler zu einem angenehmen Erlebnis wird. Dieser Prozess ermutigt die Teilnehmer, komplexe, detaillierte Fragen und Antworten zu stellen, die dazu beitragen, die Wissensbasis der KI-Modelle zu erweitern.

Vereinfacht ausgedrückt motiviert Fraction AI KI-Agenten dazu, erstklassige Daten zu generieren, indem sie Echtzeitwettbewerbe veranstalten. Entwickler entwerfen und aktivieren diese Agenten nach spezifischen Richtlinien, um die besten Ergebnisse zu erzielen. Das zugrunde liegende System wird von Ether unterstützt und dient als wirtschaftliches Rückgrat. Die Teilnehmer werden wirtschaftlich entlohnt, was zu einem stetigen Fluss nützlicher Trainingsdaten führt.

Aktuelle Probleme mit der Datenqualität

Ineffiziente Daten, die durch Fehler wie falsch geschriebene Namen, falsche Adressen oder allgemeine Eingabefehler gekennzeichnet sind, können Unternehmen erhebliche Kosten verursachen, die sich jährlich oft auf zweistellige Millionenbeträge belaufen. Unabhängig davon, ob sie auf menschliches Versagen oder technische Störungen zurückzuführen sind, sind ungenaue Daten problematisch, da sie zu Inkonsistenzen führen, die jede sinnvolle Analyse beeinträchtigen.

Bei der Zusammenführung von Daten aus mehreren Quellen kann es häufig vorkommen, dass identische Datensätze entstehen. Wenn wir beispielsweise Einzelhandelsszenarien betrachten, könnten Sie Kundenlisten von zwei verschiedenen Plattformen sammeln und einige Personen entdecken, die in beiden Geschäften eingekauft haben. Diese wiederholten Einträge können zu Problemen führen, da Sie jeden Kunden nur einmal erfassen möchten.

Das Zusammenführen von Daten aus zwei unterschiedlichen Quellen kann zu Formatierungsunterschieden führen. Diese quellenübergreifenden Unregelmäßigkeiten könnten potenziell zu erheblichen Datenqualitätsproblemen führen, wenn sie nicht umgehend erkannt und behoben werden.

Zwei häufig anzutreffende Herausforderungen sind unvollständige Daten und sogenannte „dunkle“ oder versteckte Daten. Unvollständige Daten beziehen sich auf Datensätze, denen wesentliche Details fehlen, wie z. B. Telefonnummern ohne Vorwahlen oder demografische Informationen ohne Altersangaben. Auf der anderen Seite handelt es sich bei Dark Data um eine Art von Daten, die gesammelt und gespeichert werden, aber ungenutzt und ungenutzt bleiben. IBM geht beispielsweise davon aus, dass etwa 90 % aller von IoT-Geräten gesammelten Sensordaten ungenutzt bleiben. Diese übersehene Ressource macht mehr als die Hälfte der gesamten Datenspeicherkosten eines durchschnittlichen Unternehmens aus, und viele Unternehmen sind sich ihrer Existenz nicht bewusst.

Menschliches Verständnis erleichtert Verbesserungen

GAP dient als Bildungsressource und inspiriert Einzelpersonen dazu, die Grenzen der Möglichkeiten der künstlichen Intelligenz zu erweitern. Indem die Teilnehmer aufgefordert werden, Fehler oder Diskrepanzen in Datensätzen oder KI-Ergebnissen zu lokalisieren, wird die Fehlererkennung gefördert. Angesichts der breiten Erfahrungsvielfalt seiner Benutzer erleichtert es die Identifizierung von Vorurteilen, die einem einzelnen Entwicklungsteam aufgrund seiner begrenzten Perspektive möglicherweise entgehen.

Die Einbeziehung von Spielmechaniken motiviert Einzelpersonen zu kreativem Denken, indem sie Probleme oder Rätsel angehen, die die Grenzen von Daten- und Modellfähigkeiten überschreiten. Auf diese Weise können Spieler neue Anwendungsfälle entdecken, verzerrte Ergebnisse identifizieren und vielfältigere Lösungen vorschlagen, wodurch systemische Verzerrungen in Daten und Modellen minimiert werden. Dies führt zu einer gerechteren Basis für verschiedene Arten von Anwendungen. Darüber hinaus werden die Teilnehmer auf zuvor übersehene Dateninkonsistenzen aufmerksam gemacht, da sie durch Belohnungen für das Erkennen von Fehlern belohnt werden. Die potenziellen Vorteile für das Auffinden schwerwiegender Fehler könnten erheblich sein, wodurch die Wahrscheinlichkeit unvorhergesehener Probleme oder Schwachstellen bei realen Implementierungen verringert wird.

Durch Fortschritte in der Technologie wird es für eine größere Anzahl von Personen möglich, gleichzeitig an Multiplayer-Gaming-Sitzungen teilzunehmen. Diese Massenbeteiligung fördert den schnellen Fortschritt, da die gestiegene Datenmenge das schnelle Aufdecken von Schwachstellen erleichtert.

Die dunkle Seite der Kreativität

Kreative Problemlösung muss nicht dem Gemeinwohl dienen. Die Belohnungen wären für einige Benutzer die Hauptmotivation und würden zu einer übermäßigen Fokussierung auf sie führen. Um noch einen Schritt weiter zu gehen: Es ist durchaus zu erwarten, dass böswillige Akteure versuchen, das System auszutricksen, und Plattformen müssen Mechanismen bereitstellen, um schädliche Aktivitäten zu erkennen und zu blockieren. Ein Beispiel ist die Verwendung von KI und statistischen Modellen zur Überwachung von Benutzerverhaltensmustern und zur Kennzeichnung von Anomalien, die auf Spam oder ungewöhnliche Übermittlungsmuster hinweisen. Ungewöhnlich hohe Einsendungsraten oder sich wiederholende Muster eines einzelnen Benutzers könnten zur Überprüfung markiert werden.

Vereinfacht ausgedrückt könnte das GAP-System Benutzer anhand ihrer früheren Beiträge bewerten. Um das Risiko eines Missbrauchs zunächst zu minimieren, ist es am besten, dass neu registrierte Benutzer keine große Rolle spielen, bis sie sich einen Ruf für Zuverlässigkeit aufgebaut haben.

Letztendlich kann es sein, dass einige Benutzer Inhalte willkürlich markieren. Um zu verhindern, dass die Integrität der Daten dadurch beeinträchtigt wird, müssen Plattformen, die GAP (Generalized Adversarial Process) nutzen, möglicherweise menschliche Analysten oder künstliche Intelligenz integrieren, um Fälle herauszufiltern, in denen nützliche und präzise Informationen gekennzeichnet werden.

Datenqualität zum Mainstream machen

Durch die Teilnahme können Menschen motiviert werden, falsche Bezeichnungen oder unnötige Daten in KI-Datenbanken zu identifizieren und so die Präzision und Wirksamkeit von Systemen des maschinellen Lernens und der künstlichen Intelligenz zu verbessern. Darüber hinaus können spielerische Beiträge die Genauigkeit und Vollständigkeit von Open-Source-Datensätzen wie Wikipedia und OpenStreetMap steigern. Diese Echtzeit-Kennzeichnung von Fehlinformationen wird insgesamt zu zuverlässigeren Repositories führen.

Die Implementierung des GAP-Systems (Generalized Approach for Parity) könnte dazu beitragen, effektiver mit Inhalten umzugehen, die verletzend, voreingenommen oder unangemessen sind. Beispielsweise könnten sich Plattformen wie Reddit oder YouTube für die Integration dieser Methode entscheiden, um solche fragwürdigen Inhalte schnell zu erkennen und von ihren Websites zu entfernen.

Weiterlesen

2024-12-19 16:04