Stephan Contratti

bedeutet ganz was anderes als einem auf den ersten Blick in den Sinn kommt, aber lest selbst.

Das No-Free-Lunch-Theorem wird häufig in der Optimierung und beim maschinellen Lernen verwendet, ohne zu verstehen, was es bedeutet oder impliziert. Quais wie es schon aus dem Namen herausgeht, kein gratis Essen 😦 .

Was ist das No Free Lunch Theoreme:

Die Theorie besagt, dass, wenn die Leistung aller Optimierungsmethoden über alle denkbaren Probleme gemittelt wird, sie alle gleich gut abschneiden. Es zeigt an, dass es keinen optimalen Optimierungsalgorithmus gibt. Aufgrund der engen Verbindung zwischen Optimierung, Suche und maschinellem Lernen gibt es keine optimale Methode des maschinellen Lernens für prädiktive Modellierungsaufgaben wie Klassifizierung und Regression.

Unterscheidung:

Es gibt zwei No Free Lunch (NFL) Theoreme im Allgemeinen: eines für maschinelles Lernen und eines für Suche und Optimierung. Diese beiden Theoreme sind miteinander verbunden und werden häufig zu einem einzigen allgemeinen Postulat (dem Folkloretheorem) zusammengefasst.

Obwohl viele andere Wissenschaftler zu den kollektiven Schriften über die No-Free-Lunch-Theoreme beigetragen haben, ist David Wolpert der bekannteste Name, der mit diesen Studien in Verbindung gebracht wird.
Überraschenderweise wurde das Konzept, das das NFL-Theorem inspiriert haben könnte, erstmals von einem Philosophen aus dem Jahr 1700 angeboten. Ja, Sie haben richtig gelesen! Ein Philosoph, kein Mathematiker oder Statistiker.

David Hume, ein schottischer Philosoph, stellte die Frage der Induktion in der Mitte des 1700. Jahrhunderts vor. Dies ist eine philosophische Frage, ob induktives Denken zu wahrem Wissen führt.

Induktives Denken ist eine Art des Denkens, bei der wir auf der Grundlage früherer Beobachtungen Rückschlüsse auf die Welt ziehen.

David Hume

Nach der „No Free Lunch“-Theorie gibt es kein Modell, das für jede Situation am besten funktioniert. Da die Annahmen eines großartigen Modells für ein Problem möglicherweise nicht für ein anderes gelten, ist es beim maschinellen Lernen typisch, viele Modelle auszuprobieren, um das Modell zu ermitteln, das für ein bestimmtes Problem am besten geeignet ist. Dies gilt insbesondere für das überwachte Lernen, bei dem Validierung oder Kreuzvalidierung häufig verwendet wird, um die Vorhersagegenauigkeit vieler Modelle unterschiedlicher Komplexität zu vergleichen, um das optimale Modell auszuwählen. Ein gutes Modell kann auch mit verschiedenen Methoden trainiert werden – zum Beispiel kann die lineare Regression mit normalen Gleichungen oder Gradientenabstieg gelernt werden.

Nach dem „No Free Lunch“-Theorem schneiden alle Optimierungsmethoden gleich gut ab, wenn sie über alle Optimierungsaufgaben ohne erneute Stichprobe gemittelt werden. Dieser theoretische Grundgedanke hatte den größten Einfluss auf Optimierung, Suche und überwachtes Lernen. Das erste Theorem, No Free Lunch, wurde schnell formuliert, was zu einer Reihe von Forschungsarbeiten führte, die ein ganzes Forschungsgebiet mit aussagekräftigen Ergebnissen in verschiedenen Wissenschaftsdisziplinen definierten, in denen die effektive Erforschung einer Suchregion eine wichtige und entscheidende Aktivität ist.

Im Allgemeinen ist seine Nützlichkeit genauso wichtig wie der Algorithmus. Eine effektive Lösung wird erstellt, indem das Dienstprogramm mit dem Algorithmus abgeglichen wird. Wenn keine guten Bedingungen für die Zielfunktion bekannt sind und man nur mit einer Blackbox arbeitet, kann nicht garantiert werden, dass diese oder jene Methode eine (Pseudo-)Zufallssuche übertrifft.

Es wird ein Framework geschaffen, um die Beziehung zwischen erfolgreichen Optimierungsalgorithmen und den Problemen, die sie lösen, zu untersuchen. Es wird eine Reihe von „No Free Lunch“ (NFL) -Theoremen bereitgestellt, die festlegen, dass jede verbesserte Leistung über eine Klasse von Aufgaben durch eine verbesserte Leistung gegenüber einer anderen kompensiert wird. Diese Theoreme liefern eine geometrische Erklärung dafür, was es bedeutet, wenn ein Algorithmus gut auf ein Optimierungsproblem abgestimmt ist.

Die NFL-Theoreme werden auch auf informationstheoretische Elemente der Optimierung und Benchmark-Messungen der Leistung angewendet.

Beispielen:

So etwas wie ein kostenloses Abendessen gibt es nicht, da das Hinzufügen von Alternativen zu einem Projekt sowohl direkte als auch Opportunitätskosten verursacht. Infolgedessen kann die Einbeziehung tatsächlicher Alternativen die ursprünglichen Entwicklungskosten erhöhen. Direkte Kosten sind die Kosten für zusätzlichen Entwicklungsaufwand, der erforderlich ist, um bestimmte Flexibilitäten in die Architektur des Projekts zu integrieren. Opportunitätskosten sind die Kosten, die entstehen, wenn Sie aufgrund der Zeit und des Aufwands, die für die Generierung dieser Flexibilität aufgewendet werden, nichts anderes tun können (z. B. eine Funktion hinzufügen).

Sie möchten an einem Samstagabend mit Ihren Freunden etwas trinken gehen und Sie beschließen, sich um 8.30 Uhr zu treffen. Du machst dich fertig und steigst ins Auto, aber wenn du auf GPS schaust, zeigt es 40 Minuten Fahrzeit an. Sie wählen eine andere Route, dann werden nur 30 Minuten angezeigt, aber Sie müssen die zusätzlichen 5 Meilen gehen und diese Route wählen, um die Bar zu erreichen. Diese Option ist erfolgreich, weil Sie pünktlich ankommen. Also, „Können wir immer eine zusätzliche 5-Meilen-Route wählen?“ als Standardeinstellungen, die Antwort ist Nein. Der Grund dafür ist, dass, wenn Sie sich dafür entscheiden, außerhalb der Stoßzeiten zu reisen, die Wahrscheinlichkeit, dass Sie mehr für Benzin bezahlen, ziemlich hoch ist.

Fazit

Daher ist es fast unmöglich, einen maschinellen Lernalgorithmus zu finden, der „kostenlos“ bzw. „ohne Nebeneffekte“ funktioniert. Der Grund dafür ist, dass Sie das Wissen über Ihre Daten nutzen und den Kontext der Umgebung, in der wir und unsere Daten leben, analysieren müssen, um ein geeignetes Problem für maschinelles Lernen zu entwickeln. Dies bedeutet auch, dass es so etwas wie einen universell besten maschinellen Lernalgorithmus nicht gibt, und es gibt keinen nutzungsunabhängigen Grund, einen Algorithmus gegenüber den anderen zu bevorzugen.

Quellen: