Google DeepMind Challenge

[hustbaer]

SeppJ schrieb:

Ist es nicht höchste Zeit, ähnlich gemachte Programme für Politik, Volks- und Betriebswirtschaft zu entwickeln und ihnen die Verantwortung für die Welt zu übertragen?

Zumindest wäre es Zeit mal damit anzufangen diese Dinge ordentlich zu analysieren. Also Modelle zu entwerfen, zu testen etc. Im Prinzip anzufangen das nötige Fundament zu bauen um solche Programme zu entwickeln.

Wobei es wohl fast sicher Unternehmungen in diese Richtung gibt. Würde mich nur wundern wenn die genügend Resourcen zur verfügung hätten damit da auch 'was draus werden kann.

[SeppJ]

muemmel schrieb:

Hi SeppJ,

SeppJ schrieb:

Ist es nicht höchste Zeit, ähnlich gemachte Programme für Politik, Volks- und Betriebswirtschaft zu entwickeln und ihnen die Verantwortung für die Welt zu übertragen?

Wenn die Proigrammierer das könnten, hätten sie es nicht nötig, mühsam ihr Geld als Programmierer zu verdienen, sondern könten als Präsidenten viel erfolgreicher sein.
Kein Expertensystem kann besser sein als der Experte der es füttert.
Die Einbildung, dass men eine ganze Volkswirtschaft am Computer simulieren und planen kann, hatt die DDR schon vor Jahrzehnten. Ist auch gescheitert.

Das klingt wie der Pferdezüchter, der gegen Dampfmaschinen wettert. Die DDR hatte diese Planspiele eben nicht mit unfassbar vielen Computerressourcen und logischen Regeln erstellt, sondern mit alten Männern, die von politischen Ideologien geleitet wurden. Außerdem wäre es nicht nötig gewesen, dass einer der DeepMind Programmierer überhaupt Go spielt (in der Praxis tun sie es, aber das hat andere Gründe). Die Regeln und Strategien sind hier nicht einprogrammiert wie bei einem Schachcomputer. Dies ist ein ganz neuer Ansatz, darum war es überhaupt möglich, denn mit klassischen Ansätzen wäre die nötige Rechenleistung viel zu hoch. Sie haben dem Programm viele, viele Beispiele für Go-Spiele gezeigt und daraus hat es gelernt, Go zu spielen.

hustbaer versteht mich. Das DeepMind heute auf Politik los zu lassen wird nicht funktionieren. Aber es ist höchste Zeit zu erforschen, wie man das Ziel wohl angehen könnte. Und der erste, der damit Erfolg hat, wird einen großen Vorteil erringen.

Ich wette, in den 90ern haben die Aktienhändler auch alle groß getönt, wie ein Computer niemals den menschlichen Instinkt an der Börse ersetzen könnte. Und heute geht es darum, wer die beste Leitung zum Börsencomputer hat, damit das eigene Handelsprogramm schneller reagieren kann als das der Konkurrenz.

[Tobiking2]

Es ist schon erstaunlich was sich alles mit Machine Learning erreichen lässt, allerdings ist das keine Magie. Es läuft letztendlich darauf hinaus das der Computer sich aus einem Haufen von Eingabedaten + Ergebnis berechnet wie welche Eingabe auf das Ergebnis einwirkt. Fehlen für das Problem zu viele entscheidene Eingaben, oder sind zu wenig Beispiele vorhanden, ist die Fehlerrate ziemlich groß. Bei Go ist die Eingabe offensichtlich das aktuelle Spielfeld und das Fehlen von Daten wurde dadurch gelöst das die KI gegen sich selbst verschiedene Varianten durchgespielt hat. Es ist also nur eine Frage der Zeit gewesen bis das System gut genug Kalibriert war.

Zu verlangen das eine KI nun Zufallsereignisse errät, geht damit ziemlich in die falsche Richtung, da man das System ja gar nicht mit Daten füttert, die mit dem Auftreten solcher Ereignisse zu tun haben. Das heißt aber nicht das Machine Learning unbrauchbar ist. Es gibt Probleme aus der echten Welt bei denen man das System zumindest mit einem guten Teil der benötigten Daten versorgen kann und dann mit einer hohen Wahrscheinlichkeit das richtige Ergebnis bekommt. Krebsdiagnose ist da ein ziemlich prominentes Beispiel.

[Shade Of Mine]

SeppJ schrieb:

hustbaer versteht mich. Das DeepMind heute auf Politik los zu lassen wird nicht funktionieren. Aber es ist höchste Zeit zu erforschen, wie man das Ziel wohl angehen könnte. Und der erste, der damit Erfolg hat, wird einen großen Vorteil erringen.

Klar. Aber man muss trotzdem bedenken dass Wirtschaft anders funktioniert als ein Spiel in dem es illegale und legale Zuege gibt. In der Wirtschaft ist alles erlaubt und es gibt unendlich mehr Faktoren und es gibt keine Testphasen die man machen kann - man kann nicht ein Land einfach mal 100 millionen Mal bankrott gehen lassen um zu lernen.

Also das sind schon komplett andere Sachen. Natuerlich sollte man in die Richtung sehen und weiter forschen, aber wir haben aktuell nicht mal den Hauch einer Idee wie man das Problem angehen koennte.

Machine Learning funktioniert eben nur wenn die Maschine Fehler machen darf und Ergebnisse Bewerten kann.

[SeppJ]

Shade Of Mine schrieb:

SeppJ schrieb:

hustbaer versteht mich. Das DeepMind heute auf Politik los zu lassen wird nicht funktionieren. Aber es ist höchste Zeit zu erforschen, wie man das Ziel wohl angehen könnte. Und der erste, der damit Erfolg hat, wird einen großen Vorteil erringen.

Klar. Aber man muss trotzdem bedenken dass Wirtschaft anders funktioniert als ein Spiel in dem es illegale und legale Zuege gibt. In der Wirtschaft ist alles erlaubt und es gibt unendlich mehr Faktoren und es gibt keine Testphasen die man machen kann - man kann nicht ein Land einfach mal 100 millionen Mal bankrott gehen lassen um zu lernen.

Also das sind schon komplett andere Sachen. Natuerlich sollte man in die Richtung sehen und weiter forschen, aber wir haben aktuell nicht mal den Hauch einer Idee wie man das Problem angehen koennte.

Machine Learning funktioniert eben nur wenn die Maschine Fehler machen darf und Ergebnisse Bewerten kann.

Das schöne ist doch, dass die Maschine all diese Szenarien im Voraus in Drölfzigmillionen Varianten gegen sich selber durchprobieren kann, wohingegen die menschlichen Politiker und Manager einfach nur lokal dem Weg des geringsten Widerstandes folgen.

[Shade Of Mine]

SeppJ schrieb:

Das schöne ist doch, dass die Maschine all diese Szenarien im Voraus in Drölfzigmillionen Varianten gegen sich selber durchprobieren kann, wohingegen die menschlichen Politiker und Manager einfach nur lokal dem Weg des geringsten Widerstandes folgen.

Nein. Das geht naemlich von perfekter Information aus. Die hast du aber nicht. Auch weisst du nicht was alles passieren kann. Die Welt ist ein komplett offenes System und nicht deterministisch. Da stoesst du mit Machine Learning sehr sehr sehr schnell an die Grenzen.

Man kann eben nicht alle Szenarien durchspielen.

[SeppJ]

Aber wäre es nicht trotzdem ein Fortschritt gegenüber dem Menschen? Ich sehe auch nicht den Hinderungsgrund aufgrund nicht-perfekter Information. Ein Computer kann doch jetzt schon toll unvollständige Muster erkennen und super mit Wahrscheinlichkeiten umgehen.

Shade Of Mine schrieb:

Die Welt ist ein komplett offenes System und nicht deterministisch. Da stoesst du mit Machine Learning sehr sehr sehr schnell an die Grenzen.

Das sehe ich als wahres Hindernis an, weil es die konkrete Umsetzung des Programms schwierig macht. Daher wäre hier die Entwicklungsarbeit notwendig. Man kann ja klein anfangen. Z.B. eine McDonalds Filiale Flohmarktstand von einem Computer managen lassen.
An sich hat ein Mensch aber die gleiche Schwierigkeit mit den Eigenschaften der Welt, daher sehe ich nicht, wieso das so utopisch sein sollte, ihn in dieser Hinsicht zu ersetzen.

[Shade Of Mine]

Klar soll man in die Richtung forschen. Es waere toll wenn eine KI sowas machen koennte. Aber aktuell geht das nicht und das Machine Learning was wir aktuell verwenden kann das auch nie erreichen. Denn ganz unabhaengig von den vielen Faktoren die man nie alle bedenken kann, haben wir auch das Problem der Ergebnisbewertung. Wonach bewertet man den Erfolg eines Flohmarktstandes?

Aktuell sind das alles Sachen die wir mit einer KI eben nicht machen koennen, auch AlphaGo hilft hier nicht. AlphaGo ist ein sehr interessanter Schritt in eine wichtige Richtung, aber Go ist ein geschlossenes System und dahin gehen die naechsten Schritte: wir erschaffen KIs fuer geschlossene Systeme, wo es limitierten Input gibt und vor allem, und das ist das wichtigste: klare Ergebnisbewergung.

Eine KI die eine Krankheit diagnostiziert zB ist leicht zu bewerten: ja, hat die Krankheit erkannt vs nein, hat nicht. Und solche klaren Ergebnisse sind wichtig, sonst funktioniert das lernen naemlich nicht.

[hustbaer]

@SeppJ
Ich sehe das glaube ich wirklich gleich wie du
Die menschliche Intelligenz ist nämlich auch keine Zauberei. Und funktioniert trotz sehr schwammiger, unvollständiger und z.T. fehlerhafter Eingabedaten etc. recht gut.

Was vermutlich keinen Sinn machen würde wäre sich jetzt hinzusetzen mit dem Ziel "wir bauen in den nächsten 5 Jahren das Programm das die Probleme der Welt löst". Oder etwas in der Art.

Aber man sollte eben anfangen in die Richtung zu forschen wie man z.B. die Dynamik von Gesellschaften maschinengestützt analysieren kann. Die Idee gibt es ja schon lange. Ich habe aber auch den Eindruck dass jetzt langsam die Zeit gekommen ist wo man ernsthaft anfangen könnte in die Richtung zu forschen.

Bis zu einem Multivac oder Magi ist natürlich noch viel viel VIEL zu tun. Nur wenn man nie anfängt in die Richtung zu forschen, dann wird es auch nie 'was werden.

[Tobiking2]

Shade Of Mine schrieb:

Eine KI die eine Krankheit diagnostiziert zB ist leicht zu bewerten: ja, hat die Krankheit erkannt vs nein, hat nicht. Und solche klaren Ergebnisse sind wichtig, sonst funktioniert das lernen naemlich nicht.

Das Lernen wird sicherlich schwerer wenn das Ergebnis vage ist. Unmöglich aber nicht, und da ist AlphaGo das beste Beispiel für:

AlphaGo ist vor allem durch reinforced learning so stark geworden. Laut Paper gewinnt die reinforced Variante >80% der Spiele gegen die supervised learning Variante, die rein aus der Datenbank von Zügen Menschlicher Spieler gespeist wurde. Die RL Vorgehensweise sah so aus, dass sie 2 Instanzen von AlphaGo gegeneinander spielen lassen haben, und die Züge des Sieger als gut und die Züge des Verlierers als schlecht in den Datensatz aufgenommen wurden. Anschließend wurde eine neue Variante von AlphaGo angelernt, die gegen eine zufällige alte Variante gespielt hat, wobei wieder die Züge entsprechend gewertet wurden usw.

Da AlphaGo nur mit einer gewissen Warhscheinlichkeit gute Züge ausspuckt, wird das System auch nur mit vagen Ergebnissen befeuert. Solange die Wahrscheinlichkeit für gute Züge aber > 50% ist und man nicht in eine Sackgasse kommt, wo die KI sich auf sich selbst anpasst (overfitting), macht das System entsprechend Fortschritte bei der Maximierung der Siegwahrscheinlichkeit für jeden Zug. Und das ohne zu wissen welche Variationen alle nach einem Zug folgen können. Das ist das was oft mit Intuition betitelt wird.

[Shade Of Mine]

Tobiking2 schrieb:

Shade Of Mine schrieb:

Eine KI die eine Krankheit diagnostiziert zB ist leicht zu bewerten: ja, hat die Krankheit erkannt vs nein, hat nicht. Und solche klaren Ergebnisse sind wichtig, sonst funktioniert das lernen naemlich nicht.

Das Lernen wird sicherlich schwerer wenn das Ergebnis vage ist. Unmöglich aber nicht, und da ist AlphaGo das beste Beispiel für:

Nein. Das Ergebnis bei Go ist simpel: man hat gewonnen, man hat nicht gewonnen.

Das ist etwas komplett anderes. Go ist ein geschlossenes System. Ein sehr komplexes geschlossenes System - und hier ist der Durchbruch und das was AlphaGo so beeindruckend macht: das geschlossene System Go ist extrem Komplex. Aber, es ist ein geschlossenes System mit einer simplen Ergebnisbewertung.

Ein Flohmarktstand ist ein offenes System mit enorm komplexer (wenn überhaupt möglicher) Ergebnisbewertung.

[Tobiking2]

Shade Of Mine schrieb:

Nein. Das Ergebnis bei Go ist simpel: man hat gewonnen, man hat nicht gewonnen.

...

Ein Flohmarktstand ist ein offenes System mit enorm komplexer (wenn überhaupt möglicher) Ergebnisbewertung.

Mir ist nicht ganz klar auf welcher Ebene du die Komplexität bei der Ergebnisbewertung siehst. Die Analyse warum ein Mensch einen Flohmarktstand eröffnet, kann zwar durchaus philosophisch werden, wenn es aber z.B. um Geld geht und der Betreiber einfach nur seinen Lebensunterhalt verdienen möchte, warum nicht einfach "Einnahmen > Ausgaben + Lebensunterhalt" als Bewertung nehmen? Das Finanzamt könnte dir die Ergebnisbewertung vermutlich sogar liefern. Was unrealistisch ist, ist das Sammeln der Daten die Einfluss auf die Einnahmen haben. Erst dort kommen Faktoren wie Produkte, Werbung etc. rein.

[Shade Of Mine]

Weil Wirtschaft so nicht funktioniert.

Als Beispiel: wenn ich alle Besucher meines Standes beklaue habe ich mehr Einnahmen.

[SeppJ]

Shade Of Mine schrieb:

Als Beispiel: wenn ich alle Besucher meines Standes beklaue habe ich mehr Einnahmen.

Aber nicht sehr lange.

[Shade Of Mine]

SeppJ schrieb:

Shade Of Mine schrieb:

Als Beispiel: wenn ich alle Besucher meines Standes beklaue habe ich mehr Einnahmen.

Aber nicht sehr lange.

Das ist deine persoenliche Vermutung. Hat mit der Realitaet aber nichts zu tun.
Beweis: Nicht alle Diebe werden geschnappt.

[SeppJ]

Shade Of Mine schrieb:

SeppJ schrieb:

Shade Of Mine schrieb:

Als Beispiel: wenn ich alle Besucher meines Standes beklaue habe ich mehr Einnahmen.

Aber nicht sehr lange.

Das ist deine persoenliche Vermutung. Hat mit der Realitaet aber nichts zu tun.
Beweis: Nicht alle Diebe werden geschnappt.

War das nicht die Absicht deiner Aussage, dass die KI kurzfristige Vorteile zu hoch bewerten würde? Wenn sie eine Möglichkeit findet, mit Diebstahl davon zu kommen, dann läuft doch alles wie gewünscht beim Geldverdienen

Oder möchtest du auf moralische Überlegungen hinaus?

PS: 3:0 und somit Matchgewinn für Alphago

[Tobiking2]

Man muss auch bedenken was die KI denn hinterher überhaupt kann. Das ist nämlich identisch mit den was man anlernt. Die KI die ich beschrieben habe kann dann aus gegebenen Flohmarktstand Daten die Wahrscheinlichkeit auf Erfolg bestimmen. Gebe ich die Daten meines aktuellen oder geplanten Flohmarktstand ein, ist das einzige was ich daraus schließen könnte, ob ich eine Chance auf Erfolg habe oder es besser sein lassen sollte.

Wenn ich meinen Flohmarktstand verbessern möchte, muss ich viele verschiedene Varianten bewerten lassen um zu sehen wo mein Erfolg am höchsten ist. Ob Varianten mit Diebstahl eine valide Option sind, kann man an dieser Stelle entscheiden.

Hier ist natürlich auch einer der Hauptunterschied zwischen dem Flohmarktstand und Go. In Go ist die Zahl der möglichen Spielzüge die ich in einer Runde machen kann begrenzt und ich kann alle bewerten lassen und kriege damit wirklich den besten den die KI liefern kann. Je nachdem wie viele Features ein Flohmarktstandbeispiel hat, steigt die Zahl der möglichen Varianten aber exponentiell und es wird nicht mehr möglich sein alle Varianten bewerten zu lassen.

[Erhard Henkes]

Ist Denksport nun offiziell tot, wenn Maschinen es sowieso besser können?

Kann man so sehen. Der Mensch möchte es aber noch nicht wahr haben und spielt lieber gegen schwache menschliche Fehler als gegen unbesiegbare Maschinen. Der Mensch liebt also den Fehler, nicht die Fehlerlosigkeit! Das ist der Punkt.

Ist es nicht höchste Zeit, ähnlich gemachte Programme für Politik, Volks- und Betriebswirtschaft zu entwickeln und ihnen die Verantwortung für die Welt zu übertragen?

Keine Ahnung, man müsste es bei einer Firma mal ausprobieren. Ein menschlicher Vorstand verträgt sicher mehr Rotwein und Champagner und hat vlt. auch mehr Humor. Wäre ein interessantes Experiment. Wichtig ist, dass die Dividende und die Betriebsrente stimmt. Merkel wäre sicher leicht durch eine chaotische KI ersetzbar.

[Shade Of Mine]

SeppJ schrieb:

War das nicht die Absicht deiner Aussage, dass die KI kurzfristige Vorteile zu hoch bewerten würde? Wenn sie eine Möglichkeit findet, mit Diebstahl davon zu kommen, dann läuft doch alles wie gewünscht beim Geldverdienen

Nein, ich sage dass eine KI solche Bewertungen gar nicht erst vornehmen kann. Denn wenn sie es koennte und nur falsch entscheiden wuerde, dann muesste man nur an der Klassifikation arbeiten.

Es ist aber einfach nicht moeglich solchen Faktoren zu berechnen.

Tobiking2 schrieb:

Die KI die ich beschrieben habe kann dann aus gegebenen Flohmarktstand Daten die Wahrscheinlichkeit auf Erfolg bestimmen. Gebe ich die Daten meines aktuellen oder geplanten Flohmarktstand ein, ist das einzige was ich daraus schließen könnte, ob ich eine Chance auf Erfolg habe oder es besser sein lassen sollte.

Nein, das ist keine KI.

Hier ist natürlich auch einer der Hauptunterschied zwischen dem Flohmarktstand und Go. In Go ist die Zahl der möglichen Spielzüge die ich in einer Runde machen kann begrenzt und ich kann alle bewerten lassen und kriege damit wirklich den besten den die KI liefern kann. Je nachdem wie viele Features ein Flohmarktstandbeispiel hat, steigt die Zahl der möglichen Varianten aber exponentiell und es wird nicht mehr möglich sein alle Varianten bewerten zu lassen.

NEIN NEIN NEIN NEIN!

So funktioniert das nicht.
Du kannst nicht einfach durchrechnen lassen von einer KI was die Aenderung der Tischunterlage bedeutet. Die KI kann dir das nicht sagen.

Offenes System/Geschlossenes System.

Das ist ein RIESEN unterschied.

Wenn du sagst es gibt zuviele Varianten, dann brauchst du nur staerkere Hardware. Der Punkt aber ist, es gibt unendlich viele unbekannte Variablen. Die gibt es in Go nicht. In Go gibt es exakt 0 unbekannte Variablen. in einem offenen System gibt es ziemlich genau unendlich viele.

Irgendwenn mal werden wir auch das von einer KI handhaben lassen koennen aber aktuell nicht und Go ist da auch nicht mal im Ansatz vergleichbar.

Leute bitte, das ist ein Programmiererforum. Wir sollten so etwas wissen!

[Bitte ein Bit]

Also zuerst muss ich den Entwicklern meinen Lob aussprechen. Den Suchraum so zu beschränken ist eine Leistung. Es würde mich interresieren welche Strategie sie nutzten und ob ein entsprechendes Paper schon vorhanden ist.

Erst kürzlich habe ich eine Strategie (Min Conflicts) zum N Dame Problem kennengelernt mit der man das Problem wesentlich schneller lösen kann.

---

Eine KI in der Politik würde zu massive Umwälzungen führen. Warum noch wählen wenn die KI eh das beste ist? Warum noch X KI's in X Nationen nutzen, wenn es auch eine KI es tut? Wie würde eine KI mit menschlichen Zickereien umgehen?