Suchfunktion des Boards

joomoo

DrGreenthumb schrieb:

flammenvogel schrieb:

Ja aber du brauchst für die Suche nach den Daten ja Lese und Schreibrechte auf die Forumdatenbank.

nein, weder das eine noch ne das andere. Die Daten werden einmal rauskopiert und fertig. Später muss das Kopieren dann halt per cronjob alle paar Tage passieren.

Ist das mit den leserechten nicht effizienter?

mfg.

DrGreenthumb

joomoo schrieb:

DrGreenthumb schrieb:

flammenvogel schrieb:

Ja aber du brauchst für die Suche nach den Daten ja Lese und Schreibrechte auf die Forumdatenbank.

nein, weder das eine noch ne das andere. Die Daten werden einmal rauskopiert und fertig. Später muss das Kopieren dann halt per cronjob alle paar Tage passieren.

Ist das mit den leserechten nicht effizienter?

so wie ich das verstanden habe, liegt das jetzige Problem in dem verkappten Aufbau der Datenbank.
Man müsste die Daten also rauskopieren und dann erstmal vernünftig ablegen.

flammenvogel

@DrGreenthumb: Woher beziehst du deine Informationen? Denn immer wenn ich, sowas in diesem Thread frage, kriege ich eine andere Antwort.

Irgendwo (anderer Thread) habe ich auch was über den dummen Aufbau der Datenbanken gelesen. In diesem Thread hieß es am Anfang phpBB ist buggy, dann hieß es der Server hat zu wenig Power für sowas.

Ist denn hier nirgendwo ein Moderator der Ahnung hat???

nman

flammenvogel schrieb:

Irgendwo (anderer Thread) habe ich auch was über den dummen Aufbau der Datenbanken gelesen. In diesem Thread hieß es am Anfang phpBB ist buggy, dann hieß es der Server hat zu wenig Power für sowas.

Ist denn hier nirgendwo ein Moderator der Ahnung hat???

Der Server hat zuwenig Power um trotz des miesen Designs von phpBB bzw. dessen dummer Datenbank-Struktur mit vollständig aktivierter Suche vernünftig zu laufen. Wo ist denn da der Widerspruch?

DrGreenthumb bezieht seine Informationen übrigens aus einem der zig anderen Threads zum Thema, in denen auch immer wieder erörtert wird, was genau die Probleme sind. Da könntest Du größtenteils auch Antworten auf Deine Vorschläge lesen, wenn Du neue hast, dann mach einen frischen Thread auf und poste da was konkreteres.

Btw hast Du offensichtlich keine Ahnung von OpenSource-Entwicklung, gerade Projekte wie Linux und KDE werden nämlich sehr wohl vor allem von Leuten vorangetrieben, die sich vollzeit darum kümmern, von ein paar "Hobbyprogrammierern" kann da keine Rede sein.

Warum setzt ihr nicht HighEnd-Software der Redmonder Software-Spezialisten ein?

Die kostet zwar ein bisschen mehr, überzeugt aber durch einen schnellen Return on Investment durch vorbildliche Sicherheit, Stabilität, Kompatibilität, Performance, Usability, Skalierbarkeit, und Kontinuität in der Produktpolitik.

flammenvogel

Profi-Entwickler schrieb:

Warum setzt ihr nicht HighEnd-Software der Redmonder Software-Spezialisten ein?

Die kostet zwar ein bisschen mehr, überzeugt aber durch einen schnellen Return on Investment durch vorbildliche Sicherheit, Stabilität, Kompatibilität, Performance, Usability, Skalierbarkeit, und Kontinuität in der Produktpolitik.

lol

Weißt du überhaupt wovon du redest und wovon wir reden?

flammenvogel schrieb:

Profi-Entwickler schrieb:

Warum setzt ihr nicht HighEnd-Software der Redmonder Software-Spezialisten ein?

Die kostet zwar ein bisschen mehr, überzeugt aber durch einen schnellen Return on Investment durch vorbildliche Sicherheit, Stabilität, Kompatibilität, Performance, Usability, Skalierbarkeit, und Kontinuität in der Produktpolitik.

lol

Weißt du überhaupt wovon du redest und wovon wir reden?

Klar! Das ist es schliesslich, worauf es Experten wie meinen hochqualifizierten Mitarbeitern und mir im harten Tagesgeschäft des internationalen Wettbewerbs ankommt.

flammenvogel

Eigentlich ist MS aber ein schlechtes Beispiel, Google hat wohl das beste DB System zur Zeit (praktisch)

flammenvogel schrieb:

Eigentlich ist MS aber ein schlechtes Beispiel, Google hat wohl das beste DB System zur Zeit (praktisch)

Das kann nicht sein, denn
ideologisch motiviertes Bastelwerk, halbherzig zusammengeschustert durch weltfremde Langzeitstudenten mit Taxischein, hat keinerlei Chance, will man sich tagtäglich aufs Neue den Herausforderungen der Globalisierung erfolgreich stellen. Da können einfach nur Lösungen von Profis für Profis zum Einsatz kommen, die hervorragend durch das Portfolio der Redmonder Software-Spezialisten abgedeckt werden.

SideWinder

MfG SideWinder

Reyx

Schon witzig, wie man diesen Standard-Troll-Satz in jede erdenkliche Situation rein biegen kann

Jester

flammenvogel schrieb:

Ist denn hier nirgendwo ein Moderator der Ahnung hat???

Sorry, aber mit Deinem großen Fachwissen, daß Du Dir als Schüler erarbeitet hast können wir studierenden und studierte Informatiker, Fachinformatiker, E-Techniker und was wir sonst noch alles haben einfach nicht mithalten.

Deine Lösungsansätze sind klasse: Im Prinzip müßte man nur ...
Merkst Du da was?
Ich kann Dir auch sagen, was man im Prinzip müßte. Das Problem ist das Ganze umzusetzen. Da gehört ein bissel mehr dazu. Das ist ein Zeit-Problem und zwar ganz massiv.

Ich sage nicht, daß es unmöglich ist das hinzukriegen, aber ganz so trivial wie es auf den ersten Blick vielleicht aussieht ist das nicht. Ich bezweifle nur, daß einige Hobbyprogger das einfach so schnell zusammenschrauben können.

SideWinder

Sorry, aber mit Deinem großen Fachwissen, daß Du Dir als Schüler erarbeitet hast können wir studierenden und studierte Informatiker, Fachinformatiker, E-Techniker und was wir sonst noch alles haben einfach nicht mithalten.

Das ist deine Spezialität, was? hrhr

MfG SideWinder

Reyx

Wobei ich persönlich die Aussage ziemlich lächerlich finde: Das abschätzen von Kosten/Zeit/Arbeit/Sonstigen Umständen ist nicht zwangsläufig etwas, was man im Studium oder dergleichen lernt. Ich kenne viele Leute, die trotz ihres Studiums die bescheuertsten Sprüche bezüglich solchen Sachen losgelassen haben, und mindestens so viele Schüler/Studenten, die in die Richtung wirklich realitätsnah und aus praktischer Erfahrung heraus argumentieren konnten!

Auf ihn speziell will ich mal nicht eingehen, aber das auf das "Fachwissen" der Schüler umzuweltzen finde ich genau so sinvoll, wie die über-16-Spiele verbieten zu lassen, nur weil vor x Jahren mal ein Jugendlicher meinte, er müsse Amok laufen ...

Jester

Manchmal passen die Sachen aber halt auch zu gut zusammen.

Ich kreide hier einfach nur die mangelhafte Problemanalyse an. Die gebrachten "Lösungsvorschläge" mit "Man muß eigentlich einfach nur..." sind ein Witz. Das zeigt doch nur, daß er sich mit der eigentlichen Problematik garnicht auseinandergesetzt hat.

edit:
Es wäre schön, wenn sich so mancher Schüler, bevor er davon ausgeht, es besser als alle anderen zu können, mal überlegen würde, ob es vielleicht außer der geistigen Unterlegenheit anderer weitere Probleme gibt, die eine Lösung erschweren. Aber das Maul sooooo weit aufzureißen ist natürlich auch spannend.
Und gerade dieses Verhalten beobachte ich doch zumeist bei Schülern.

Lösungsansätze für das Problem sind natürlich herzlich willkommen, aber bitte auf dem richtigen Niveau.

DrGreenthumb

Jester schrieb:

Lösungsansätze für das Problem sind natürlich herzlich willkommen, aber bitte auf dem richtigen Niveau.

Wo ist mein Ansatz denn nicht auf dem richtigen Niveau? Stell ich mir das zu einfach vor? Kenne mich mit Datenbanken nicht besonders aus, aber kann doch nicht so schwer sein, da Teile rauszukopieren.

flammenvogel

Jester schrieb:

Ich kreide hier einfach nur die mangelhafte Problemanalyse an. Die gebrachten "Lösungsvorschläge" mit "Man muß eigentlich einfach nur..." sind ein Witz. Das zeigt doch nur, daß er sich mit der eigentlichen Problematik garnicht auseinandergesetzt hat.

Also erstens würde ich gerne mal klarstellen, das ich euch nur helfen will und hier niemanden für mir unterlegen halte. Wenn das so rübergekommen sein sollte tut es mir leid. Trotzdem ist deine Agrumentation hinfällig, ich kannte das Problem bis vor kurzem nicht, ich habe euch mehrmals darum gebeten das Problem genauer und nicht pauschal in einem Satz zu erleutern. Ich kann mich mit dem Problem nicht auseinandersetzen wenn ich es nicht kenne.

Jester schrieb:

edit:
Es wäre schön, wenn sich so mancher Schüler, bevor er davon ausgeht, es besser als alle anderen zu können, mal überlegen würde, ob es vielleicht außer der geistigen Unterlegenheit anderer weitere Probleme gibt, die eine Lösung erschweren. Aber das Maul sooooo weit aufzureißen ist natürlich auch spannend.
Und gerade dieses Verhalten beobachte ich doch zumeist bei Schülern.

Tut mir wirklich leid dir das sagen zu müssen, aber wenn es ums Maul aufreißen geht stehst du uns bestimmt in nichts nach. Es ist sehr schwierig die Stimmung von Text zu interpretieren, aber meiner Ansicht nach hast du mich immer wenn ich was geschrieben habe runtergemacht und mir gesagt, was nicht funktioniert. Das löst aber das Problem nicht. Ich versuche Ansätzte zur Problemlösung aufzuzeigen ohne genau das Problem zu kennen. Jetzt könnte man argumentieren, das ich mich erst mit dem Problem auseinandersetzen sollte, bevor ich euch mit meinen Ansätzen auf die Nerven falle. Das war aber wie oben erwähnt nicht möglich. Ich habe das Forum mit der Suchfunktion durchsucht und nur zwei Beiträge gefunden, die sich mit der Problematik der Suchfunktion nach dem Serverumzug beschäftigt haben. Einer ist dieser hier. Im anderen Thread werden ebenso wenig präzise Aussagen gemacht.

Jester schrieb:

Lösungsansätze für das Problem sind natürlich herzlich willkommen, aber bitte auf dem richtigen Niveau.

Wie hoch soll das Niveau deiner Meinung nach den sein, soll ich ins Rechenzentrum einbrechen, dort meinen Code, den ich vorher allein Programmiert habe, auf den C++ Forum Rechner hochladen,sodass ihr am nächsten Tag aufwacht und sagt: "Geile Lösung, super Niveau"???

Nur um das nochmal Klarzustellen, wir versuchen hier eine öffentliche Disskussion zu führen, um Lösungsansätze zu sammeln. Das wäre als Moderator eigentlich dein Job.

Jester

flammenvogel schrieb:

Ich kann mich mit dem Problem nicht auseinandersetzen wenn ich es nicht kenne.

Dann doch einfach, daß Du eine Problembeschreibung haben möchtest und fang nicht an wilde Thesen aufzustellen, wer keine Ahnung hat und wie einfach man das bestimmt alles richten könnte.

Okay, fangen wir einfach nochmal frisch an.

Das phpbb ist ein größeres Stück Software. Änderungen sind nicht so schnell mal einfach durchzuführen. Insbesondere eine Änderung der Datenbankstruktur ist nicht so ohne weiteres möglich, weil große Mengen an Daten bereits vorliegen.
Schau Dir den phpbb-Code bei Gelegenheit mal an. Ich finde ihn sehr häßlich. Es gibt keine Modularisierung, alles ist in großen elend langen Funktionen einfach runtergeschrieben.

Zur Problembeschreibung:
Die Suchfunktion erzeugt während der Suche sehr große Zwischenergebnisse (temporäre Tabellen). Diese machen den Speicher dicht und die Suchanfrage wird nur noch sehr langsam abgearbeitet. Die Datenbank läßt nur eine feste Anzahl von parallelen Anfragen gleichzeitig zu. Die anderen Anfragen (und vielleicht noch zusätzliche Suchanfragen) werden stark verzögert und das Limit der gleichzeitig erlaubten Datenbankabfragen wird erreicht. Dann kriegt keiner mehr ne DB-Verbindung, das Forum ist tot.

So ist der grobe Ablauf, soweit ich ihn verstanden habe.

Leider ist der Fehler aber auch nicht wirklich beliebig reproduzierbar. Mal passiert es, mal nicht. Ich bin mir nichtmal sicher, ob eine bestimmte SQL-Abfrage als Auslöser indentifiziert werden konnte. Afair nicht.

Am Rechner liegt es imho nicht. Meiner Meinung nach sollte der auf jeden Fall in der Lage sein die Suchanfragen zu verarbeiten.

Ich sehe zwei Lösungsmöglichkeiten:

Vollständige Neuimplementierung der Suchfunktion
Dazu müßte man eine Datenstruktur erstellen, die in der Lage ist, Suchanfragen bei unserer Datenbankgröße zügig und ohne zu viel Overhead zu beantworten. Das Design von sowas ist durchaus ne komplizierte Sache.
Außerdem müßte alte Daten entsprechend indiziert werden. Das ist zwar machbar, aber ebenfalls einiges an Aufwand. Zudem müßten dabei viele Teile des Boards angefaßt werden: Nicht nur die Suche, sondern auch das Eintragen der Postings in die entsprechenden Datenstrukturen.

Dafür spricht, daß meines Wissens auch andere Boards Probleme mit der Suche des phpbb haben. Die Suche scheint einfach nicht richtig zu skalieren.

Die kritischen SQL-Anfragen irgendwie abändern und so die Last von der DB nehmen.

Das ist vom Aufwand her eigentlich deutlich weniger, allerdings nicht ganz einfach durchzuführen, weil zum einen afair nicht genau bekannt ist, woran es liegt und zudem sich die Frage stellt, wie umschreiben? Soweit ich mich erinnern kann haben auch ein paar Mods mit SQL-Erfahrung mal über die Statements geschaut.

Nur um das nochmal Klarzustellen, wir versuchen hier eine öffentliche Disskussion zu führen, um Lösungsansätze zu sammeln. Das wäre als Moderator eigentlich dein Job.

Sag mir nicht, was mein Job ist und wie ich ihn zu machen habe, ja?
Die öffentliche Diskussion mit dem Aufruf "Gibt's hier auch mal nen Mod der Ahnung hat" ist wirklich was, was uns bei der Lösung weiterhilft.

flammenvogel

Jester schrieb:

Okay, fangen wir einfach nochmal frisch an.

Gute Idee, da kann ich mich nur anschließen ...

Jester schrieb:

Zur Problembeschreibung:
Die Suchfunktion erzeugt während der Suche sehr große Zwischenergebnisse (temporäre Tabellen). Diese machen den Speicher dicht und die Suchanfrage wird nur noch sehr langsam abgearbeitet. Die Datenbank läßt nur eine feste Anzahl von parallelen Anfragen gleichzeitig zu. Die anderen Anfragen (und vielleicht noch zusätzliche Suchanfragen) werden stark verzögert und das Limit der gleichzeitig erlaubten Datenbankabfragen wird erreicht. Dann kriegt keiner mehr ne DB-Verbindung, das Forum ist tot.

Ok, das nenne ich mal eine ausführliche Problembeschreibung.

Jester schrieb:

Leider ist der Fehler aber auch nicht wirklich beliebig reproduzierbar. Mal passiert es, mal nicht. Ich bin mir nichtmal sicher, ob eine bestimmte SQL-Abfrage als Auslöser indentifiziert werden konnte. Afair nicht.

Das möchte ich auch stark bezweifeln, das man das Problem durch das Umschreiben von ein paar Zeilen (MySql-)Code einfach lösen kann. Ich tippe stark darauf das die Datenbank, mehrmals durchsucht wird. Ich werde mir den phpBB Code nochmal anschauen. Mir ist allerdings nicht klar was du mit der nicht reproduzierbarkeit des Fehlers meinst.
Könntest du mir das vielleicht noch etwas näher erleutern?

Jester schrieb:

Vollständige Neuimplementierung der Suchfunktion
Dazu müßte man eine Datenstruktur erstellen, die in der Lage ist, Suchanfragen bei unserer Datenbankgröße zügig und ohne zu viel Overhead zu beantworten. Das Design von sowas ist durchaus ne komplizierte Sache.
Außerdem müßte alte Daten entsprechend indiziert werden. Das ist zwar machbar, aber ebenfalls einiges an Aufwand. Zudem müßten dabei viele Teile des Boards angefaßt werden: Nicht nur die Suche, sondern auch das Eintragen der Postings in die entsprechenden Datenstrukturen.

Das ist natürlich die radikale Lösung, aber eventuell immer noch vertretbar, wenn der phpBB Code von Grund auf nicht dafür geeignet ist mit derart großen Datenmassen umzugehen.

Also nach allem was du gesagt hast Tippe ich auf einen starken Konstruktions/Prinzipfehler bei der Suche bei phpBB. Nachdem wie du oben das Problem geschildert hast liegt eins der Probleme im immensen Ram-Verbrauch der phpBB Suchfunktion. Ergo würde ein veringern der SQL-Anfragen, das Problem wahrscheinlich lösen. Oder sehe ich da was falsch?

Jester schrieb:

Nur um das nochmal Klarzustellen, wir versuchen hier eine öffentliche Disskussion zu führen, um Lösungsansätze zu sammeln. Das wäre als Moderator eigentlich dein Job.

Sag mir nicht, was mein Job ist und wie ich ihn zu machen habe, ja?
Die öffentliche Diskussion mit dem Aufruf "Gibt's hier auch mal nen Mod der Ahnung hat" ist wirklich was, was uns bei der Lösung weiterhilft.

Das hätte ich vielleicht auch nicht sagen sollen. Srry. Ich war ... naja sagen wir etwas "aufgebracht"

DrGreenthumb

Jester schrieb:

Zudem müßten dabei viele Teile des Boards angefaßt werden: Nicht nur die Suche, sondern auch das Eintragen der Postings in die entsprechenden Datenstrukturen.

werde ich ignoriert? Man kann es doch völlig unabhängig vom Board machen. Der einzige Nachteil ist, dass die Daten dann doppelt rumliegen würden. Soweit ich weiß gehts hier aber nicht um dermaßen riesige Datenmengen, dass das nicht akzeptierbar wäre. Oder ist die Festplatte schon halb voll?