Newsgroup Suchmaschine

EricC

Hallo Forumsteilnehmer!

Zuerst einmal zu mir. Ich bin völliger Neuling, auf dem Gebiet der Programmierung. Ein Experte werde ich wohl nie werden, da ich beruflich auf einem anderen Feld tätig bin und wenig Zeit übrig bleibt.
Also habt mit mir etwas Geduld und erklärt mir alles möglichst verständlich und einfach.

Wie der Titel schon sagt, interessiere ich mich für eine Usenet Suchmaschine.
Es gibt bereits kommerzielle als auch frei verfügbare Dienste, die die angesprochene Suche anbieten. http://alt.binaries.nl/ wäre zum Beispiel so eine webbasierter Suchdienst. Für ähnliches interessiere ich mich auch.
Es soll eine Webseite mit Eingabemaske, als auch ein Clientprogramm, dass auf dem Computer installiert wird, realisiert werden. der Client soll die Suchanfragen zur Webseite senden und die Ergebnisse dann ausgeben.
Genauere Ausführungen erspare ich mir, da es wahrscheinlich für eure Einschätzung nicht relevant ist.
Ein freier Newsserver mit vielen Textgruppen und einigen wenigen Multimediegruppen ist vorhanden und soll eben mit dieser Suchmaschine aufgepeppt werden. Da die Vorhaltezeit bei den Textgruppen sehr lange ist, müßten auf jeden Fall einige Millionen Nachrichten indexiert werden.

Mir stellen sich nun folgende Fragen:
Kamm mir jemand genauer erklären, wie das ganze funktioniert?
Wie geht die Indexierung vor sich und wie kann man denn überhaupt aus so einer großen und langen Liste schnell Suchergebnisse erhalten?

Welche Hardware Voraussetzungen müßten dafür geschaffen werden?
Braucht man dazu noch einen weiterern Server, oder sind die Anforderungen klein genug, um auf dem vorhandenen Server (3ghz und 1024mb ram) das Programm laufen lassen zu können?

Kann das ganze überhaupt mit erträglichen Kosten realisiert werden?
Eine sehr grobe Abschätzung würde mir schon reichen.

Zu guter letzt möchte ich noch anmerken, dass ich den Newsserver natürlich nicht administriere. Bei mir wäre er wohl in wenigen Sekunden down, oder er wäre spätestens nach einer Minute zu einer Spamschleuder gehackt worden
Der Betrieb des Programmes und dessen Wartung muß also nicht idiotensicher sein.

Danke schon mal im voraus
für Eure Anregungen und Antworten

EricC

Korbinian

EricC schrieb:

Zuerst einmal zu mir. Ich bin völliger Neuling, auf dem Gebiet der Programmierung. Ein Experte werde ich wohl nie werden, da ich beruflich auf einem anderen Feld tätig bin und wenig Zeit übrig bleibt.

Dann vergiss es. Suchmaschienen strotzen nur so vor hochkomplizierten (!) Algorithmen und Hardwaretechnik (nicht umsonst beschaeftigen Google & Co 100erte von Mitarbeitern die "nur" an der Suche arbeiten).

Wenn du jemand suchst, der die ein bestehendes System an deine Beduerfnisse anpasst, solltest du hier ein Angebot (€) nennen sowie das anzupassende Produkt.

Das benuetzen fremder Software ist nicht immer erlaubt, da sollte man sich vorher auch schlau machen.

EricC

Dann vergiss es. Suchmaschienen strotzen nur so vor hochkomplizierten (!) Algorithmen und Hardwaretechnik (nicht umsonst beschaeftigen Google & Co 100erte von Mitarbeitern die "nur" an der Suche arbeiten).

Da scheinst du mich falsch verstanden zu haben. Ich bin sicherlich nicht fähig soetwas fertig zu stellen. So ein Projekt muß sowieso von fähigen Programmierern durchgeführt werden. Das schließt mich in der Tat aus. Ich werde, sollte aus dem Projekt tatsächlich etwas werden, höchstens ein Nutzer dessen sein.
Da es bereits kostenlose Usenet Suchdienste gibt, bin ich zuversichtlich, dass das mit mit erträglichen Resourceneinsatz realisierbar ist. Die anderen Dienste werden wohl kaum viel Personal und Geld einsetzen, wenn keine nennenswerte Gegenleistung erfolgt. Darum Gaube ich auch, das eher ein "Ein Mann Job" sein wird. Aus diesem Grunde frage ich ja euch, um das ganze abschätzen zu können.

Wenn du jemand suchst, der die ein bestehendes System an deine
Beduerfnisse anpasst, solltest du hier ein Angebot (€) nennen ...

Ich kann kein Angebot nennen, da ich absolut keine Ahnung habe, welcher Arbeitsaufwand dafür nötig ist.
100€, 1000€, oder 10.000€ dass will ich ja eben hier, bei euch, in Erfahrung bringen.

...sowie das anzupassende Produkt.

Was meinst du denn mit damit? Es gibt bis jetzt kein Produkt. Lediglich ein freier Newsserver steht zur Verfügung, der so aufgepeppt werden soll.
Sollten die Kosten nicht unerheblich sein, dann muß man sich überlegen, ob das "Hobby" dann so überhaupt durchführbar ist, ob man mit Werbung die Kosten klein halten kann, oder ob das Projekt von vornherein unrealistisch ist. Auch hier wieder: Das will ich von euch erfahren.

Ich würde mich über eure Anregungen und über die Beantwortung meiner ursprünglichen Fragen freuen.

mfg
EricC

rüdiger

Deine Fragen sind alle nicht so leicht zu beantworten und hängen teilweise zu sehr ab von dem was du dir vorstellst. Allein die Leistungsdaten des Servers hängen von der verwendeten Technologie, aber vor allem von der Anzahl der User ab.

Auch die Erklärung existierender Suchverfahren ist nicht so leicht, dass man das mal eben in einem Beitrag abhandeln könnte.

Naja, es gibt ja schon einige existierende Technologien, die dir weiterhelfen könnten:
http://lucene.apache.org/lucy/
http://ferret.davebalmain.com/trac

Weitere Links die dir helfen sollten
http://en.wikipedia.org/wiki/Search_engine
http://en.wikipedia.org/wiki/Web_crawler

btw. Usenet Suchmaschinen gibt es ja schon einige. zB groups.google.com

btw. in welcher Branche arbeitest du? Welche Ausbildung hast du?

EricC

Danke für die Links.
Apache lucene sieht vielversprechend aus.

btw. in welcher Branche arbeitest du? Welche Ausbildung hast du?

Ich unterrichte mehr oder minder motivierte Jugendliche und Erwachsene in Mathematik und Physik.

Offen bleibt die Frage bezüglich der Kosten, die für die Realisierung einer Newsgroup Suchmaschine zu zahlen wären. Damit meine ich jene Kosten die anfallen würden, um die Suchmaschine und den Clienten zu programmieren.
Mir geht es nur um eine sehr grobe Abschätzung. Ich möchte mich bei euch vergewissern, in welcher Preiskategorie sich das ganze abspielen würde.
Man nehme an, ich suche einen privaten Programmierer auf, der 10.000€ verlangt, ich dann deprimiert von dannen ziehe, es aber für 500€ realisierbar gewesen wäre. Oder umgekehrt, ich zahle 500€ an jemanden, der sich damit vollkommen übernimmt und er mir dann später mitteilt, dass das so gar nicht machbar wäre.

mfg
EricC

EricC

Ich schieb es mal nach oben ...
Hat jemand interesse so eine Suchmaschine zu entwickeln?

mfg
EricC

Unix-Tom

Wenn du einen eigenen Server machen möchtest ist es ja einfach.
Alles wird in einem RDBMS gespeichert.
Danach benutzt man nur das RDBMS zum suchen.
Das Problem einer Suchmaschine ist ja nicht das suchen den das findet auch bei google über Datenbanken statt.

Problem ist das Indizieren von fremden Webseiten. Auch google kann nicht alle Seiten 1zu1 speichern den dann hätten die ja das INET bei sich als Kopie angebildet.
Es geht um relevante Suchdaten.
Da du aber deinen Inhalt speichern musst kannst du auch eine Volltextsuche übers RDBMS machen.
Server kann von einem bis zu mehrere 1000 gehen.
Je nachdem was Du ablegen möchtest. (Nur text, Binarydaten,etc.)

EricC

Problem ist das Indizieren von fremden Webseiten. Auch google kann nicht alle Seiten 1zu1 speichern den dann hätten die ja das INET bei sich als Kopie angebildet.
Es geht um relevante Suchdaten.

Die Suchmaschine würde keine Webseiten absuchen, sondern die Informationen aus den gespeicherten Headern auswerten.
Die Header bekommt man problemlos bei jedem Usenetzugangsanbieter.

mfg
EricC

draga

hi,

hätte Interesse an dem Projekt zu arbeiten.
Wie siehts mit den Root-Servern aus??