Ich versuche nun schon eine Weile eine art Mini Suchmaschine für mein CMS zu schreiben, aber ich komme da irgendwie nicht weiter.

Ziel ist es, alle internen Links einer vorgegebenen Webseite rekursiv zu verfolgen und alle einzelnen Seiten in einer Datenbank zur späteren Aufbereitung abzuspeichern, Das abspeichern und aufbereiten stellt nicht das Problem dar, sonderen eher die rekursive Verfolgung der internen Links.

Vielleicht kann mir da der eine oder andere weiter helfen.

Hier mal der Code, so wie ich es mir ungefähr vorgestellt habe,

So richtig habe ich das Problem noch nicht verstanden.

Dir geht es darum, alle internen Links auszulesen, zu speichern und zu verfolgen?

Geht es da nur um interne Links? Was soll denn gespeichert werden? Nur die Url, oder auch der Linktext ect.?

greetz

Was alles gespeichert werden soll, ist mir erstmal nicht so wichtig, sobald ich eine Möglichkeit habe, alle internen Links rekusiv zu folgen, und dieser ohne Dublikat in irgend einer Form speichern kann, bin ich schon glücklich. Mir reicht es auch schon wenn alle Links in einem Array zur Verfügung stehen. Mir geht es in erster Linie darum, das alle Links gefunden werden, und dass das Script sich nicht verrennt. Es muss also aufhören sobald keine neuen Links mehr gefunden werden.

Super wäre natürlich, wenn das script nach einer vorbestimmten Zeit stoppt und anschließend sofort per JS an der gleichen Stelle neu startet, so das eine Art Forschrittsbalken eingebaut werden kann, der nur der Optik dienen soll, denn durch die rekursive Funktion steht das Ende ja nicht fest.

Am Ende ist das Ziel, die kompletten Texte der jeweiligen Unterseiten, der title, der description, der keyword Tag sowie natürlich die Linktexte in einer Datenbank zu speichern.

Das Script soll später nur nach belieben vom Administrator ausgeführt werden.

Die eigentliche Suche für die Besucher soll dann mit den bereits abgespeicherten Daten arbeiten. So das nicht jedesmal die kompletten Webseiten durchsucht werden müssen, aber das ist dann auch kein Problem mehr.

Ein CMS ist doch komplett Datenbank basierend, da ist doch eine Suchmaschine kein Problem.

Du musst doch bloß die Datenbank nach Deinem Suchbegriff durchsuchen, die ID auslesen und zuordnen was News,Forum,Artikel usw. ist, damit du die URL zuweisen kannst.

Oder habe ich jetzt was falsch verstanden?

Ciao Mr.On

Im Grunde hast Du recht, Nur werden immer wieder Module gewünscht, welche neue Tabellen verlangen, von daher möchte ich eine Lösung, ohne das ich ständig die Suchfunktion neu anpassen muss, auch wenn die Daten in diesem Fall doppelt drin stehen, außerdem würde ich die neue Funktion auch auf allen Projekten einsetzen können.

Na dann brauchst Du auf jeden Fall einen Spider!

Einer der jeden internen Link auf Deiner Seite folgt!

Das sollte schon ein bissel Arbeit sein...