Der Nejo Web-Crawler: Technologie und Funktion

In der heutigen schnelllebigen Arbeitswelt kommt es für Unternehmen wie Bewerbende gleichermaßen auf das richtige Timing an. Bei Nejo setzen wir auf ausgeklügelte Web-Crawler-Technologie, um Stellenangebote direkt von Arbeitgeberwebseiten in Echtzeit zu erfassen und sichtbar zu machen.

Aber was genau ist ein Web-Crawler und wie funktioniert unserer? Hier erfährst Du’s.

Mit unserer Web-Crawler-Technologie aggregieren wir nicht einfach nur Jobs. Wir schaffen eine Brücke zwischen Talenten und Chancen, die sonst möglicherweise nie zueinandergefunden hätten.

Was ist ein Web-Crawler?

Ein Web-Crawler (auch Spider oder Bot genannt) ist ein automatisiertes Programm, das systematisch das Internet durchsucht, Websites besucht und Informationen methodisch und automatisiert sammelt.

Google, die weltweit bekannteste Suchmaschine, verwendet Web-Crawler (bekannt als "Googlebot"), um die Milliarden von Seiten des Internets zu indexieren. Wenn du bei Google nach etwas suchst, durchsuchst du nicht das Live-Internet, sondern den Index des Internets, den Google mit Hilfe von Crawlern aufgebaut hat und stetig aktuell hält.

Ähnlich durchsucht der Nejo Web-Crawler Arbeitgeber-Websites, allerdings mit einem speziellen Fokus auf Stellenangebote. Während Googles Crawler ein Generalist ist, der alle Arten von Inhalten indexiert, ist unserer ein Spezialist, der nur dafür entwickelt wurde, deine Stellenangebote aufzuspüren und für qualifizierte Bewerber:innen sichtbar zu machen.

Wie funktioniert der Nejo Web-Crawler?

Unser Web-Crawler arbeitet effizient und respektiert konsequent die technischen Vorgaben und Richtlinien jeder Website. Wir legen besonderen Wert darauf, die definierten Grenzen und Zugriffsbeschränkungen zu beachten, die Website-Betreiber in ihren robots.txt-Dateien festlegen.

Discovery

Unser System identifiziert Arbeitgeber-Websites und Karriereseiten über verschiedene Quellen und Verzeichnisse.

Intelligente Navigation

Der Crawler besucht diese Seiten und folgt Links zu Stellenangeboten, ähnlich wie ein menschlicher Nutzer die Seite durchsuchen würde.

Originalquellen-Prinzip

Wir crawlen ausschließlich die offiziellen Karriereseiten der Arbeitgeber – niemals andere Jobplattformen oder Zwischenhändler. Dies sichert eine einzige, verlässliche Informationsquelle und verhindert Duplikate, die bei der Aggregation von mehreren Quellen entstehen würden.

Ethisches Crawling

Wir halten uns strikt an die robots.txt-Protokolle der Websites. Diese Dateien werden von Website-Betreibern erstellt, um Crawler anzuweisen, welche Seiten sie besuchen dürfen und welche nicht. Wenn ein Arbeitgeber hier festlegt, dass Stellenangebote nicht gecrawlt werden sollen, respektieren wir diese Entscheidung.

Near-Real-Time Updates

Unser Crawler besucht Arbeitgeber-Websites kontinuierlich, um sicherzustellen, dass die Stellenangebote in unserem Index stets so aktuell wie möglich sind. Neue Jobs werden automatisch auf Nejo gelistet, und besetzte Positionen gehen automatisch offline.

Welche Informationen crawlt Nejo?

Unser Web-Crawler ist darauf ausgelegt, umfassende Jobinformationen zu erfassen, darunter:

Stellentitel und Beschreibungen
Standortinformationen
Gehaltsdaten falls vorhanden
Erforderliche Qualifikationen und Skills
Bewerbungsfristen
Meta-Daten falls vorhanden

Wir extrahieren diese Informationen unter Beibehaltung ihres ursprünglichen Kontexts, um sicherzustellen, dass Jobsuchende ein genaues Bild deiner Stellenangebote erhalten und du als Arbeitgeber die bestmöglichen Kandidat:innen findest.

Warum sind meine Jobs auf Nejo?

Wenn deine Stellenangebote auf Nejo erscheinen, gibt es dafür folgende Gründe:

Öffentliche Karriereseite ohne Einschränkungen

Deine Karriereseite ist öffentlich zugänglich, und in deiner robots.txt-Datei wurden keine Einschränkungen für das Crawlen von Jobinhalten festgelegt. Wir respektieren stets technische Zugangsbeschränkungen – sind keine definiert, gehen wir davon aus, dass eine Erfassung durch Suchmaschinen erwünscht ist.

Mehr Reichweite ohne Mehraufwand

Durch die Präsenz auf Nejo erreichen deine Stellenangebote qualifizierte Kandidat:innen, die sie möglicherweise auf deiner Website allein nicht gefunden hätten. Dies erweitert deine Reichweite, ohne dass du zusätzliche Maßnahmen ergreifen musst, und vor allem auch ohne, dass dir dadurch Kosten entstehen.

Du möchtest nicht auf Nejo gelistet sein?

Kein Problem! Du kannst deine Stellenangebote jederzeit von Nejo entfernen lassen. Schreibe uns dafür von deiner Firmen-E-Mail Adresse bitte einfach eine kurze E-Mail an hi@mynejo.com oder aktualisiere deine robots.txt-Datei, um Suchmaschinen-Crawler auszuschließen.

Warum sind meine Jobs nicht auf Nejo?

Obwohl wir bestrebt sind, einen möglichst vollständigen Index aller offenen Stellen im deutschsprachigen Raum aufzubauen, gibt es mehrere Gründe, warum deine Jobs möglicherweise noch nicht auf unserer Plattform erscheinen.

Priorisierung der Seitenstruktur: Wir integrieren neue Arbeitgeber-Websites basierend auf mehreren Faktoren, einschließlich der technischen Seitenstruktur. Einige Karriereseiten verwenden Technologien, die spezielle Crawling-Ansätze erfordern, die wir in Phasen implementieren.
Kontinuierlicher Discovery-Prozess: Die Discovery von neuen Arbeitgeber-Karriereseiten ist fortlaufend. Wenn wir von der Jobbörse deines Unternehmens noch nichts wissen, haben wir sie einfach noch nicht zu unserem Crawling-Roster hinzugefügt.
Technische Herausforderungen: Manche Website-Strukturen machen das automatisierte Crawling komplexer und erfordern zusätzliche Entwicklungsarbeit, bevor wir zuverlässig Jobdaten extrahieren können.
Neue Stellenangebote: Es kann eine kurze Verzögerung zwischen dem Zeitpunkt geben, an dem du eine neue Position veröffentlichst, und dem Zeitpunkt, an dem unser Crawler sie entdeckt und indexiert.

Wenn du möchtest, dass deine Jobs auf Nejo erscheinen, sie aber derzeit nicht sichtbar sind, empfehlen wir dir, uns unter hi@mynejo.com zu kontaktieren. Wir sind stets bestrebt, unsere Abdeckung zu erweitern und können die Aufnahme deiner Karriereseite in unser System möglicherweise priorisieren.

Welche Informationen zeigt Nejo an?

Wir setzen uns für Genauigkeit und Respekt für Originalinhalte ein:

Originale Stellenangebote: Wir stellen auf Nejo immer die direkten Links zu den ursprünglichen Stellenangeboten zur Verfügung, damit Jobsuchende immer Zugang zu den originalen Informationen haben.
KI-gestützte Datenextraktion: Die Nejo KI-Pipeline extrahiert Schlüsselinformationen aus Stellenangeboten, um ein besseres Matching zwischen Kandidat:innen und Jobs zu ermöglichen. Dazu gehören Fähigkeiten, Erfahrungsstufen, Bildungsanforderungen und andere wichtige Details.
Transparente Kennzeichnung: Wir kennzeichnen alle KI-extrahierten Informationen und erkennen an, dass unsere Technologie, obwohl fortschrittlich, gelegentlich bestimmte Details falsch interpretieren kann.
Direkter Bewerbungsprozess: Vor der Bewerbung auf eine Position werden Jobsuchende immer zum ursprünglichen Stellenangebot auf der Website des Arbeitgebers weitergeleitet, wodurch der Bewerbungsprozess so bleibt, wie der Arbeitgeber ihn vorgesehen hat.

Dieser Ansatz ermöglicht es uns, die Sichtbarkeit und das Matching zu verbessern und gleichzeitig die Originalinhalte und Bewerbungsprozesse des Arbeitgebers zu respektieren.

Der Nejo-Unterschied

Während viele Jobseiten darauf angewiesen sind, dass Arbeitgeber manuell Jobs einstellen oder bezahlte Anzeigen schalten, sorgt unser Web-Crawler-Ansatz für:

Umfassende Abdeckung: Wir erfassen Positionen, die möglicherweise nicht auf traditionellen Jobbörsen veröffentlicht werden.
Aktualität: Unser Index wird ständig aktualisiert, wodurch Nejo immer nur die Jobs gelistet sind, die es am Markt so wirklich auch gibt.
Direkte Integration: Jobsuchende bewerben sich direkt über den ursprünglichen Bewerbungsprozess des Arbeitgebers.

Dieser Beitrag wurde das erste Mal am 15 März 2025 veröffentlicht. Letztes Update am 18 März 2025.