J'ai Créé un Moteur De Recherche pour les Agents IA

Je voulais Créer mon Propre Moteur de Recherche et je l'ai fait.

Je l'ai baptisé ai-search-engine-1 c'est le premier Moteur Local-First que j'ai créé.

Pas Pour Mois bien sûr, mais pour mes Agentes IA, Des moteurs de recherche Humain, il en Existe Plein.

Pourquoi ai-search-engine-1 vu le jour ?

Presque tous les AI Search Engine Sont payants, Ou bien On est malin et on donne des Dizaines de réponses à l'IA via des moteurs classique comme Bing, Google Search PSE ou Brave Search API et l'IA reçoit un JSON avec les titres, description et contenues, etc.

Ça, de mon point de vue, c'est fait pour l'Humain, par pour l'IA.

L'IA Conversationnelle a un Contexte Limité et de ce fait si en plus c'est en Local, la Réponse qu'elle reçoit en Utilisant un Outil de recherche Doit être pensé pour elle et limitant de l'étape inutile.

Étape Inutile, De quoi est-ce que je parle ?

Le moteur de recherche, Son but à lui c’’est de vous donner les pages les plus pertinents (classement) Pas plus.

Et Donc, c’est à vous d’en déduire sur quelle page allez vous cliquer ou non.

Mais dans le cas d’un Agent IA, pour cliquer sur un Lien résume avoir un Outil secondaire pour avoir le contenu de la page et cet Outil doit être pensé pour les IA (c'est-à-dire nettoyé la page en HTML en Général pour garder que le contenu)

Donc, Oui, tu as bien compris, cliquer dans Une Page Représente une seconde Action pour l’IA.

C’est là, l’avantage de ai-search-engine-1, Son système élimine toute cette Douleur et perte de temps pour l'IA.

En gros, c’est comme notre moteur de recherche se constituait de :

• Google : Comme Moteur de recherche

• FireCrawl : Pour Scraper les Site web en Markdown

• Postgres + pgvector : comme base de donnée vectorielle

• Ollama : Modèle LLM + Modèle d’embedding

• Redis : Utiliser Comme cache pour plus de rapidité dans la distribution des réponses

Comme cela La Recherche et les pages Qui Envoyé par le Moteur de recherche sera Directement Scraper pour Éliminer cette Peine et manque de contexte.

Le Base de Donnée comme Indexing et le Modèle d’embeding pour stocker le contenu de la page sous forme vectorielle

Et pour donner une Repose à l’IA, on ajoute une Recherche Hybride et un Reranker.

Comme cela tout le sale boulot et la perte de temps est absorbé par ai-search-engine-1 

L’IA aura le contenu et sa Source.

C’est comme si on avait Utilisé le Système RAG + un Moteur de recherche + Un système de Scraping.

Avec la Bonne Méthode et le Bon pipeline, j’ai réussi à créer AI SEARCH ENGINE 1.

J’en parlerai dans une vidéo sur ma chaine YouTube Abonne-toi en cliquant sur le bouton en bas

Ma Dernière Vidéo