Die Suche und das Auffinden relevanter Produkte ist eine kritische Komponente einer E-Commerce-Website. Schnelle und präzise Suchergebnisse können den Unterschied zwischen hoher Benutzerzufriedenheit und Benutzerfrust ausmachen. Mit den jüngsten Fortschritten im Bereich des natürlichen Sprachverständnisses und der Vektorsuchtechnologien sind verbesserte Suchsysteme zugänglicher und effizienter geworden, was zu besseren Benutzererfahrungen und verbesserten Konversionsraten führt.
\n\nIn diesem Blogbeitrag werden wir untersuchen, wie man ein Hybrid-Suchsystem für E-Commerce mit Pinecone, einer leistungsstarken Vektorsuchmaschine, und fein abgestimmten domänenspezifischen Sprachmodellen implementiert. Am Ende dieses Beitrags werden Sie nicht nur ein fundiertes Verständnis der Hybrid-Suche haben, sondern auch eine praktische Schritt-für-Schritt-Anleitung zur Implementierung.
\n\n![\"Pinecone](\"/assets/images/pinecone_hybrid_index.jpg\")
\nÜberblick über einen einfachen Pinecone Hybrid Index\n\nBevor wir uns mit der Implementierung befassen, sollten wir kurz verstehen, was Hybrid-Suche bedeutet. Hybrid-Suche ist ein Ansatz, der die Stärken sowohl der traditionellen Suche (Sparse-Vektorsuche) als auch der Vektorsuche (Dense-Vektorsuche) kombiniert, um eine bessere Suchleistung über eine Vielzahl von Domänen hinweg zu erzielen.
\n\nDie Dense-Vektorsuche extrahiert hochwertige Vektor-Embeddings aus Textdaten und führt eine Ähnlichkeitssuche durch, um relevante Dokumente zu finden. Sie hat jedoch oft Schwierigkeiten mit domänenfremden Daten, wenn sie nicht auf domänenspezifischen Datensätzen fein abgestimmt ist.
\n\nAndererseits verwendet die traditionelle Suche Sparse-Vektordarstellungen wie Term Frequency-Inverse Document Frequency (TF-IDF) oder BM25 und erfordert keine domänenspezifische Feinabstimmung. Während sie neue Domänen handhaben kann, ist ihre Leistung durch ihre Unfähigkeit, semantische Beziehungen zwischen Wörtern zu verstehen, begrenzt und es fehlt ihr die Intelligenz des Dense Retrieval.
\n\nDie Hybrid-Suche versucht, die Schwächen beider Ansätze zu mildern, indem sie sie in einem einzigen System kombiniert und dabei das Leistungspotenzial der Dense-Vektorsuche und die Zero-Shot-Anpassungsfähigkeit der traditionellen Suche nutzt.
\n\nNachdem wir nun ein grundlegendes Verständnis der Hybrid-Suche haben, tauchen wir in ihre Implementierung ein.
\n\nWir werden die folgenden Schritte zur Implementierung eines Hybrid-Suchsystems behandeln:
\n\nIn den letzten Jahren sind großangelegte vortrainierte Sprachmodelle wie OpenAI's GPT und Cohere für eine Vielzahl von Aufgaben, einschließlich natürlichem Sprachverständnis und -generierung, zunehmend populär geworden. Diese Modelle können auf domänenspezifischen Daten fein abgestimmt werden, um ihre Leistung zu verbessern und sich an spezifische Aufgaben anzupassen, wie z.B. die E-Commerce-Produktsuche.
\n\nIn unserem Beispiel werden wir ein fein abgestimmtes domänenspezifisches Sprachmodell verwenden, um Dense-Vektor-Embeddings für Produkte und Anfragen zu generieren. Sie können jedoch auch andere Modelle wählen oder sogar Ihre eigenen benutzerdefinierten Embeddings basierend auf Ihrer spezifischen Domäne erstellen.
\n\nimport torch\nfrom transformers import AutoTokenizer, AutoModel\n\n# Laden eines vortrainierten domänenspezifischen Sprachmodells\nmodel_name = \"your-domain-specific-model\"\ntokenizer = AutoTokenizer.from_pretrained(model_name)\nmodel = AutoModel.from_pretrained(model_name)\n\n# Generierung von Dense-Vektor-Embeddings für eine Produktbeschreibung\ntext = \"Nike Air Max sports shoes for men\"\ninputs = tokenizer(text, return_tensors=\"pt\")\nwith torch.no_grad():\n outputs = model(**inputs)\n dense_embedding = outputs.last_hidden_state.mean(dim=1).numpy()\nDie Hybrid-Suche erfordert sowohl Sparse- als auch Dense-Vektordarstellungen für unsere E-Commerce-Daten. Wir werden nun beschreiben, wie diese Vektoren generiert werden.
\n\nSparse-Vektordarstellungen wie TF-IDF oder BM25 können mit Standard-Textverarbeitungstechniken wie Tokenisierung, Stopwort-Entfernung und Stemming erstellt werden. Ein Beispiel für die Generierung von Sparse-Vektoren kann mit einer Vokabularmatrix erreicht werden.
\n\n# Diese Funktion generiert Sparse-Vektordarstellungen einer Liste von Produktbeschreibungen\ndef generate_sparse_vectors(text):\n '''Generiert Sparse-Vektordarstellungen für eine Liste von Produktbeschreibungen\n\n Args:\n text (list): Eine Liste von Produktbeschreibungen\n\n Returns:\n sparse_vector (dict): Ein Dictionary von Indizes und Werten\n '''\n sparse_vector = bm25.encode_queries(text)\n return sparse_vector\n\nfrom pinecone_text.sparse import BM25Encoder\n\n# Erstellen des BM25-Encoders und Anpassen der Daten\nbm25 = BM25Encoder()\nbm25.fit(new_df.full_data)\n\n# Erstellen der Sparse-Vektoren\nsparse_vectors = []\nfor product_description in product_descriptions:\n sparse_vectors.append(generate_sparse_vectors(text=product_description))\nDense-Vektordarstellungen können mit vortrainierten oder benutzerdefinierten domänenspezifischen Sprachmodellen generiert werden. In unserem vorherigen Beispiel haben wir ein domänenspezifisches Sprachmodell verwendet, um Dense-Vektor-Embeddings für eine Produktbeschreibung zu generieren.
\n\ndef generate_dense_vector(text):\n '''Generiert Dense-Vektor-Embeddings für eine Liste von Produktbeschreibungen\n\n Args:\n text (list): Eine Liste von Produktbeschreibungen\n\n Returns:\n dense_embedding (np.array): Ein numpy-Array von Dense-Vektor-Embeddings\n '''\n # Tokenisierung des Textes und Konvertierung in PyTorch-Tensoren\n inputs = tokenizer(text, return_tensors=\"pt\")\n # Generierung der Embeddings mit dem vortrainierten Modell\n with torch.no_grad():\n outputs = model(**inputs)\n dense_vector = outputs.last_hidden_state.mean(dim=1).numpy()\n return dense_vector\n\n# Generierung von Dense-Vektor-Embeddings für eine Liste von Produktbeschreibungen\ndense_vectors = []\nfor product_description in product_descriptions:\n dense_vectors.append(generate_dense_vector(text=product_description))\nPinecone ist eine leistungsstarke Vektorsuchmaschine, die Hybrid-Suche unterstützt. Sie ermöglicht die Erstellung eines einzigen Index für sowohl Sparse- als auch Dense-Vektoren und verarbeitet nahtlos Suchanfragen über verschiedene Datenmodalitäten hinweg.
\n\nUm Pinecone zu verwenden, müssen Sie sich für ein Konto anmelden, den Pinecone-Client installieren und Ihren API-Schlüssel und Ihre Umgebung einrichten.
\n\n# Erstellen eines Pinecone Hybrid-Such-Index\nimport pinecone\n\npinecone.init(\n api_key=\"YOUR_API_KEY\", # app.pinecone.io\n environment=\"YOUR_ENV\" # neben dem API-Schlüssel in der Konsole zu finden\n)\n\n# Erstellen eines Pinecone Hybrid-Such-Index\nindex_name = \"ecommerce-hybrid-search\"\npinecone.create_index(\n index_name = index_name,\n dimension = MODEL_DIMENSION, # Dimensionalität des Dense-Modells\n metric = \"dotproduct\"\n)\n# Verbindung zum Index herstellen\nindex = pinecone.Index(index_name=index_name)\n# Index-Statistiken anzeigen\nindex.describe_index_stats()\nMit unseren generierten Sparse- und Dense-Vektoren und der eingerichteten Pinecone-Umgebung können wir nun eine Hybrid-Such-Pipeline aufbauen. Diese Pipeline umfasst die folgenden Schritte:
\n\ndef add_product_data_to_index(product_ids, sparse_vectors, dense_vectors, metadata=None):\n \"\"\"Fügt Produktdaten zum Pinecone-Index hinzu.\n\n Args:\n product_ids (`list` of `str`): Produkt-IDs.\n sparse_vectors (`list` of `list` of `float`): Sparse-Vektoren.\n dense_vectors (`list` of `list` of `float`): Dense-Vektoren.\n metadata (`list` of `list` of `str`): Optionale Metadaten.\n\n Returns:\n None\n \"\"\"\n batch_size = 32\n\n # Durchlaufen der Produkt-IDs in Batches.\n for i in range(0, len(product_ids), batch_size):\n i_end = min(i + batch_size, len(product_ids))\n ids = product_ids[i:i_end]\n sparse_batch = sparse_vectors[i:i_end]\n dense_batch = dense_vectors[i:i_end]\n meta_batch = metadata[i:i_end] if metadata else []\n\n vectors = []\n for _id, sparse, dense, meta in zip(ids, sparse_batch, dense_batch, meta_batch):\n vectors.append({\n 'id': _id,\n 'sparse_values': sparse,\n 'values': dense,\n 'metadata': meta\n })\n\n # Einfügen der Vektoren in den Pinecone-Index.\n index.upsert(vectors=vectors)\n\nadd_product_data_to_index(product_ids, sparse_vectors, dense_vectors)\nNachdem unsere Daten indexiert sind, können wir Hybrid-Suchanfragen durchführen.
\n\n![\"Pinecone](\"/assets/images/pinecone_hybrid_query.jpg\")
\nÜberblick über eine einfache Pinecone Hybrid-Abfrage\n\nUm Hybrid-Suchanfragen durchzuführen, erstellen wir eine Funktion, die eine Anfrage, die Anzahl der Top-Ergebnisse und einen Alpha-Parameter zur Steuerung der Gewichtung zwischen Dense- und Sparse-Vektorsuche-Scores entgegennimmt.
\n\ndef hybrid_scale(dense, sparse, alpha: float):\n \"\"\"Hybrid-Vektorskalierung unter Verwendung einer konvexen Kombination\n\n alpha * dense + (1 - alpha) * sparse\n\n Args:\n dense: Array von Floats\n sparse: ein Dict von `indices` und `values`\n alpha: Float zwischen 0 und 1, wobei 0 == nur sparse\n und 1 == nur dense\n \"\"\"\n if alpha < 0 or alpha > 1:\n raise ValueError(\"Alpha muss zwischen 0 und 1 liegen\")\n # Skalierung von Sparse- und Dense-Vektoren zur Erstellung von Hybrid-Such-Vektoren\n hsparse = {\n 'indices': sparse['indices'],\n 'values': [v * (1 - alpha) for v in sparse['values']]\n }\n hdense = [v * alpha for v in dense]\n return hdense, hsparse\n\ndef search_products(query, top_k=10, alpha=0.5):\n # Generierung des Sparse-Abfragevektors\n sparse_query_vector = generate_sparse_vector(query)\n\n # Generierung des Dense-Abfragevektors\n dense_query_vector = generate_dense_vector(query)\n\n # Berechnung des Hybrid-Abfragevektors\n dense_query_vector, sparse_query_vector = hybrid_scale(dense_query_vector, sparse_query_vector, alpha)\n\n # Produktsuche mit Pinecone\n results = index.query(\n vector=dense_query_vector,\n sparse_vector=sparse_query_vector,\n top_k=top_k\n )\n\n return results\nWir können diese Funktion dann verwenden, um nach relevanten Produkten in unserem E-Commerce-Datensatz zu suchen.
\n\nquery = \"running shoes for women\"\nresults = search_products(query, top_k=5)\n\nfor result in results:\n print(result['id'], result['metadata']['product_name'], result['score'])\nDas Experimentieren mit verschiedenen Werten für den Alpha-Parameter hilft Ihnen, die optimale Balance zwischen Sparse- und Dense-Vektorsuche für Ihre spezifische Domäne zu finden.
\n\nIn diesem Blogbeitrag haben wir demonstriert, wie man ein Hybrid-Suchsystem für E-Commerce mit Pinecone und domänenspezifischen Sprachmodellen aufbaut. Die Hybrid-Suche ermöglicht es uns, die Stärken sowohl der traditionellen Suche als auch der Vektorsuche zu kombinieren und die Suchleistung und Anpassungsfähigkeit über verschiedene Domänen hinweg zu verbessern.
\n\nIndem Sie den Schritten und Code-Snippets in diesem Beitrag folgen, können Sie Ihr eigenes Hybrid-Suchsystem implementieren, das auf die spezifischen Anforderungen Ihrer E-Commerce-Website zugeschnitten ist. Beginnen Sie noch heute mit der Erkundung von Pinecone und verbessern Sie Ihre E-Commerce-Sucherfahrung!
\n\n