Buscar y encontrar productos relevantes es un componente crítico de un sitio web de comercio electrónico. Proporcionar resultados de búsqueda rápidos y precisos puede marcar la diferencia entre una alta satisfacción del usuario y la frustración del usuario. Con los recientes avances en comprensión del lenguaje natural y tecnologías de búsqueda vectorial, los sistemas de búsqueda mejorados se han vuelto más accesibles y eficientes, lo que conduce a mejores experiencias de usuario y tasas de conversión mejoradas.
\n\nEn esta publicación de blog, exploraremos cómo implementar un sistema de búsqueda híbrida para comercio electrónico utilizando Pinecone, un motor de búsqueda vectorial de alto rendimiento, y modelos de lenguaje específicos de dominio ajustados. Al final de esta publicación, no solo tendrás una sólida comprensión de la búsqueda híbrida, sino también una guía práctica paso a paso para implementarla.
\n\n![\"Pinecone](\"/assets/images/pinecone_hybrid_index.jpg\")
\nVista de alto nivel de un índice híbrido simple de Pinecone\n\nAntes de sumergirnos en la implementación, entendamos rápidamente qué significa búsqueda híbrida. La búsqueda híbrida es un enfoque que combina las fortalezas tanto de la búsqueda tradicional (búsqueda de vectores dispersos) como de la búsqueda vectorial (búsqueda de vectores densos) para lograr un mejor rendimiento de búsqueda en una amplia gama de dominios.
\n\nLa búsqueda de vectores densos extrae embeddings vectoriales de alta calidad de datos de texto y realiza una búsqueda de similitud para encontrar documentos relevantes. Sin embargo, a menudo tiene dificultades con datos fuera del dominio cuando no está ajustada en conjuntos de datos específicos del dominio.
\n\nPor otro lado, la búsqueda tradicional utiliza representaciones vectoriales dispersas, como la frecuencia de términos-frecuencia inversa de documentos (TF-IDF) o BM25, y no requiere ningún ajuste específico del dominio. Si bien puede manejar nuevos dominios, su rendimiento está limitado por su incapacidad para comprender las relaciones semánticas entre palabras y carece de la inteligencia de la recuperación densa.
\n\nLa búsqueda híbrida intenta mitigar las debilidades de ambos enfoques combinándolos en un solo sistema, aprovechando el potencial de rendimiento de la búsqueda de vectores densos y la adaptabilidad zero-shot de la búsqueda tradicional.
\n\nAhora que tenemos una comprensión básica de la búsqueda híbrida, sumerjámonos en su implementación.
\n\nCubriremos los siguientes pasos para implementar un sistema de búsqueda híbrida:
\n\nEn los últimos años, los modelos de lenguaje preentrenados a gran escala como GPT de OpenAI y Cohere se han vuelto cada vez más populares para una variedad de tareas, incluyendo la comprensión y generación del lenguaje natural. Estos modelos pueden ser ajustados en datos específicos del dominio para mejorar su rendimiento y adaptarse a tareas específicas, como la búsqueda de productos de comercio electrónico.
\n\nEn nuestro ejemplo, utilizaremos un modelo de lenguaje específico de dominio ajustado para generar embeddings vectoriales densos para productos y consultas. Sin embargo, puedes elegir otros modelos o incluso crear tus propios embeddings personalizados basados en tu dominio específico.
\n\nimport torch\nfrom transformers import AutoTokenizer, AutoModel\n\n# Load a pre-trained domain-specific language model\nmodel_name = \"your-domain-specific-model\"\ntokenizer = AutoTokenizer.from_pretrained(model_name)\nmodel = AutoModel.from_pretrained(model_name)\n\n# Generate dense vector embeddings for a product description\ntext = \"Nike Air Max sports shoes for men\"\ninputs = tokenizer(text, return_tensors=\"pt\")\nwith torch.no_grad():\n outputs = model(**inputs)\n dense_embedding = outputs.last_hidden_state.mean(dim=1).numpy()\nLa búsqueda híbrida requiere representaciones vectoriales tanto dispersas como densas para nuestros datos de comercio electrónico. Ahora describiremos cómo generar estos vectores.
\n\nLas representaciones vectoriales dispersas, como TF-IDF o BM25, se pueden crear utilizando técnicas estándar de procesamiento de texto, como tokenización, eliminación de palabras vacías y lematización. Un ejemplo de generación de vectores dispersos se puede lograr utilizando una matriz de vocabulario.
\n\n# This function generates sparse vector representations of a list of product descriptions\ndef generate_sparse_vectors(text):\n '''Generates sparse vector representations for a list of product descriptions\n\n Args:\n text (list): A list of product descriptions\n\n Returns:\n sparse_vector (dict): A dictionary of indices and values\n '''\n sparse_vector = bm25.encode_queries(text)\n return sparse_vector\n\nfrom pinecone_text.sparse import BM25Encoder\n\n# Create the BM25 encoder and fit the data\nbm25 = BM25Encoder()\nbm25.fit(new_df.full_data)\n\n# Create the sparse vectors\nsparse_vectors = []\nfor product_description in product_descriptions:\n sparse_vectors.append(generate_sparse_vectors(text=product_description))\nLas representaciones vectoriales densas se pueden generar utilizando modelos de lenguaje preentrenados o personalizados específicos del dominio. En nuestro ejemplo anterior, utilizamos un modelo de lenguaje específico de dominio para generar embeddings vectoriales densos para una descripción de producto.
\n\ndef generate_dense_vector(text):\n '''Generates dense vector embeddings for a list of product descriptions\n\n Args:\n text (list): A list of product descriptions\n\n Returns:\n dense_embedding (np.array): A numpy array of dense vector embeddings\n '''\n # Tokenize the text and convert to PyTorch tensors\n inputs = tokenizer(text, return_tensors=\"pt\")\n # Generate the embeddings with the pre-trained model\n with torch.no_grad():\n outputs = model(**inputs)\n dense_vector = outputs.last_hidden_state.mean(dim=1).numpy()\n return dense_vector\n\n# Generate dense vector embeddings for a list of product descriptions\ndense_vectors = []\nfor product_description in product_descriptions:\n dense_vectors.append(generate_dense_vector(text=product_description))\nPinecone es un motor de búsqueda vectorial de alto rendimiento que admite búsqueda híbrida. Permite la creación de un índice único para vectores dispersos y densos y maneja sin problemas las consultas de búsqueda en diferentes modalidades de datos.
\n\nPara usar Pinecone, necesitarás registrarte para obtener una cuenta, instalar el cliente de Pinecone y configurar tu clave API y entorno.
\n\n# Create a Pinecone hybrid search index\nimport pinecone\n\npinecone.init(\n api_key=\"YOUR_API_KEY\", # app.pinecone.io\n environment=\"YOUR_ENV\" # find next to api key in console\n)\n\n# Create a Pinecone hybrid search index\nindex_name = \"ecommerce-hybrid-search\"\npinecone.create_index(\n index_name = index_name,\n dimension = MODEL_DIMENSION, # dimensionality of dense model\n metric = \"dotproduct\"\n)\n# connect to the index\nindex = pinecone.Index(index_name=index_name)\n# view index stats\nindex.describe_index_stats()\nCon nuestros vectores dispersos y densos generados y Pinecone configurado, ahora podemos construir un pipeline de búsqueda híbrida. Este pipeline incluye los siguientes pasos:
\n\ndef add_product_data_to_index(product_ids, sparse_vectors, dense_vectors, metadata=None):\n \"\"\"Upserts product data to the Pinecone index.\n\n Args:\n product_ids (`list` of `str`): Product IDs.\n sparse_vectors (`list` of `list` of `float`): Sparse vectors.\n dense_vectors (`list` of `list` of `float`): Dense vectors.\n metadata (`list` of `list` of `str`): Optional metadata.\n\n Returns:\n None\n \"\"\"\n batch_size = 32\n\n # Loop through the product IDs in batches.\n for i in range(0, len(product_ids), batch_size):\n i_end = min(i + batch_size, len(product_ids))\n ids = product_ids[i:i_end]\n sparse_batch = sparse_vectors[i:i_end]\n dense_batch = dense_vectors[i:i_end]\n meta_batch = metadata[i:i_end] if metadata else []\n\n vectors = []\n for _id, sparse, dense, meta in zip(ids, sparse_batch, dense_batch, meta_batch):\n vectors.append({\n 'id': _id,\n 'sparse_values': sparse,\n 'values': dense,\n 'metadata': meta\n })\n\n # Upsert the vectors into the Pinecone index.\n index.upsert(vectors=vectors)\n\nadd_product_data_to_index(product_ids, sparse_vectors, dense_vectors)\nAhora que nuestros datos están indexados, podemos realizar consultas de búsqueda híbrida.
\n\n![\"Pinecone](\"/assets/images/pinecone_hybrid_query.jpg\")
\nVista de alto nivel de una consulta híbrida simple de Pinecone\n\nPara realizar consultas de búsqueda híbrida, crearemos una función que tome una consulta, el número de resultados principales y un parámetro alpha para controlar la ponderación entre las puntuaciones de búsqueda de vectores densos y dispersos.
\n\ndef hybrid_scale(dense, sparse, alpha: float):\n \"\"\"Hybrid vector scaling using a convex combination\n\n alpha * dense + (1 - alpha) * sparse\n\n Args:\n dense: Array of floats representing\n sparse: a dict of `indices` and `values`\n alpha: float between 0 and 1 where 0 == sparse only\n and 1 == dense only\n \"\"\"\n if alpha < 0 or alpha > 1:\n raise ValueError(\"Alpha must be between 0 and 1\")\n # scale sparse and dense vectors to create hybrid search vecs\n hsparse = {\n 'indices': sparse['indices'],\n 'values': [v * (1 - alpha) for v in sparse['values']]\n }\n hdense = [v * alpha for v in dense]\n return hdense, hsparse\n\ndef search_products(query, top_k=10, alpha=0.5):\n # Generate sparse query vector\n sparse_query_vector = generate_sparse_vector(query)\n\n # Generate dense query vector\n dense_query_vector = generate_dense_vector(query)\n\n # Calculate hybrid query vector\n dense_query_vector, sparse_query_vector = hybrid_scale(dense_query_vector, sparse_query_vector, alpha)\n\n # Search products using Pinecone\n results = index.query(\n vector=dense_query_vector,\n sparse_vector=sparse_query_vector,\n top_k=top_k\n )\n\n return results\nLuego podemos usar esta función para buscar productos relevantes en nuestro conjunto de datos de comercio electrónico.
\n\nquery = \"running shoes for women\"\nresults = search_products(query, top_k=5)\n\nfor result in results:\n print(result['id'], result['metadata']['product_name'], result['score'])\nExperimentar con diferentes valores para el parámetro alpha te ayudará a encontrar el equilibrio óptimo entre la búsqueda de vectores dispersos y densos para tu dominio específico.
\n\nEn esta publicación de blog, demostramos cómo construir un sistema de búsqueda híbrida para comercio electrónico utilizando Pinecone y modelos de lenguaje específicos de dominio. La búsqueda híbrida nos permite combinar las fortalezas tanto de la búsqueda tradicional como de la búsqueda vectorial, mejorando el rendimiento de búsqueda y la adaptabilidad en diversos dominios.
\n\nSiguiendo los pasos y fragmentos de código proporcionados en esta publicación, puedes implementar tu propio sistema de búsqueda híbrida adaptado a los requisitos específicos de tu sitio web de comercio electrónico. ¡Comienza a explorar Pinecone y mejora tu experiencia de búsqueda de comercio electrónico hoy!
\n\n