Todas las Industrias
Perplexity Mejora el Desempeño de Modelos para Motores de Búsqueda Impulsados por IA con NVIDIA NeMo
Objectivo
Perplexity tiene como objetivo personalizar rápidamente los modelos de frontera para mejorar la exactitud y la calidad de los resultados de búsqueda y optimizarlos en pos de reducir la latencia y aumentar el rendimiento, con el fin de brindar una mejor experiencia al usuario.
Cliente
Perplexity
Caso de Uso
IA Generativa / LLM
Productos
NVIDIA NeMo
Navegación de la Sobrecarga de Información con Perplexity
Perplexity es un innovador motor de respuestas impulsado por IA que proporciona respuestas exactas, confiables y en tiempo real a cualquier pregunta.
Aunque el internet ha proporcionado acceso a una gran cantidad de conocimiento, y permite que se hagan innumerables preguntas anualmente, el enfoque convencional de búsqueda de información requiere que los usuarios examinen múltiples fuentes para encontrar y sintetizar los datos que necesitan.
Para abordar esto, Perplexity creó un “motor de respuestas” que ofrece una forma más eficiente de obtener información. Cuando se hace una pregunta, el motor de respuestas de Perplexity proporciona una respuesta concisa directamente, lo que ahorra tiempo y mejora la experiencia del usuario al proporcionar información directa y relevante de manera rápida.
Cada búsqueda tiene una intención diferente y Perplexity se basa en una red de grandes modelos de lenguaje (LLM) para generar resultados fundamentados. Para habilitar esto, el equipo de Perplexity necesitaba herramientas que pudieran ampliar el proceso de personalización de modelos de forma fácil y eficiente con técnicas de ajuste avanzadas.
Perplexity
Puntos Clave
- Perplexity está revolucionando los motores de búsqueda tradicionales con un “motor de respuestas” que proporciona respuestas directas y concisas, lo que mejora la experiencia del usuario al ahorrar tiempo y proporcionar información exacta rápidamente.
- A partir de octubre de 2024, la plataforma procesa la impresionante cantidad de 340 millones de consultas al mes y más de 1500 empresas han integrado Perplexity en sus workflows, lo que destaca su valor en entornos profesionales.
- Mediante el uso de NVIDIA NeMo™ para el entrenamiento, Perplexity ha desarrollado una familia propia de LLM en línea llamada Sonar que ofrece respuestas actuales y objetivas.
Personalización y Flexibilidad
Perplexity adoptó NVIDIA NeMo y ahora aprovecha su confiabilidad, flexibilidad y facilidad de uso para crear modelos personalizados para su motor de respuestas en línea. Utilizaron varias técnicas avanzadas de procesamiento y alineación de modelos compatibles con NeMo:
- Ajuste Fino Supervisado: Las capacidades de NeMo en el manejo de datos distribuidos en múltiples nodos le permitieron a Perplexity ampliar sus procesos de entrenamiento de manera eficiente.
- Optimización de Preferencias Directas (DPO): Esto le permitió a Perplexity mejorar el desempeño de los modelos preentrenados para alinearlos con las preferencias humanas, con lo que se adapta los modelos a las necesidades de los usuarios.
- Optimización de Políticas Proximales (PPO): Esta técnica de alineación mejoró los resultados de los modelos de entrenamiento en tareas complejas, como el manejo de videojuegos y el control de robots.
A los pocos días de una nueva versión de código abierto, el equipo tenía un nuevo modelo de Sonar que era un 20% mejor en búsquedas que el modelo base.
Perplexity les aplicó un ajuste fino a modelos de vanguardia, incluidas las familias de modelos Llama y Mistral, y está aprovechando la generación aumentada por recuperación para ofrecer respuestas precisas y concisas en función de los datos recuperados. Este nivel de personalización le ha permitido a Perplexity lograr una alta exactitud y relevancia en sus aplicaciones de IA.
Además, la facilidad de uso de NeMo, la gran cantidad de arquitecturas de modelos compatibles y el alto rendimiento de entrenamiento le permitieron a Perplexity experimentar rápidamente y encontrar los modelos mejor ajustados para sus aplicaciones.
Escalado y Ajuste Fino de LLM con NeMo
NeMo le permitió a Perplexity escalar el ajuste fino de LLM de 500 millones de parámetros a más de 400 mil millones al tiempo que aprovechaba sus datos distribuidos a gran escala y el paralelismo de modelos.
Weihua Hu, ingeniero de investigación de IA, ha liderado un esfuerzo para mejorar las capacidades de recuperación de Perplexity, y dice: “NeMo le permite a Perplexity ajustar rápidamente una variedad de modelos de incrustación de código abierto. Esto mejoró en gran medida nuestra pila de recuperación y condujo a un aumento sustancial en la calidad de las respuestas”.
Weihua también señaló: ”Pudimos experimentar con varias técnicas posentrenamiento y encontrar la combinación correcta de ajuste fino supervisado (SFT) y de optimización de preferencias directas (DPO)”.
Al redefinir la forma en que se accede a la información, Perplexity tiene como objetivo transformar la forma en que los usuarios interactúan con la web y hacerla más intuitiva y fácil de usar.
“NeMo le permite a Perplexity ajustar rápidamente una variedad de modelos de incrustación de código abierto. Esto mejoró en gran medida nuestra pila de recuperación y condujo a un aumento sustancial en la calidad de las respuestas”.
Weihua Hu,
Ingeniero de Investigación de IA