LLMs: A Hackers Guide
ฝัง
- เผยแพร่เมื่อ 16 ต.ค. 2024
- It seems we're all rediscovering how to build and develop applications - especially from scratch - with Generative AI as either the base layer or a building block in our applications. The patterns for development - from "How do I debug?" to "How do I iterate?" are all still being found.
Here's my experience - from months and billions of tokens - summarised into a few key learnings in a way that I hope is helpful.
Here are the slides: docs.google.co...
You can read more about prompting here: olickel.com/ev...
Or RAG: huggingface.co...
00:38 Intro to Me
03:20 Chat-Play-Loop-Nest
06:30 Where to spend your time
07:25 Dos and Donts
15:55 Debugging
19:23 A Real Example: Lumentis
21:06 Some predictions for the future
Good talk bro, summary of a bunch of stuff we learned recently all in one talk.
Amazing talk, thanks Hrishi!
Thanks for the well rounded thoughts and recommendations!
You’re operating at the experimental edges of the SOTA RAG. Hope your methodologies and frameworks get the distribution they deserve!
Love the insights, inspiring to see what you've achieved!
Thanks for sharing your insights. I found this talk illuminating and insightful.
Good job! Exactly what i do - put into words :)
great talk Hrishi !
Great talk. A wish si i can try lumentis since i dont use Anthropic....can you get an OAI version or a llama 3-70B run through groq? (free...maybe with some rate limit backoffs ;) )
Hope you can make more videos and build your channel.
Loved it, thank you!
Can we have the slides?
docs.google.com/presentation/d/1DlpJOb_CzLF4BGDZdACyHIyysH518zt0DrKH00m7vMk
Great talk!
Nice talk Hrishi! What is your opinion about DSPy?
Thank you! Haven't been able to find a proper use-case in production on my end, but I've seen a lot of people start using it properly for different things so YMMV
Because of legacy codebase, AI cant help too much so new startups utilizing AI may be able to catch up exponentially more quickly
Also since AI hasnt been trained on many new libraries, even their own, it will get much harder for them to grow user base now, since now many people use less and less stackoverflow, so less training data - its a paradox, unless AI model is trained on synthetic data for the new library or has some search function, but this isnt too good too
Yup that's a real problem. RAG on code or new ways of adding memory will have to catch up I think
Not sure about the agent definition, but nice talk 👌
Really Great! Thank you
Hey do you mind sharing your slides
docs.google.com/presentation/d/1DlpJOb_CzLF4BGDZdACyHIyysH518zt0DrKH00m7vMk
There you go!
linkedin?
Right?
🎯 Key Takeaways for quick navigation:
00:00 *🎤 Esta charla es una recopilación casual de pensamientos y respuestas a preguntas frecuentes sobre IA y prompting, basada en la experiencia del orador.*
00:33 *🚢 La empresa del orador, Greywing, ha trabajado extensamente con LLMs, automatización de comunicaciones, asistentes y RAG multimodal en el ámbito del transporte marítimo comercial. *
02:15 *📄 El orador lanzó recientemente un proyecto de código abierto para generar documentación a partir de transcripciones de reuniones, abordando un problema común.*
02:48 *🔁 El bucle iterativo es crucial al trabajar con IA. El enfoque CPLN implica chatear extensamente, experimentar en playground, hacer bucles con más datos y casos de prueba, y anidar/descomponer prompts.*
06:40 *🔍 Dedica la mayor parte del tiempo a probar nuevos enfoques con los modelos en lugar de ajustar un solo prompt, ya que aún se están descubriendo nuevas formas de utilizarlos.*
07:47 *🎨 Aprovecha todas las modalidades disponibles (texto, audio, visión, código) para proporcionar más contexto a los modelos y representar la información de manera eficiente.*
10:38 *💡 Al trabajar con IA, evita abstracciones innecesarias, prueba diferentes modelos, mantén una proporción razonable entre entradas y salidas, y aprovecha el conocimiento incorporado.*
14:52 *🧰 Las capacidades clave habilitadas por la IA incluyen NLP mejorado, filtrado y extracción, transformación y generación de propósito general.*
16:07 *🐛 Para depurar, simplifica los prompts, transforma las entradas, añade estructura a las salidas y clasifica los errores en problemas a nivel de aplicación, de factualidad o de seguimiento de instrucciones.*
18:54 *✂️ Mantén los prompts concisos y descompuestos en tareas más pequeñas para facilitar la depuración y el intercambio de componentes si algo falla.*
19:58 *🧪 Al desarrollar el proyecto, se probaron diferentes hipótesis, como extraer estructura directamente o clasificar los datos antes de extraer la estructura, para entender las capacidades del modelo.*
20:30 *📜 El proyecto final se redujo a un solo script que iteraba sobre todo, lo descomponía en secciones y usaba diferentes modelos para escribir diferentes partes.*
21:05 *💰 A pesar de las preocupaciones sobre el costo, se espera que todo se vuelva al menos 10 a 50 veces más barato y rápido en un futuro próximo debido a las optimizaciones de hardware y software.*
22:30 *📏 El problema con las ventanas de contexto largas es que la atención escala exponencialmente. Para obtener el doble de contexto, se necesita cuatro veces más memoria y cómputo. Se requieren trucos para seleccionar las partes relevantes del contexto.*
24:07 *🔍 La transformación de entradas puede aprovechar la estructura inherente en los documentos (títulos, secciones, oraciones) y también se puede realizar mediante IA.*
25:16 *💻 La IA está facilitando el desarrollo de proyectos complejos desde cero, pero aún no ha impactado significativamente en la lógica empresarial, el mantenimiento y la transformación de entradas de clientes en sistemas heredados masivos.*
27:26 *🧠 Los embeddings son modelos comparativamente pequeños y tienen limitaciones para capturar el significado completo, especialmente para contextos largos. Usar LLMs directamente puede ser una alternativa, aunque más costosa.*
29:04 *🔎 Los embeddings deben usarse como último paso en una pipeline, después de reducir el espacio de búsqueda con búsquedas estructuradas y transformaciones. No se recomienda buscar en todo el espacio de búsqueda con embeddings desde el principio.*
29:37 *📊 Los embeddings pueden ser útiles para identificar partes relevantes de los resultados (por ejemplo, oraciones dentro de páginas) y crear un "mapa de calor" de importancia.*
Made with HARPA AI