Learn PromptingTrampas de los LLMs
Los LLMs son extremadamente poderosos, pero no son perfectos. Hay muchos aspectos que debes tener en cuenta a la hora de utilizarlos.
Citar fuentes
La mayoría de los LLM no pueden citar las fuentes con precisión. Esto se debe a que no tienen acceso a Internet y no recuerdan exactamente de dónde procede su información. A menudo generan fuentes que parecen buenas, pero que son totalmente inexactas.
Estrategias como LLMs con búsqueda aumentada (LLMs que pueden buscar en Internet y otras fuentes) a menudo pueden solucionar este problema.
Sesgos
Los LLM suelen estar predispuestos a generar respuestas estereotipadas. Incluso con medidas de seguridad, a veces dicen cosas sexistas, racistas y homófobas. Ten cuidado cuando utilices LLM en aplicaciones orientadas al consumidor, y también ten cuidado cuando los utilices en investigación (pueden generar resultados sesgados).
Alucinaciones
Los LLM suelen decir falsedades cuando se les hace una pregunta cuya respuesta desconocen. A veces dirán que no saben la respuesta, pero la mayoría de las veces darán con seguridad una respuesta incorrecta.
Matemáticas
Los LLM suelen ser malos en matemáticas. Les cuesta resolver problemas matemáticos sencillos y a menudo son incapaces de resolver problemas matemáticos más complejos.
Este problema puede solucionarse hasta cierto punto utilizando una herramienta LLM aumentada.
Prompt Hacking
A menudo, los usuarios pueden engañar a los LLM para que generen el contenido que deseen. Lee más sobre esto aquí.
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.