Los modelos de seguimiento de instrucciones como GPT-3.5 (text-davinci-003), ChatGPT, Claude y Bing Chat se han vuelto cada vez más poderosos. Muchos usuarios ahora interactúan con estos modelos regularmente e incluso los usan para trabajar. Sin embargo, a pesar de su amplio despliegue, los modelos de seguimiento de instrucciones todavía tienen muchas deficiencias: pueden generar información falsa, propagar estereotipos sociales y producir lenguaje tóxico.