El miedo clásico que rodea a la IA hipotética y superinteligente es que podamos darle una meta equivocada o limitaciones insuficientes. Incluso en el campo bien desarrollado de la IA estrecha, vemos que los algoritmos de aprendizaje automático son muy capaces de encontrar medios inesperados y formas no deseadas de alcanzar sus objetivos. Por ejemplo, en el entorno estructurado de los videojuegos, donde una simple función -los puntos obtenidos- debe ser maximizada, a menudo encuentran nuevas hazañas o trampas para ganar sin jugar.