En 1981, con apenas 21 años, Van Damme vendió el gimnasio y, huyendo del primero de sus matrimonios fallidos, puso rumbo a Los Ángeles. Tenía 8.000 dólares en el bolsillo y no hablaba inglés. Fue entonces cuando adoptó el sobrenombre de Van Damme, en honor a un hombre de negocios y amigo de Bruselas. Pasó los siguientes cinco años conduciendo limusinas, repartiendo pizzas e incluso manufacturando alfombras en una fábrica de Irvine. Por aquel entonces, corría ya el año 1986, se había vuelto a casar y a divorciar.