Det kan du ikke. Du kan parse HTML-markeringen og bruge den til at bygge et rich text-objekt, som du derefter kan indstille som indholdet af en celle; men der er ingen konvertering fra HTML til rig tekst indbygget i selve PHPExcel, så du skal gøre det i hånden.
