Los orígenes de los invertebrados y, por tanto también el de los animales más simples, se remontan a la época en la que surgió la primera vida animal en los mares poco profundos de la Tierra primitiva. Los zoólogos tienen dudas respecto al momento exacto en que ocurrió, ya que los primeros invertebrados eran pequeños y de cuerpo blando y no dejaron restos fósiles directos. Sin embargo, algunos científicos creen que determinadas marcas que se conservan en las rocas sedimentarias de hace unos 1.000 millones de años pueden corresponder a túneles o agujeros y a huellas fosilizadas de esos invertebrados primitivos. Otros científicos que estudian el material genético en los animales vivos, piensan que los primeros invertebrados pudieron aparecer incluso antes y comenzar a diferenciarse en grupos distintos hace más de 1.000 millones de años.
Los fósiles de invertebrados más antiguos que se conocen se remontan al periodo precámbrico, hace unos 570 millones de años. Los restos fósiles mejor conocidos, procedentes de las colinas de Ediacara, en el sureste de Australia, comprenden animales parecidos a medusas y a gusanos anélidos. Los zoólogos discrepan respecto a su posición en el árbol evolutivo. Algunos piensan que podrían ser antecesores de algunos grupos vivos, mientras que otros creen que pertenecen a un grupo de invertebrados que finalmente se extinguieron (fauna edicarana).
Con el inicio del periodo cámbrico, la vida invertebrada evolucionó rápidamente. Debido a la aparición de los primeros invertebrados con exoesqueleto, los restos fósiles proporcionaron un rico registro de la vida invertebrada en ese periodo. Cuando el cámbrico llegó a su fin, todos los filos de invertebrados que viven en la actualidad ya estaban establecidos.
Entre aquel periodo y el actual, los invertebrados se extendieron a través de los mares e invadieron también la tierra. Los científicos creen que los primeros habitantes del medio terrestre fueron, casi con toda seguridad, los artrópodos, entre ellos los predecesores de los insectos sin alas. Durante el carbonífero aparecieron los insectos con alas, especialmente una forma gigante de libélula de una envergadura de hasta 75 cm. Sin embargo, la gran explosión de vida invertebrada sobre la tierra tuvo lugar durante el cretácico. Las primeras plantas con flor aparecieron en ese periodo, lo que permitió a los insectos aprovecharse de una nueva fuente de alimentación, provocando una enorme diversificación de ese grupo de animales, que se ha mantenido hasta nuestros días.
Sin embargo, mientras muchos invertebrados prosperaban, otros grupos se extinguían. Los escorpiones marinos gigantes y los trilobites fueron dos grupos de artrópodos que florecieron durante el paleozoico, pero fueron incapaces de sobrevivir a la gran extinción masiva sucedida a finales del pérmico. Los amonites (moluscos relacionados con los pulpos y calamares actuales) tuvieron mejor suerte. Aparecieron por primera vez durante el silúrico y vivieron en el mesozoico, desapareciendo al mismo tiempo que los dinosaurios, hace unos 65 millones de años. Con frecuencia, sus enormes caparazones espirales se han conservado perfectamente fosilizados, algunos con tamaños de casi 2 m de diámetro.