La Asociación empieza a gestarse por el año 1983. En el año 1989 un grupo de jóvenes llenos de ilusión y fe, crean la Asociación con el objetivo de sacar los pasos con costalero, ya que por aquel entonces sólo procesionaban así los pasos del Resucitado, el Rosario de la Soledad del Viernes Santo, la Angustias y la Paz. Hacen coincidir la fecha de fundación con el cumpleaños de José Mª Silva de Lima (Joselón) su primer y único presidente hasta el día de su fallecimiento en 2012.
La Hdad. del Santo Entierro fue la primera hermandad en aceptar la asociación, con el paso de la Lágrimas. El gesto de ésta Hdad. lo siguió ese mismo año, la del Ntro. Padre Jesús de la Espina y Ntra. Sra. De la Amargura, confiándoles el sacar a costaleros el paso de Ntro. Padre Jesús de la Espina.
Después de esa Semana Santa del año 1990, las dos hermandades en reconocimiento al trabajo realizado concedieron a la Asociación el Título de Hermanos Honoríficos de ambas corporaciones.
Al año siguiente, estas dos hermandades no solo volvieron a confiar en la asociación, sino que les confiaron los dos pasos que aún salían a ruedas, el palio de la Virgen de la Amargura y el paso del Cristo Yacente. Se intenta implantar el costal en la Hermandad de las Descalzas, sin mucho éxito.
El año 1993, se estrena como capataz Joselón al frente del paso de palio de la Amargura. La Asociación celebra su primer pregón del costalero a cargo de D. Tomás Peña Durán.
No sería hasta el año 1995, cuando otra hermandad confiaría en la Asociación para sacar otro paso, el palio de la Esperanza. Al año siguiente esta hermandad le confiaría el paso del Descendimiento.
En el año 1997 se presenta la Agrupación Musical de la Asociación de Costaleros, tras la desaparición de la Agrupación de la Cruz Roja, con el maestro Gaby al frente.