Después de una salida polémica de Viberti del club al finalizar la temporada 1973/74, los considerados como años dorados acabaron con un nuevo descenso a Segunda División en la temporada 1974/75 y debido al mero hecho de haber perdido la diferencia particular de goles con el Granada CF. En la temporada 1979/80 en concreto, tuvieron lugar además hechos tan polémicos como una incomparecencia del club en un partido contra la AD Almería que debía disputarse en El Mirador de Algeciras debido a la clausura de La Rosaleda por incidentes en un partido anterior contra el Rayo Vallecano, así como una denuncia de amaño de un partido contra la U. D. Salamanca que acabó con resultado de 0-3 a favor de los salmantinos y que al final acabó siendo desestimada por falta de pruebas fehacientes del hecho.
