Overeenkomstig het kerkelijk wetboek stelt Gijsen die dag zijn functie aan paus Benedictus XVI ter beschikking. Zijn zuster bevestigde vorig jaar dat haar broer niet in IJsland blijft, maar na zijn ontslag zijn intrek bij haar in Sittard neemt. Hij wordt rector van de zusters karmelietessen aan de Kollenberg in die Limburgse stad.De zeer behoudende Gijsen werd in 1972 tot bisschop van Roermond benoemd. Zeer tegen de gewoonte in had zijn wijding niet in de Limburgse bisschopsstad, maar in de Sint-Pieter in Rome plaats. De bisschop volgde al snel zijn eigen lijn. Hij ontsloeg de naaste medewerkers van zijn voorganger Moors, onder wie hulpbisschop Beel, en richtte in Rolduc (Kerkrade) zijn eigen priesterseminarie op. Ook kwam hij in het nieuws met zijn onomwonden standpunten over zaken als abortus, euthanasie en het katholieke onderwijs.

In januari 1993, enkele dagen na het gezamenlijke vijfjaarlijkse bezoek van de Nederlandse bisschoppen aan het Vaticaan, nam Gijsen om gezondheidsredenen ontslag. Hij had enkele jaren daarvoor na tussenkomst van de pauselijke vertegenwoordiger in Nederland een deel van zijn bevoegdheden aan nieuw benoemde vicarissen moeten afstaan. Er was onder meer gebleken dat de priesteropleiding in Rolduc een voedingsbodem voor homoseksuele relaties was geworden.

Gijsen trok zich terug in een klooster in Oostenrijk. Drie jaar later werd hij bisschop in IJsland, waar hij zeer geliefd is.