Krol werd 1 augustus 1934 geboren in Groningen. Zijn vader was leraar Nederlands. Gerrit Krol was meer wiskundig aangelegd. Hij werkte onder meer als computerspecialist bij Shell en bij de Nederlandse Aardolie Maatschappij als systeemontwerper. Zijn werkzaamheden brachten hem ook meermalen in het buitenland.

Zijn vrije uurtjes besteedde hij aan het schrijverschap. In 1961 debuteerde hij met gedichten in literaire tijdschriften. Een jaar later verscheen zijn romandebuut De rokken van Joy Scheepmaker. Krol verloochende zijn wiskundige achtergrond niet. Zijn debuut was een traditioneel geschreven verhaal, maar in zijn latere werk zocht hij naar een eigen stijl, waarbij hij wiskundige aspecten in zijn werk vlocht. Dit is onder meer te zien in het boek Het gemillimeterde hoofd uit 1967. Met dit boek won hij in 1968 de Prozaprijs van de gemeente Amsterdam.

In de jaren 90 sloeg hij een nieuwe weg in en zijn deze wiskundige elementen minder nadrukkelijk aanwezig in zijn werk. In totaal schreef hij meer dan 50 romans, novellen, verhalenbundels, dichtbundels en essays. Bekende werken van hem zijn onder meer Een Fries huilt niet (1980), De ziekte van Middleton (1969), Polaroid gedichten (1970), Op weg naar Sacramento (1977) en De man achter het raam (1982).

In zijn essay Voor wie kwaad wil (1990) ging Krol in op het verschil in aandacht voor daders en slachtoffers van een misdrijf. Terwijl alle aandacht veelal gaat naar de daders, blijven de slachtoffers in de kou staan. Volgens Krol zijn we slachtoffer geworden van onze tolerantie. De schrijver gaf aan niet onwelwillend te staan tegen de invoering van de doodstraf.

In zijn laatste boek Duivelskermis (2007) beschreef hij de gevolgen van de ziekte van Parkinson. Hierin deed hij verslag van de ziekte waaraan hij al enige tijd leed.

Hij ontving diverse prijzen, waaronder de Multatuliprijs en de Busken Huetprijs. In 1986 werd zijn oeuvre bekroond met de Constantijn Huygensprijs en in 2001 met de P.C. Hooftprijs. In 2005 ontving hij een eredoctoraat aan de Vrije Universiteit Amsterdam.