Yanagida kwam in opspraak toen hij tijdens een bijeenkomst in het kiesdistrict Hiroshima zei dat het makkelijk is om minister van Justitie te zijn, omdat hij „maar twee zinnetjes hoeft te onthouden” die hij kan gebruiken om lastige vragen van het parlement te ontduiken. Die zinnetjes waren volgens hem: „Ik onthoud mij van commentaar op individuele gevallen” en „ik handel adequaat, op basis van de wet en het bewijs”.

De conservatieve oppositie meldde daarop een motie van afkeuring tegen Yanagida voor te bereiden. Die motie zou weliswaar niet bindend zijn, maar het signaal zou wel een klap betekenen voor het Japanse kabinet, dat voor grote bezuinigingen staat. In overleg met premier Naoto Kan besloot Yanagida daarom op te stappen.