Yosef was van 1973 tot 1983 de opperrabijn van de Sefardische Joden, de Joden die afkomstig zijn uit landen in het Midden-Oosten en Noord-Afrika, zoals Marokko en Irak.

De in Irak geboren Yosef was 4 toen hij in Jeruzalem aankwam. Hij ging in 1947 naar Egypte, waar hij het tot plaatsvervangend opperrabbijn bracht. In 1950 keerde hij in Jeruzalem terug. Yosef veroorzaakte opschudding met zijn uitspraken over Palestijnen. Zo zei hij dat Palestijnen door God op aarde waren gezet om Joden te dienen. Ook riep hij ooit op tot het „zonder genade” vernietigen van Palestijnen. Critici noemden hem om zulke uitspraken Israëls ayatollah.

Yosef richtte in 1984 de ultra-orthodoxe partij Shas op, die lange tijd een belangrijke rol in Israëlische regeringen speelde en regeringen kon maken en breken. De partij zit nu in de oppositie en kon niet voorkomen dat het huidige kabinet met een wetsvoorstel kwam dat ultraorthodoxe joden niet langer van de dienstplicht vrijstelt.

Het Ivriet dat Ovadia sprak, was door het zware Arabische accent voor velen moeilijk te verstaan, maar Shasleden hadden er minder moeite mee. Zij zogen zijn uitspraken over de politiek en de godsdienst in alsof het goddelijke geboden waren.

Yitzhak, een van de elf kinderen van Yosef, is nu de Sefardische opperrabbijn.