Seine erste Filmrolle hatte Oleg Jankowski im Jahr 1968 im Weltkriegsdrama Schild und Schwert. Seitdem war er in über 70 Filmproduktionen zu sehen, darunter auch in Filmen von Andrei Tarkowski und Mark Sacharow.
Jankowski glänzte auf der Bühne des Moskauer Lenkom-Theaters. In Tarkowskis "Der Spiegel" spielte Jankowski die Hauptrolle, doch beim breiten Filmpublikum war er vor allem durch die von Filme "Genau jener Münchhausen" und "Ein gewöhnliches Wunder" von Mark Sacharow beliebt. Im letzten Herbst wurde bei Jankowski Bauchspeilchendrüsenkrebs diagnostiziert.
Seine letzte Filmrolle war im Film "Der Zar" von Pawel Lungin, wo er den Mitropoliten Filipp spielte. Der Film wurde auf dem Festival von Cannes uraufgeführt, was der Schauspieler nicht mehr erlebte.
