Ymunodd Elfed Davies â'r Blaid Lafur ym 1929. Daeth yn aelod gweithredol o Blaid Lafur Etholaethol Dwyrain y Rhondda a Phlaid Lafur Bwrdeistref y Rhondda. Ymunodd hefyd â'r Gymdeithas Gydweithredol Gyfanwerthol (Co-operative Wholesale Society) ym 1940. Roedd hefyd yn aelod o Frigâd Ambiwlans Sant Ioan, 1926-46, yn aelod o Gyngor Sir Morgannwg, 1954-61, ac yn gadeirydd ei bwyllgor llywodraeth leol, 1959-61. Davies oedd AS Dwyrain y Rhondda yn y Senedd rhwng 1959 a 1974 pan ymddeolodd o'r senedd adeg creu un etholaeth unedig sengl ar gyfer cwm Rhondda. Ei olynydd fel AS Llafur y Rhondda oedd T. Alec Jones. Etholwyd Davies yn ysgrifennydd Grŵp Seneddol y Glowyr ym 1964, ac ef oedd cadeirydd y Blaid Seneddol Gymreig, 1968-69. Fe fu'n ysgrifennydd seneddol preifat, Tachwedd 1964-Mehefin 1968, i'r Gwir Anrhydeddus R. J. Gunter, y Gweinidog Llafur ac yn ddiweddarach y Gweinidog Ynni. Ym 1974 crewyd ef yn Farwn Davies o Bendyrus (arglwyddiaeth am oes). Roedd yn aelod rhan amser o Fwrdd Trydan De Cymru, 1974-80, ac yn aelod o Gyngor Chwaraeon Cymru o 1978. Gwnaethpwyd ef yn Rhyddfreiniwr Bwrdeistref Abertawe ym 1975. Ei ddiddordebau oedd rygbi, pêl droed a chriced. Priododd ar 16 Rhagfyr 1940 Gwyneth, merch Daniel ac Agnes Janet Rees, a bu iddynt ddau fab ac un ferch. Bu ei wraig farw cyn yr Arglwydd Davies. Eu cartref oedd Maes-y-Ffrwd, 18 Ffordd Glyn Rhedynog, Pendyrus yng Nghwm Rhondda. Bu farw yn Ysbyty Llwynypia ar 28 Ebrill 1992 ar ôl dioddef gan glefyd y fron am nifer o flynyddoedd. Llosgwyd ei weddillion yn Amlosgfa Glyn-taf, Pontypridd.