Wedi iddo fod yn y Camberwell Collegiate School ac yn King's College , Llundain , rhoddwyd James Conway Brown i ddysgu gwaith meistr gwaith haearn yn yr Ebbw Vale Iron Works o dan ei ewythr, Thomas Brown , pen rheolwr y gwaith hwnnw. Rhoes fwy o sylw i gerddoriaeth nag i'r gwaith haearn, ac fe'i ceid yn cymryd rhan mewn cyngherddau — yn canu'r ffidil neu'r piano . Chwaraeai ar yr organ mewn lleoedd o addoliad ac wedi iddo ddyfod yn swyddog yn y Monmouthshire Rifle Volunteers byddai'n aml yn chwarae ym mand seithfed fataliwn y gwirfoddolwyr hynny. Yn 1861 aeth i'r Millwall Ironworks , Llundain , eithr ar gerddoriaeth yr oedd ei fryd o hyd. Dewiswyd ef yn organydd eglwys Aldershot yn 1869 , yn organydd eglwys Hale , gerllaw Fanham , yn 1875 , ac i swydd gyffelyb yn eglwys Farnham ei hunan yn 1879 . Cystadleuai mewn eisteddfodau gan ennill am anthem, caneuon, a rhanganau — e.e. yn Caerfyrddin a Rhuthyn ; enillodd am anthem yn eisteddfod genedlaethol 1886 . Ychydig cyn hynny yr oedd wedi cyhoeddi ei sonata yn E major i ffidil a phiano y dyfarnesid iddo wobr Syr Michael Costa yn Trinity College of Music , Llundain , o'i phlegid.