Frei Xosé Rodríguez Carballo naceu en Lodoselo (Ourense) o 11 de agosto de 1953. En 1964 entrou no Seminario menor da Provincia Franciscana de Santiago de Compostela, en Castroverde de Campos (Zamora), onde frecuentou o primeiro ano do segundo ciclo de estudios, e do segundo ao quinto ano no Seminario de Herbón (A Coruña), mentres que o sexto cursouno no Convento franciscano de Canedo-Ponteareas (Pontevedra) .Iniciou o noviciado o 31 de xullo de 1970 e fixo os primeiros votos o 9 de agosto de 1971. Realizou a profesión solemne, en Xerusalén, o 1 de xaneiro de 1976 e foi ordenado sacerdote o 29 de xuño de 1977.
Xosé Rodríguez Carballo está licenciado en Sagrada Escritura polo Instituto Bíblico de Roma e en Teoloxía Bíblica en Xerusalén. Exerceu de profesor no Seminario Maoor de Vigo e na Facultade de Teoloxía de Santiago. Asimesmo foi maestro de novicios no convento de San Diego de Canedo (Pontevedra), superior do convento de Santiago de Compostela e ministro provincial da provincia franciscana de Santiago. Foi tamén Presidente da Conferencia de Relixiosos de Galicia, de 1989 a 1997. Entre 1997 e 2003 foi Definidor Xeral da Orde Franciscana, que o elixiu o seu Ministro Xeral o 5 de xuñoo de 2003.
O 7 de agosto de 2004, o papa Xoán Paulo II nomeou ao Cardenal Xulián Herranz Casado e ao frade franciscano Xosé Rodríguez Carballo membros da Congregación para la Evanxelización dos Pobos.
Ten publicados numerosos artígos de revista sobre a Vida Consagrada e Relixiosa, sobre Teoloxía Pastoral, sobre Sagrada Escritura e Teoloxía Bíblica e sobre espiritualidade franciscana. Colaborou na traducción da Biblia en galego traducindo o libro das Crónicas. Entre outras publicacións destacan os libros: “Parábolas” La Biblia (1991), e “San Francisco de Asís y la Vida Religiosa” BAC (2009).