Kunigas, poetas, lietuvybės puoselėtojas, Pušalote kunigavęs 1886–1896 m. ir čia palaidotas.
Gimė 1842 m. sausio 13 d. Naniškiuose, Pandėlio vlsč., Rokiškio r., valstiečių šeimoje. Baigęs Panevėžio gimnaziją, 1862–1868 m. mokėsi Varnių dvasinėje seminarijoje (1864 m. tardytas dėl ryšių su sukilėliais, išteisintas). Kunigu įšventintas 1869 m.
1869–1881 m. tarnavo vikaru Kupiškyje. Įsijungė į švietėjišką darbą, platino lietuvišką spaudą. Kunigo A. Juškos paskatintas pradėjo užrašinėti lietuvių liaudies dainas.
1881–1886 m. buvo Joniškėlio parapijos klebonas. Bendravo su tuo metu Joniškėlyje gyvenusia G. Petkevičaite-Bite.
Nuo 1886 m. iki 1896 m. dirbo Pušaloto parapijos klebonu, o nuo 1896 m. iki mirties – altaristu. Tuo metu Pušaloto klebonai būdavo ir Šeduvos dekanais, aptarnaudavo ir Spirakių filiją.
Pušalote tęsė lietuvybės veiklą, aukojo „Žiburėlio“ draugijai, pas kleboną lankydavosi knygnešiai, vasaras leisdavo studentai, moksleiviai.
Kūrė eilėraščius, kuriuos rašė rytų aukštaičių tarme. Dainų ir eilėraščių rinkinėlyje, rašytame apie 1880–1890 m., rasti du jo eilėraščiai: „Širdingi ir laisvi turbūt vakarėliai“ (inicialai K. P. R.) ir „Tykus buvo vakarėlis“ (inicialai K. Pet-Rimk). Manoma, kad kai kurie A. Vienažindžiui priskirti eilėraščiai yra sukurti P. Rimkevičiaus. Eilėraštį „Tykus buvo vakarėlis“, virtusį daina, harmonizavo kompozitoriai S. Šimkus, J. Švedas ir kt.
Mirė 1907 m. gruodžio 20 d. Palaidotas Pušaloto bažnyčios šventoriaus kapinėse.