Der Bach „Rhina“, von dem das Dorf seinen Namen ableitet, wird bereits in der Schenkung des Waldo von 801 erwähnt, als er ein Stück Land dem Kloster Fulda schenkte.

Von dem Dorf wird noch nichts erwähnt. Erst bei der Grenzbeschreibung des „Eherinforstes“, über den Kaiser Heinrich der II. im Jahr 1003 dem Kloster Hersfeld den Wild-bann verlieh, wird der Ort „Rhinaha“ erwähnt. 1415 wird der Ort „Ryna“ geschrieben und im Jahr 1501 „Reyn“. 1396 war das Dorf wüst. 1409 wurde das Dorf von Hessen teilweise in den Verwaltungsbezirk Hauneck einbezogen. Das Unterdorf mit der Haunemühle unterstand den Herren von Trümbach. Sie waren hier vermutlich längere Zeit Grundherren, denn in der Kirche zu Rhina befinden sich zwei Grabsteine von Junkern von Trümbach. Nach dem 30jährigen Krieg wurde der Ort langsam wieder aufgebaut. 1747 sind nur 7 Haushaltungen aufgeführt. 15 Rhinaer folgten Napoleon auf dem Zug nach Russland. Nur einer davon kehrte elend und zerlumpt zurück. Im Dorf waren vielleicht schon seit dem 14. Jahrhundert Juden ansässig. 1829 stieg ihre Zahl auf 190, 1895 auf 322. Noch im Jahr 1920 war Rhina der einzige Ort in Preußen mit überwiegend israelitischer Bevölkerung. Diese Bevöl-kerungszunahme der Juden ist ver-mutlich auf die Ausweisung aus Fulda Ende des 19. Jahrhunderts zurückzuführen. Der gemeinsame Begräbnisplatz für die Juden in der Ritterschaft war zunächst Burghaun, später legten die Gemeinden Langenschwarz, Rhina und Wehrda eigene Friedhöfe an. Zahlreiche Grabsteine aus dem 19. und 20. Jahrhundert sind dort vorhanden. Der Judenfriedhof ist heute das einzige Andenken an die ehemalige jüdische Bevölkerung. Nach der Reformation wurde Rhina Pfarrerstation bis im Jahr 1570 der Sitz der Pfarrei nach Wehrda verlegt wurde. Die evangelische Kirche ist ein klassizistischer Rechteckbau mit drei Fensterachsen aus dem Jahr 1814. Im Kirchturm hängt eine der ältesten Glocken des Altkreises Hünfeld aus dem 14. Jahrhundert.

1966 wurde die Ortschaft durch Hochwasser stark in Mitleidenschaft gezogen und zum Katastrophengebiet erklärt. Kurz vorher war das Dorfgemeinschaftshaus gebaut worden, das dann ca. 1,20 m unter Wasser stand.