Jim Brown wurde am 2. August 1976 in Austin, Texas geboren.
Mit sechs Jahren trat Jim den Boyscouts (Pfadfindern) bei und lernte bereits früh, wie man verantwortungsvoll mit der Natur, Feuer und Lebensmitteln umgeht. Auch der See hat ihn seit Kindertagen fasziniert, und so ist es nicht verwunderlich, dass er sich immer sehr auf die Kanu Touren mit seinem Vater gefreut hat.
So oft es ging, wenn das Restaurant geschlossen hatte, versuchte Jim seinen Vater dazu zu bewegen mit ihm das Kanu zu Wasser zu lassen um den Lake Travis und die entlegensten Winkel des Colorado River zu erkunden. Jim war ein glückliches Kind, aber todtraurig als sein Großvater im Jahr 1994 verstarb. Jims Schulzeit könnte man als „normal“ bezeichnen. Er hatte eine Schwäche in Geschichte, tat sich aber in Physk und Spanisch mit Bestnoten hervor. Außerdem war er Mitglied im Kochclub seiner High School.
Anstatt auf die Universität zu gehen beschloss Jim diverse Kurse an Community Colleges zu besuchen (darunter Unternehmensführung, BWL und auch weitere Kochkurse) um seinen Eltern gleich nach der Schule im Restaurant aushelfen zu können. Im Juli 1997 musste die Familie Brown einen schweren Schlag verkraften, als die Überflutungen am Lake Travis das Restaurant und das Heim der Familie schwer beschädigten.
Die Familie beschloss, dass es zuerst wichtiger war das Wohnhaus wieder auf Vordermann zu bringen, was zur Folge hatte, dass das Familienrestaurant von Juli 1997 bis zum Herbst 2001 geschlossen blieb. 1998 beschloss Jim, dass es Zeit war etwas vom Rest der USA zu sehen und sich Kochgeheimnisse aus allen Ecken Amerikas anzueignen. Er machte das alte Auto seiner Mutter flott und machte sich auf den Weg, um in den verschiedensten Orten und Restaurants in Mexiko und den USA zu jobben.
An der Ostküste in der Stadt Charleston lernte er Angela Willow kennen, mit der er sich auf Anhieb verstand. Sie studierte an der Universität um Grundschullehrerin zu werden und besuchte nach einer Weile Jim fast jeden Tag in dem BBQ Restaurant, in dem er als Hilfskoch arbeitete. Als er Charleston verließ und zurück in Richtung seiner Heimat aufbrach, blieben sie in Kontakt und zwei Jahre später, als im Herbst 2000 der Wiederaufbau des Familienrestaurants losging, folgte Angela Jim nach Texas, wo sie ihn nur ein Jahr später, knapp vor der Wiedereröffnung, heiratete. Jim, der seinem Vater versichert hatte, dass er eines Tages nach seiner Ausbildung den Familienbetrieb übernehmen würde, war maßgeblich am Wiederaufbau und Design des neuen Restaurants beteiligt und konnte seine Ideen und Innovationen in den Neubau einbringen.
Weiters zeichnet sich das Familienrestaurant Uncle Jim’s noch durch Regionalität und eigens hergestellte Saucen aus. Jim legt großen Wert darauf, die Lieferanten persönlich zu kennen und genau zu wissen, woher das Fleisch für sein Texas BBQ stammt. Im Jahr 2008 wurden Jims Kinder, die Zwillinge Jeremy und Jessica geboren. 2014 stieß Familienhund Buster, ein deutscher Schäferhund, zur Familie hinzu.