สมเด็จพระนางเจ้ารำไพพรรณี พระบรมราชินีใน พระบาทสมเด็จพระปกเกล้าเจ้าอยู่หัวรัชกาลที่ 7
ได้เสด็จนิวัติประเทศไทยเมื่อวันที่ 24 พฤษภาคม พ.ศ. 2492 และได้เสด็จพระราชดำเนินมาประทับ
ณ พระตำหนักของสมเด็จพระมหิตลาธิเบศรอดุลยเดชวิกรมพระบรมราชชนก ณ วังสระปทุม
เนื่องจากรัฐบาลยังมิได้ถวายวังศุโขทัยคืน ต่อมาทรงมีพระราชดำริที่จะประทับในท้องถิ่นที่เงียบสงบ
อากาศดี และสามารถปลูกต้นไม้ได้ พลตรีหม่อมทวีวงศ์ถวัลยศักดิ์ ราชเลขาธิการสำนักพระราชวังในสมัยนั้น
ได้ถวายคำแนะนำให้ทรงเลือกเชียงใหม่ หรือจันทบุรี พระองค์ได้เสด็จพระราชดำเนินไปทอดพระเนตรพื้นที่
ในจังหวัดเชียงใหม่และจันทบุรี ทรงเห็นว่าเชียงใหม่ไกลกรุงเทพฯมาก หากมีพระราชภารกิจที่กรุงเทพฯ
จะเสด็จพระราชดำเนินไม่สะดวก พระองค์ทรงสนพระราชหฤทัยจังหวัดจันทบุรีเพราะทรงพบที่ดินบริเวณสวนบ้านแก้ว
ตำบลท่าช้าง อำเภอเมือง จังหวัดจันทบุรี ซึ่งเป็นสถานที่มีธรรมชาติงดงามและมีความเงียบสงบ
เป็นที่ต้องพระราชอัธยาศัยของพระองค์ อีกทั้งไม่ห่างไกลจากตัวเมืองมากนัก

          สมเด็จพระนางเจ้ารำไพพรรณีทรงกู้เงินจากธนาคารไปจัดซื้อที่ดิน บริเวณสองฝั่งคลองบ้านแก้ว
จากเจ้าของที่ดินเดิมหลายรายรวมพื้นที่ 687 ไร่ แล้วพระราชทานชื่อว่า " วังสวนบ้านแก้ว "
โดยมีพระราชประสงค์ให้สวนบ้านแก้วเป็นสถานที่ปลูกพืช และเลี้ยงสัตว์ เพื่อเป็นตัวอย่างแก่พสกนิกร
นอกจากนี้ยังได้ทรงพัฒนาการทอเสื่อจันทบูร อันเป็นหัตถกรรมพื้นบ้านของชาวจันทบุรีให้เจริญก้าวหน้ากว่าเดิม พระองค์ได้เสด็จพระราชดำเนินพร้อมด้วยข้าราชบริพารมาประทับครั้งแรกโดยสร้างอาคารชั่วคราว
เป็นเรือนไม้ไผ่หลังคามุงจาก เมื่อวันที่ 20 มิถุนายน พ.ศ. 2493 ซึ่งในขณะนั้นยังไม่มีไฟฟ้าและน้ำประปา
พระองค์ประทับเรือนไม้ไผ่ประมาณ 3 ปี

          จึงได้โปรดเกล้าฯให้สร้างเรือนไม้หลังเล็ก ๆ 2 หลัง เรียกว่า เรือนเทา เรือนแดง
และสร้างเรือนแบบบังกะโล 1 หลัง พระองค์ประทับเรือนเทา ส่วนเรือนแดงสำหรับข้าราชบริพาร
เรือนเขียวสำหรับราชเลขานุการในพระองค์ และพระราชอาคันตุกะ ต่อมาอีก 2 ปี
พระองค์โปรดเกล้าฯให้สร้างพระตำหนักใหญ ่ (ตำหนักเทา) ซึ่งใช้ เวลาสร้างเกือบ 3 ปี
และสร้างพระตำหนักดอนแค (พระตำหนักแดง)ในเวลาต่อมา