ประวัติการตั้งถิ่นฐานของชาวเกาะยาวไม่ปรากฏหลักฐานที่ชัดเจน แต่มีการเล่าสืบกันมาว่า เป็นกลุ่มชาวมุสลิมจากตรังและสตูลมาเป็นทหารช่วยรบกับพม่า เมื่อประมาณปี พ.ศ. 2328ในสมัยรัชกาลที่ 1 เมื่อสิ้นสุดสงครามบางส่วนไม่กลับและตั้งหลักแหล่งทำมาหากินมาจนปัจจุบัน การเรียกชื่อเกาะยาว อาจเป็นเพราะลักษณะภูมิประเทศที่ยาวของเกาะยาวน้อย และเกาะยาวใหญ่จากสำเนียงที่พูดคาดว่าบรรพบุรุษของชาวเกาะยาวน้อยมาจากจังหวัดตรัง ส่วนชาวเกาะยาวใหญ่จะมาจากจังหวัดสตูล ในช่วงเริ่มต้นคาดว่าจะดำรงชีวิตด้วยการประมง จากนั้นก็บุกเบิกที่ดินสร้างที่นาและสวนยางพารา  

               เกาะยาวน้อย เป็นที่ตั้งของส่วนราชการในระดับอำเภอมีทั้งหมด 7 หมู่บ้าน 1 อบต. และ 1 เทศบาล มีระบบการปกครองท้องถิ่นทั้งแบบเทศบาลและอบต.ประชากรเกาะยาวมีประมาณ 5000 คน และ1800 ครอบครัว ประชากรส่วนใหญ่นับถือศาสนาอิสลาม