巴瑶族的活动区域在国家之间的边境海域，他们不属于哪个国家，也就没有属于那个国籍一说，所以合法的身份登岸。另一方面因为一直在海上漂泊的巴瑶族人习惯了海里的生活环境，在陆地上会产生不舒服的身体反应。还有就是和传说有关，可能他们的祖先有交代不允许登岸。综合这些原因巴瑶族人只能生活在海上。

关于巴瑶族的传说有很多的版本。

版本一：沙巴萨玛传说讲述，巴瑶族起源于柔佛州苏丹的皇家卫队，马六甲王国被一次风暴肆虐后，他们在东海岸的婆罗洲定居下来。

版本二：他们护送苏丹的新娘，路上被文莱苏丹将新娘绑架，因无法完成任务，就在海边住了下来。

不管是什么原因，事实就是他们在300年前就开始生活在菲律宾、马来西亚和印度尼西亚之间海域。多数人潜海捕鱼为生，常被称为海上吉普赛人，被认为是最后一支海洋游牧民族。

巴瑶人数百年来，世世代代生活东南亚海域，甚少踏足土地。

巴瑶人住在高高架在海上的木屋内。每天清晨，巴瑶的男人们就早早起床出海捕鱼，孩子们就在屋子周围的海域戏耍玩闹。

每有游船到访，就会有成群的巴瑶孩童妇女，划着小船来乞讨食物。他们那种饥饿的眼神就像非洲难民。

巴瑶族人是自由潜泳的高手，能潜到30米甚至更深的海域捕深海鱼，寻找珍珠以及海参。

巴瑶人仿佛是被世间遗弃的族群，又好像是被特殊地保护在这片伊甸园里。据说这片海域几百年从未遭遇台风海啸。