大纳言大伴御行回到家中，便将家里的人和门客全部召集到一块，告诉他们
“在西方的阿瓦隆有一棵五彩斑斓的树，倘若你们有人能够将一根树枝折下来给我，要什么样的赏赐都是可以的。”
于是下面的人一听，相互对视几分，叹息道
“大人的提议当然是很好的，赏赐可谓是丰厚十分，但是这样的树，想必是极难寻见的，这又要去什么地方才能找得到呢？”
大纳言将他们彼此哀叹的模样收入眼中，极为不满地开口
“我是大伴家的主人，你们这些作为我家人的，为了完成主人的愿望和要求，就算是舍弃生命也是理所当然的，怎么能发出这样的哀叹呢。更何况，我已经告诉你们了，便在西方的阿瓦隆就有着那样神奇的树木，只需要折下一根树枝便可以了，这是什么难事吗？”
于是他们无可奈何，只能点点头说
“既然如此，那也就没有办法，无论是怎样难得的宝物，我们也都只有去寻找了。”
“这才像话，我大伴家的人，可是天下闻名的，又怎么会违背我这个主人的意愿呢？”
大伴御行将家中的珍贵丝绢和玉帛分发给这些人，当作是他们寻找树枝的路费，然后告诉他们
“你们便去寻找吧，但是倘若寻不到，便不要回来了，我就在家中等你们，日日吃斋念佛为你们祝福，等待你们归来。”
这话当然谁听了都会不高兴，大伴御行的家人们便出门离开，他们前脚刚离开大伴家，后脚便聚成一团开始商讨。
他们心想，大伴御行让他们去西方取什么阿瓦隆的树枝，这种东西要怎么去取得呢，都不知道在多么遥远的地方，只说是在西方，这根本是取不到的东西，既然取不到就不能回去，那便不回去了。
于是他们便各自随心所欲地分散开，拿了大伴御行赐下的财物，有的回去家乡了，有的则不知道去哪了，总之到最后，也没有一个人愿意乘船去西方找什么阿瓦隆的树枝。不光没人愿意去找那件东西，他们b还各自在路上遇到人询问，便咒骂大伴御行，说
“不管是主人家还是什么衣食父母，说这样没道理的话，就是胡说八道了，叫我们能够怎么办呢？”
大伴御行自己当然是不知道这件事的，他甚至在家里只想着等这些人带着东西回来，他便好拿着这五彩斑斓晶莹剔透的树枝去迎娶辉夜姬。
猛然间，他看到自己的房屋，思索便觉得，给辉夜姬住这样的屋子实在是太不像话，便开始筑造一间新的奢华的房屋，涂上各式各样的漆彩，镶嵌诸多的装饰，再挂上美丽的丝带，认为这样的屋子才能配得上辉夜姬的容貌。
甚至于，为了迎娶辉夜姬，大伴御行还遣散了自己的妻子和小妾们，无论是什么样的事情都不再过问，一心一意为了辉夜姬做准备，由此展现自己的诚心。
不说这个傻瓜，且说大伴御行的家人们，不管大伴御行是怎样的焦心等待着，时间过去一年又一年，却也没有见到哪怕是一个人回到大伴家来向他复命。
他实在是焦心得等不下去了，便找了两个随身的侍从，悄悄地来到西方的航船停靠的岸港，询问渔夫们可曾知晓那些人的下落，他找到一个渔夫便问
“大伴家的人，乘了船前去西方取阿瓦隆的树枝，这消息你可听说过？”