三人选择退守答志岛南部的桃取城，因为此地距离小浜景隆的居城小浜城较近，可以随时获得来自小浜家的支援。
而甲贺雅乐介在登上管岛后不久就感到异常后悔，因为管岛上并没有修筑任何的防御工事，更没有一座城池或兵砦，就连最普通的阵屋都还是反对出阵与上杉军交锋的管岛能登守的。
而管岛能登守可不想在眼下与橘宗忠一方的志摩诸将有任何的瓜葛，转身就向上杉军投降了。
最后，甲贺雅乐介在万念俱灰下就登上了管岛上最高的大山上，切腹自尽了。追随甲贺雅乐介来到大山之上的甲贺家家臣们在其切腹自尽后，为了能保住自己的生命，就在甲贺雅乐介尸骨未寒之际就将他的首级献给了才登岛不久的里见家家臣安西又助。
里见义弘这下不禁喜出望外，随着上杉军在尹势湾海战中反败为胜，以擅长海战扬名的里见家此次总算是保住了颜面。随后，里见义弘就率军击溃了残余的志摩水军众，使得北畠家最后的外援至此化为泡影。
在管岛能登守向上杉军投降后，仅仅过了两天的时间，里见义弘、九鬼澄隆、九鬼嘉隆等人就派战船将答志岛进行完全封锁，并兵临小浜城城外的沿海地带。
小浜景隆本就新败，本部的战船大都被上杉军缴获或击沉，根本无法击退前来进犯的上杉军，只好带着家卷立即弃城而逃，就算是途经橘宗忠的鸟羽城也不做任何停留，就于失湾逃往北畠家旗下东纪尹国人领主三鬼家（三木家）的领地进行藏匿。
虽然橘宗忠此时还不死心，仍然打算召集志摩诸将再度与上杉军一战。但很快他就发现青山丰前守（和具丰前守）、越贺隼人等志摩有力武将纷纷向上杉军的总大将里见义弘送去了降书，都做好了迎接上杉军的准备，可以说人心彻底散了。
永禄四年，十月。
橘宗忠不忍看到举族覆灭，只好开城向上杉军投降了。
但出人意料的是，里见义弘并没有急于处决这个与九鬼澄隆、九鬼嘉隆等九鬼一族有着血海深仇的志摩水军众旗头，反而令他剃发出家。毕竟，上杉家不会轻易加害主动投降之人，除了那些民怨极大之人。
由于小浜城、鸟羽城、浦城等地皆是邻近海岸的城池，固守在桃取城的三浦新助、加茂左卫门、安乐岛越中守三人可以说是看得清清楚楚，他们再也没有了坚守下去的信心，若是继续负隅顽抗下去，最后只会是城破人亡。而且，桃取城城中的存粮并不多，根本无法供守军支撑十天的时间。
故而，三浦新助、加茂左卫门、安乐岛越中守三人自知与九鬼澄隆、九鬼嘉隆等九鬼一族有着宿怨，为了让麾下城兵皆能保留一命，他们就在城中本丸的大广间里先后切腹自尽了。
至此，志