刘某妻子早亡，留下两个年幼的儿子由刘某抚养长大。长子大刘成家后便对刘某不闻不问。刘某一直与次子小刘生活在一起。小刘对刘某孝顺有加，刘某则自书遗嘱将房屋和存款留给小刘，并将遗嘱交给小刘保管。小刘拿到遗嘱后似乎变了一个人，把刘某视为累赘，不愿意继续照顾年迈的刘某。邻居丁某是个热心肠，经常对刘某进行照顾，刘某甚是感动，后悔将财产留给小刘。于是刘某与丁某协商后签订了一份遗赠扶养协议，将自己的房屋留给丁某，丁某承担老人的生养死葬，并且对遗赠扶养协议进行了公证。
问题：刘某的遗产应该如何处理?为什么?