個人の所得税調査について質問です。

 現在個人の土地に同族法人の建物が建っていて、使用貸借されてる状況です。
（その個人が100％株保有している法人）
 前提としてその建物は15年程前に第三者から購入されたもので、同族法人が購入以前は、個人が第三者から地代家賃をもらっていました。

 調査官は過去第三者からは地代をもらっていて、同族法人所有後は使用貸借にすることに関して、行為計算否認に該当すると主張します。
なので地代分の不動産所得を修正せよと主張します。

 使用貸借自体は問題ないかなと考えてるのですが、これに対しての反論方法はなにか考えられますか？
 よろしくお願いいたします。