也就从这时开始，金璧辉同日本军方之间有了嫌隙。金璧辉倚仗自己是“日本通”，当有人向她送礼，求她保释被日本宪兵抓捕的中国人时，她常常是帮助的，径直去宪兵队要人，她还动手打过日本宪兵，这在伪满州国里是绝无仅有的事。搞得日本军方很头痛，终于在1934年，把金璧辉送回日本。
一个中国人被送回日本“祖国”，这实在有些可笑，这种事也只有在金璧辉——川岛芳子这个复杂人物的身上才会出现。
在日本压抑的社会环境里，金璧辉是呆不下去的，1939年她又偷偷地回到了中国，住进天津日租界的石公馆。抗日战争开始后的两年里，金璧辉在华北可以说是很有势力的人物。像多田骏，此时已升任日本驻华北派遣军司令，像日本侵华总司令火田俊六、关东军参谋长笠原竹雄等人都与她有来往。