树莓派交叉编译后显示Invalid module format

我是用ubuntu来做编译ko的机器，git clone的是github.com/raspberrypi/linux网站下的rpi-6.6-y这个分支，原因是它和我自己树莓派里uname -a显示的 6.6.51+rpt-rpi-v8是一样的，参考https://www.raspberrypi.com/documentation/computers/linux_kernel.html#build-the-kernel
网站做了build kernel，本人的树莓派为raspberry Pi 4B ,于是用了如图所示的
设定KERNEL为kernel8和make bcm2711_deconfig
我的问题是怎么我再Ubuntu上能够编译成功的ko，到树莓派上无法insmod？最后显示的是
我自己怀疑的点是：
1、我在Ubuntu上所编译的内核和树莓派所运行的内核不一致->导致显示invalid module format
2、设定的KERNEL为kernel8不对和make bcm2711_deconfig有问题->前置条件有问题
我自己树莓派的uname -a 如下图所示

我使用Ubuntu做编译的linux文件夹如下图所示