从 $1$ 到 $12$ 的数可以按行优先或列优先顺序排列为 $3\times 4$ 矩阵： $$R=\left(\begin{array}{cccc}1& 2& 3& 4\\ 5& 6& 7& 8\\ 9& 10& 11& 12\end{array}\right),C=\left(\begin{array}{cccc}1& 4& 7& 10\\ 2& 5& 8& 11\\ 3& 6& 9& 12\end{array}\right)$$ 每次交换两个元素，将 $R$ 变为 $C$ 至少需要交换 $8$ 次。

令 $S(n,m)$ 为将包含 $1$ 到 $nm$ 的 $n\times m$ 矩阵，从行优先顺序变为列优先顺序所需的最少交换次数。因此，$S(3,4)=8$。

已知，对所有 $2\le n\le m\le 100$，$S(n,m)$ 的和为 $12578833$。

求对所有 $2\le n\le m\le 100$，$S(n^4,m^4)$ 的和。