個人的には、音韻体系の違いの方が学習初期段階では苦労した印象です。文法は複雑でも、ルールとして体系化されていれば地道に学べるのですが、音が自分の母語に存在しないと、聞き取りそのものが難しくて。発音も同様で、舌の位置や息の出し方など、物理的にできない動きがあると、何度練習しても改善に時間がかかりました。

ただし、中期以降は複雑な文法の方が問題になる傾向を感じます。音韻は反復練習である程度克服できますが、文法の例外や微妙なニュアンスの違いは、実際の使用場面に触れ続ける必要があるので、習得期間が長くなりがちです。結局のところ、どちらが「学びづらいか」は学習段階や個人差に左右される気がしますね。