日常法律问答解答参考：
借款合同约定仲裁，借款人原则上不可以起诉对方，只能按照合同约定向约定的仲裁机构申请仲裁。但如果该仲裁约定无效，或申请仲裁后仲裁委员会不予受理的，借款人可以向人民法院起诉。
相关法律：
《中华人民共和国仲裁法》 第三条
下列纠纷不能仲裁：
婚姻、收养、监护、扶养、继承纠纷；
依法应当由行政机关处理的行政争议。
《中华人民共和国仲裁法》 第四条
当事人采用仲裁方式解决纠纷，应当双方自愿，达成仲裁协议。没有仲裁协议，一方申请仲裁的，仲裁委员会不予受理。
《中华人民共和国仲裁法》 第五条
当事人达成仲裁协议，一方向人民法院起诉的，人民法院不予受理，但仲裁协议无效的除外。