某建筑工程公司通过招投标方式承揽了某工厂车间主体工程，比方签订了建筑工程合同， 建筑公司按合同约定交纳了履约保证金50万元。工程开工前，建筑公司与工人签订了内部协议，约定施工过程中如发生质量和安全事故，工人工资将被完全扣除。

施工过程中，因下雨基坑塌方，致使正在浇注的混凝土基础被埋，3名工人被砸成重伤，基础工程因质量问题而返工。经调整施工计划，公司按合同要求按时完工，并进行了竣工验收。

竣工结算时，工厂以基础工程因质量问题返工为由拒付建筑公司的履约保证金，建筑公司也经基础工程的质量问题和安全事故为由拒付工人工资和工伤补助金，请从合同的角度分析工厂和建筑公司的做法是否正确？工人能领到自己的工资和工伤补助吗，说明理由？