某建筑施工分包單位只有55人，根據《安全生產法》，該單位只需要配備兼職的安全生產管理人員。