A We Are Augustines 2010-ben alakult a Pela nevű zenekar romjain. Nevüket onnan kapták, hogy a zenekar két tagja (Bill McCarthy, Eric Sanderson) augusztusban született. A Pela feloszlása után így jött létre a We Are Augustines nevű duó, melyhez később csatlakozott Rob Allen dobos. Debütlemezük, a Rise Ye Sunken Ships júniusban jelent meg saját kiadásban, a produceri munkákat Dave Newfield végezte, aki korábban már dolgozott a Broken Social Scene anyagain is. Az első single a Chapel Song lett, melyhez egy klipet is készítettek.
