Но разве это не оборот, тесно примыкающий к сказуемому («поговорим по-мужски», «поговорим именно как мужчины, а не как коллеги, соседи или соперники», а не «поговорим так, как говорят мужчины»)?
Update: Поговорим как мужчина с мужчиной. Подавляющим большинством голосов.