Согласиться можно со всем: либо с точкой зрения собеседника, либо с тем, что собеседник имеет право на собственное мнение.
