Kralj Lajoš upao je u Srbiju u leto 1354. god. Da ga suzbije, Dušan je krenuo na sever i u avgustu već se nalazio pod Rudnikom, u Brusnici. Po svoj prilici radi ovih verskih pitanja, car je pozvao patrijarha Janićija u Žiču, da se s njim posavetuje. Patrijarh se tu razboleo i na povratku u Peć umro je u Polumiru na Ibru, 3. septembra. Posle Dušanova dolaska mađarska je ofanziva zaustavljena. Lajoševa vojska stradala je, sem od Srba, još i od neke zaraze, od koje je umro i sam kraljev brat, hrvatsko-dalmatinski herceg Stevan. Posle njegove smrti mađarska vojska povukla se iz Srbije bez ikakva uspeha. Dušan nije mogao da protiv nje preduzima jače mere jedno s toga, što se žurio na jug, gde su se događale stvari od presudnog značaja, i drugo, možda, s toga, što nije hteo da jačim protivnapadom izaziva Mađare na osvetne borbe.
Ljut radi ovog mađarskog napada, Dušan nije hteo da skriva svoje ogorčenje pred papinim izaslanstvom, koje mu je stiglo negde u martu 1355. god. Biograf biskupa Tome daje vrlo zanimljiv opis tog sastanka. Dušan je, veli on, bio "telom veći od svih ljudi na svetu ovog vremena i strašan u licu." Papine poslanike dočekao je oholo, opkoljen vlastelom i vojskom, i dao im je odmah do znanja, da je od lanjske godine izmenio svoje držanje. Biograf kazuje, da je zbog careve srdžbe sam biskup Petar bio u opasnosti. Dušan je čak zabranio svojim katolicima u vojsci, da nipošto ne smeju prisustvovati misama, koje je biskup služio. Kad je, za inat, "želeći smrt da bi se umnožila katolička vera", biskup jedno jutro odslužio misu, pozvavši na nju sve verne, i kad je uprkos zabrane, na nju došli nemački najamnici, car se beše razgnevio još više. Ali se umirio prividno dosta brzo, kad mu je vođa najamnika, verovatno Palman, izjavio, da su oni spremni, za odbrani vere ne pretrpeti kaznu nego ući i u borbu. Takvo držanje biskupovo, u njegovoj zemlji, uticalo je na Dušana, da potpuno odustane od ranije namere. Ozlojeđen zbog propale misije, biskup je iz Srbije, na povratku kući, krenuo kralju Lajošu i tražio od njega da rat nastavi svom žestinom.
Kralj Lajoš se, doista, počeo spremati na Srbe, ali ne mogade tokom 1355. god. preći u napadaj. Možda nije imao ni prave volje da primi borbu s Dušanom, čiju je snagu znao i video. Sem sa Srbijom on je rđavo stajao i sa Mletačkom Republikom, nešto zbog mletačkih veza sa Srbima, a mnogo više zbog njenog učvršćivanja u Dalmaciji. Zbog izvesnih gradova u Dalmaciji, posebno zbog Klisa i Skradina, koji su pripadali Šubićima, odnosno Dušanovoj sestri Jeleni, udovici Mladena III, bilo je dosta pregonjenja i pregovaranja. Te gradove su hteli i Mlečani i Mađari i Bosanci, dok je Dušan želeo da ih očuva sestri kao svojoj saveznici, možda kao strateške tačke prema Bosni, sa njene zapadne strane. Dušanova vojska ušla je 1355. god. u te gradove. Kako car nije hteo nikakva sukoba s Mlečanima, on je, videći njihovu nesavladivu želju da dobiju te gradove, pristao da njegova sestra povede pregovore o prodaji. Videći neraspoloženje skradinskog građanstva protiv svojih ljudi, a čuvši možda i za carevu smrt, njegov vojvoda Đuraš Ilić predade taj grad Mlečanima 10. januara 1356. god., kako mu car beše ranije naredio. Grad Klis preoteli su Mađari.
Dušan se nadao da će mu događaji u Vizantiji iz druge polovine 1354. god. znatno pomoći da se približi svom davnom cilju. Borbe između starog Kantakuzena i mladog cara ne behu završene padom prvoga. Očevu borbu nastavili su Kantakuzenovi sinovi, iako su dobro osećali koliko im uspehu smeta ogorčenje koje je zavladalo protiv njihova oca. U širokom narodu, koji je najviše stradao, strah od Turaka pretvarao se ponegde u paniku. Jedan mletački izveštaj iz Carigrada od 6. avgusta 1354. govorio je, da bi tamošnji građani pristali i na tuđu vlast, čak i na mletačku ili srpsku, samo ako bi ta mogla da ih zaštiti od azijatskog saveznika. S toga, u času, kad su događaji u Vizantiji mogli dobiti kakav nenadni, po Srbe povoljni, obrt, Dušanu je palo vrlo teško, što je morao da se zapliće u nove sukobe s Mađarima. Tim treba objasniti sem onog nepreduzimanja protivnapada na Mađare i ovu predusretljivost prema Mlečićima u Dalmaciji. Njegova je glavna pažnja bila na jugu. Odatle, u jednoj povelji od 5. decembra 1355., imamo i poslednji pomen o njemu i njegovu radu. Dve nedelje docnije, 20. decembra, Silni Car Dušan bio je već pokojnik. Umro je iznenada, ne zna se od čega, u najboljoj muškoj snazi, i u vreme kad je srpskoj državi i hrišćanskom Balkanu uopšte trebala jedna centralna volja najapsolutnijih kvaliteta. Dušan je bio sahranjen u njegovoj zadužbini, u Arhanđelovu Manastiru kod Prizrena. .
