כך או כך, תרומתו של מדינה למוסיקה הישראלית היא עצומה: הוא כתב שירים כמו "למה אל", "לבד יושבת", "להיות אדם", "אבי" וכמובן "הפרח בגני". זמרים כמו חיים משה ("תן לזמן ללכת"), זהר ארגוב ("הפרח בגני", "אבי", "להיות אדם"), אלי לוזון ועוד חייבים לו חלק נכבד מהקריירה שלהם.
בסוף שנות השמונים החליט מדינה לעבור באופן סופי לקדמת הבמה כזמר. מאז ועד היום הוא לא הצליח להוציא להיטים של ממש, ולמרות שירים נפלאים כמו "אני נשבע לך" הוא מצליח יותר בשירים שכתב לאחרים.
אלבומו האחרון, "אני נשבע לך" הופק על ידו, כמו כל קודמיו. מדינה הקים חברת הפקות עצמאית שדרכה הוא מנהל את עיסוקיו. הוא חזר לכתוב עבור זמרים אחרים, ביניהם חן מאושר, עופרי סאלם, בועז מור, שושן, ג'ו עמר ונאווה מדינה, אחותו. מדינה גם סייע במספר פרוייקטים של המחלקה הים תיכונית ב"הד ארצי" (לפני שזו נסגרה). למעשה, הוא היה אמור להפיק מוזיקלית את אלבומו השלישי של אייל גולן לפני שזה סיכם על עבודה משותפת עם "אתניקס".
הפיכתו לזמר, היתה, לדבריו, מקרית: "תמיד הייתי שר באופן בלתי רשמי. אבל בשנת 81' בפסטיבל הזמר ופזמון, שלחתי את השיר "רחל" בביצוע שלי מוקלט על הקלטת, בכוונה שהשיר יועבר למבצע. אבל מפיקת הפסטיבל, דרורה בן אב"י, שמעה את הביצוע שלי והחליטה שרק אני אבצע את השיר. הוא לא זכה באחד המקומות הראשונים אבל הותיר את חותמו".
בסרט "כאסח" ביצע מדינה את השיר "לבד יושבת", ואף הופיע בסרט כיוצר, המסביר לזמר איך מבצעים שיר. לרבים נראה היה כי ההופעה שם והבקורות הנלהבות על אופן הביצוע היו הסיבה למעברו לעמדת זמר. מדינה סיפר שגם את השיר הזה הוא ביצע בלית ברירה: "את השיר היה אמור לבצע חיים משה, וזהר ארגוב, ששמע את השיר התעקש גם הוא לבצע אותו. באותם ימים היה מאבק גלוי בין השניים. מכיוון ששניהם לא רצו לוותר החלטתי לבצע אותו בעצמי".
בשנת 87', הוציא אלבום כפול בשם "מפרחי גני", שבו ביצע את מיטב שיריו ביחד עם שימי תבורי. "האלבום היה אמור להיות מבוצע ביחד עם צלע שלישית – זוהר ארגוב, אבל הטרגדיה [של מותו] מנעה ממני להגשים את החלום. היה אמור להיות גם מופע בעקבות האלבום".
בין השירים שהיו באלבום היה את "אל תשליכני לעת זיקנה" שבוצע ביחד עם שימי תבורי. דרך הביצוע הזה השיר הפך ללהיט ענק שנכנס לקלאסיקה הישראלית. עד אז היה מדינה מגיח מידי פעם כזמר כשבין לבין הוא ביצע גם דואט עם מרגלית צנעני "שלום תברכנו" שגם היה ללהיט.
אביהו מדינה השתתף בעשרה פסטיבלים וזכה בארבע מתוכם במקום הראשון. בשנת 71' השתתף בשיר "אל תירא ישראל" בביצוע משה הלל. עם השיר "ברכינו" הוא זכה במקום השני בשנת 81' במסגרת פסטיבל הזמר החסידי. ב–1993 נערך לו מופע ההוקרה "אין מקום לדאגה" ובשנת 95' זכה בפרס אקו"ם על מפעל חיים. בשנת 1998 הוציא את האלבום אני נשבע לך, ובו השירים "עוד יבואו ימים", "אהובתי בת 50" ואחרים. בשנת 2004 הוציא מדינה את אלבומו התשיעי, אין לי מנוח. באלבום ביצע ארבעה מלהיטיו הגדולים: "שבחי ירושלים", "אל תשליכני", "ילד גדול" ו"בין הטוב והרע". בנוסף אליהם נכללו באלבום שמונה שירים חדשים. | 
