#15 Warum die Ausschreibungssuche von gestern nicht mehr für morgen reicht

Manuel Aghamanoukjan

Alle Auftragssuchen in Österreich waren bis zu dem Zeitpunkt eigentlich alle gleich.

Johannes Wallner

Ein maßgeblicher Anteil der Entwicklung war schon von KI getrieben.

Manuel Aghamanoukjan

Unsere Suche hat mittlerweile mehr so eine Übersetzungsfunktion.

Johannes Wallner

Die Kunst dahinter ist natürlich, aus einem Feedback so viel abzuleiten, dass es nicht nur für diesen einen Kunden eine Lösung ist, sondern dass es eine Lösung für idealerweise alle Kunden betrifft.

Sina Löw

Vergabe Insights, der Podcast von auftrag.at Einblicke in die Welt öffentlicher Ausschreibungen für Unternehmen und Interessierte. Wir sprechen mit Expertinnen und Praktikerinnen über Erfahrungen, Entwicklungen und Erfolgsfaktoren rund um die öffentliche Beschaffung in Österreich.

Alina Schwadtke

Stellt euch vor, ihr entwickelt jahrelang ein Produkt, tausende Unternehmen nutzen es erfolgreich und trotzdem entscheidet ihr euch, alles neu zu denken. Warum macht man das? Und damit herzlich willkommen zu einer neuen Folge von Vergabe Insights, dem Podcast von auftrag.at Mein Name ist Alina Schwadtke und ich darf euch heute durch diese etwas andere Podcastfolge begleiten. Normalerweise sprechen wir über Vergaberecht, öffentliche Ausschreibungen und darüber, wie Unternehmen erfolgreicher öffentliche Aufträge gewinnen können. Heute wird es allerdings etwas persönlicher, Denn zum ersten Mal in der Geschichte von Vergabe Insights geben wir Einblicke hinter die Kulissen von auftrag.at Ende Februar hat auftrag.at die erste smarte, KI-gestützte Suche nach öffentlichen Ausschreibungen veröffentlicht und heute blicken wir gemeinsam zurück auf die Entstehung einer Idee, auf die Herausforderung während der Entwicklung und auf die Erkenntnisse aus den ersten 4 Monaten nach dem Launch. Denn die eigentlich spannende Frage lautet nicht: Was habt ihr entwickelt, sondern vor allem: Warum? Warum entscheidet sich ein Unternehmen, das den Markt seit vielen Jahren mitgestaltet, sein eigenes Erfolgsmodell grundlegend weiterzuentwickeln? Genau darüber sprechen wir heute. Ich freue mich sehr, dafür 2 Gäste begrüßen zu dürfen. Zum einen Manuel Aghamanoukjan. Er leitet den Bereich auftrag.at und begleitet mit seinem Team Unternehmen seit vielen Jahren dabei, öffentliche Ausschreibungen erfolgreich für ihren Vertrieb zunutze. Er kennt die Herausforderung der Kundinnen aus erster Hand, auch weil er über 20 Jahre als Bid Manager für ein Software-KMU. in Wien an über 30 Ausschreibungen teilgenommen hat. Außerdem haben wir heute Johannes Wallner zu Gast im Studio. Er ist Product Engineer bei der auftrag.at-Suche und war maßgeblich an der Entwicklung der neuen Suche beteiligt. Mit ihm werfen wir einen Blick hinter die technischen Entscheidungen und erfahren, wie die neue Suche umgesetzt wurde und welche Rolle KI dabei spielt.

Johannes Wallner

Ja, danke. Hallo. Ja, hallo. Danke, dass wir da sein dürfen.

Alina Schwadtke

Schön, dass ihr beide da seid. Dann direkt Frage an euch beide: Ihr könnt selbst entscheiden, wer sie beantworten mag. Es geht um den Moment, in dem ihr euch überlegt habt, die auftrag.at-Suche könnte einen Refresh gebrauchen, weiterentwickelt werden. Könnt ihr euch noch an diesen Moment erinnern?

Johannes Wallner

Ja klar, wir haben jahrelang beobachtet, dass die Datenqualität der Bekanntmachungen, die über die öffentlichen Vergaben ausgespielt worden sind, anpassungswürdig waren, dass die Qualität eben nicht optimal war und das hat sich natürlich gezeigt in den in den Suchergebnissen der Treffer, die die Kunden erhalten haben. Wir sind zur Überzeugung gekommen, dass wir mit den bisherigen Verhaltensmustern oder mit den bisherigen Funktionalitäten, die wir hatten, nicht mehr weiter an der Qualität schrauben können und haben uns eigentlich dazu entschlossen, neue Wege zu gehen.

Manuel Aghamanoukjan

Ja, also bei mir war es war es ein witziger Moment. Wir haben bei auftrag.at, also wir machen nicht nur die Suche nach öffentlichen Aufträgen, sondern wir haben uns auch entschlossen, wir haben die Möglichkeit für Unternehmen, okay, ich finde öffentliche Ausschreibungen, Das ist toll. Ich weiß aber jetzt nicht, wie ich als Unternehmen jetzt dann damit umgehe. Wie soll ich es anbieten und ähnliche Dinge? Und dann haben wir uns entschlossen, okay, neben der Suche machen wir jetzt ein neues Produkt, nämlich die auftrag.at Beratung und davon war ein Produkt, das hat geheißen Suchprofilberatung und das war eines von vielen Angeboten und das aber das, was am erfolgreichsten war. Und da habe ich mir gedacht, so Moment, da passt was jetzt nicht, wir verlangen Geld dafür, dass unsere Kunden mit unserer Suche besser umgehen können. Und das war für mich zum Beispiel so ein bisschen ein Aha-Erlebnis zu sagen: 'O.K., jetzt wird es vielleicht an der Zeit jetzt zu denken, ob wir nicht die Art und Weise, wie die Suche funktioniert, ob wir die nicht grundlegend überarbeiten sollen.'.

Johannes Wallner

Wir haben über längere Jahre beobachtet, dass die die Datenqualität der Bekanntmachungen, die eben veröffentlicht worden sind, eigentlich nicht optimal waren und das hat sich natürlich darin geäußert, dass die Ergebnisse für die Kunden dementsprechend auch nicht optimal waren und wir haben eigentlich länger schon nach Lösungen gesucht, wie wir diese Qualität erhöhen können und haben dann eben Möglichkeiten gefunden, die auch durch technische Innovationen halt vorangetrieben worden sind und wir wollten das eigentlich nutzen, um sozusagen den Mehrwert zu schaffen für die Kunden.

Alina Schwadtke

Und diese Weiterentwicklung hatte wahrscheinlich auch was mit diesem ganzen KI-Hype zu tun oder? Ohne KI hättet ihr an der Suche etwas verändert, etwas weiterentwickelt.

Johannes Wallner

Es war schon ein maßgeblicher Anteil der Entwicklung, war schon von KI getrieben. In dem Sinn, dass eben die KI hier eingesetzt wurde, auch um Ergebnisse zu beurteilen, um Suchergebnisse besser einteilen zu können, zu kategorisieren und wir nutzen natürlich die die künstliche Intelligenz in dem Sinn, dass wir sie dort einsetzen, wo sie eben einen Mehrwert schafft, wo sie für den für den Anwendungszweck halt einen Sinn ergibt.

Manuel Aghamanoukjan

Ich mein, das war jetzt auch ein bisschen auch das erste Mal, wo wir gesehen haben, mit KI oder mit so einem LLM LLM steht kurz für Large Language Models. Also, das ist ja richtigerweise der korrekte Ausdruck für die diese Tools, die wir unter KI verstehen. Und genau die können uns helfen, bei dieser bei der Auftragssuche hier über diese reine 1 zu 1 Stichwortsuche hinauszugehen. Weil bisher war es immer so, und da sind eigentlich alle Auftragssuchen in Österreich. Also, auftrag.at ist ja nicht die Einzige, waren bis zu dem Zeitpunkt eigentlich alle gleich. Ich hab dann immer irgendwelche Such Stichwörter eingegeben. Hab dann gehofft, dass mit den Stichwörtern noch irgendwelche Ausschreibungen rauskommen. Und das geht auf der einen Seite wirkt das im Moment recht einfach, weil ich dann einfach such Stichwörter eingebe. Aber das hat natürlich auch so seine Tücken. Und diese 1 zu 1 Suche macht es eben nicht ganz so leicht. Und da wir haben uns überlegt, das erste Mal mit mit mit der KI haben wir jetzt ein Werkzeug, eine Möglichkeit Technologie. Auch schon in den Reifegrad so da, dass es ihm helfen kann auch zu sagen, OK. nicht nur auf die reinen Stichworte zu gehen, sondern auch zu verstehen, was suchst denn du überhaupt als Unternehmen, was, was kannst du, das kannst du eingeben, weil normalerweise als Unternehmen sollte ich schon ganz gut wissen, was ich kann und was ich anbiete, muss aber dann nicht überlegen, wie übersetze ich das in Stichworte, so dass es jetzt ein Unternehmen, ah, das ist jetzt der öffentliche Auftraggeber, auch so ausgeschrieben hat, sondern die Idee ist dann, ich kann mir jetzt mit KI das erste Mal in einer guten Art und Weise helfen lassen zu analysieren, OK, was kann auch rundherum Stichwörter, Schlagwörter sein, nach denen ich dann passende Ausschreibungen für mein Unternehmen finde. Also das war sicherlich ein bisschen ein Geburtshelfer.

Alina Schwadtke

Also ursprünglich war es so, wenn ich einen Auftrag gesucht hab, musste ich wissen, welche Begriffe die Auftraggeberinnen nutzen. Wenn ich die nicht benutzt hab, war die Wahrscheinlichkeit, dass ich einen Auftrag für mein Unternehmen finde, sehr gering. Und das löst die neue semantische KI Suche wahrscheinlich.

Johannes Wallner

Ja genau, also früher war es tatsächlich notwendig, dass man als als Auftragnehmer, als potenzieller Auftragnehmer, eigentlich schon wissen musste in etwa, welche konkreten Stichworte gesucht worden sind. Und unsere alte Suche in Anführungszeichen, die hat halt so funktioniert, dass eigentlich Stichworte waren, die das Hauptkriterium, nach dem gesucht wurde und danach hatte man auch die Möglichkeit eben zu filtern anhand der weiterer Filter, die eben vorhanden waren. Und das hat sich halt nicht als wirklich ziel oder treffsicher herausgestellt, da natürlich mittlerweile, also es gibt natürlich Alles ist im Wandel begriffen, muss man ja dazu sagen. Und natürlich auch die Leistungsbeschreibungen, die so angegeben werden, sind Trends unter unterworfen. Es gibt Hypes, wie wir vorher gehört haben, dass eben auch die die die künstliche Intelligenz natürlich auch in gewisser Weise ein ein eine Modeerscheinung ist. Ein Hype, der sich vielleicht irgendwann mal völlig normalisieren wird, aber dadurch ändert sich natürlich auch die Sprache der Auftraggeber. Was wir auch schon seit Jahren immer wieder predigen, ist halt ein Auftraggeber, ist halt alles, aber er ist meistens kein Experte in dem Gebiet. und dadurch ergeben sich dann halt auch teilweise Unschärfen. Es ergeben sich, vielleicht kann man das zusammenfassen als gewisser Weise eine andere Sprache als jene, die die Fachexperten nutzen und schon allein deshalb gibt es natürlich eine gewisse Abweichung in dem, was gesucht wird und dem, was angeboten wird und dort sehen wir eigentlich die große Stärke der semantischen Suche.

Manuel Aghamanoukjan

Doch einmal ein schönes Beispiel, was ich immer ganz gern bringe, denn öffentliche Auftraggeber und Auftraggeberinnen, was sie ja hassen, ist diese Veröffentlichungen auszufüllen. Diese Veröffentlichungen, Vergaben, das sind ja quasi Datenquelle, die solche Tools wie auftrag.at durchsuchen. Und da gibt es das schöne Beispiel von Bauausschreibungen, wo dann der Titel und der Beschreibung der Ausschreibung ist, dann irgendwie Gänsgasse 34 2 und dann noch ein lustiger kryptischer Code wie Los 3510 und das war es dann mit der Beschreibung. Also man erkennt da schon ganz gut, also suchmaschinenoptimiert ist dann so eine Veröffentlichung nicht und solche. Veröffentlichungen gibt es auch und und dann muss natürlich jetzt mit einer herkömmlichen Suche muss ich als Unternehmen mal drauf kommen, dass ich in der Gänzgasse suche. Also das ist immer so ein schönes Beispiel mit der Schwierigkeit und Johannes hat es auch vorher erwähnt, was auch dazu kommt, leider, dass viele von diesen Vergabeveröffentlichungen auch fehlerhaft sind und das das BMJ, also das Justizministerium, das österreichische, da gibt es ein recht engagiertes Team, das sich um Vergaberecht kümmert und wir haben mal eine eine Untersuchung paar Monate lang gemacht, wie genau oder wie wie gut ist die Qualität der Veröffentlichungen und Und da haben sie gefunden, dass glaub ich, über 40% der Vergabeveröffentlichungen in Vergabe in diesem Zeitraum waren fehlerhaft. Das kommt noch dazu, da haben Informationen gefehlt oder wurden falsche Klassifizierungen eingetragen. Sicher nicht absichtlich, muss man auch sagen, aber es kann natürlich passieren, auch deswegen, weil es eigentlich nicht wirklich Sanktionen gibt, wenn nicht richtig veröffentlicht wird. Also auch da sieht man schon, dass es da auch Herausforderungen gibt, mit denen all diese Suchtools, auch unseres, natürlich umgehen muss.

Alina Schwadtke

Und ich stelle mir vor, wenn ich jetzt ein junges Unternehmen bin, ich habe noch nicht diese Kompetenz in der öffentlichen Ausschreibungssuche oder in dem Finden von neuen Aufträgen, das ist ja enorm schwer, da die passenden Ausschreibungen für mich zu finden, wenn ich all dieses Wissen nicht habe, wenn ich all diese Erfahrungen nicht habe, wenn ich das alles nicht weiß, was ihr mir gerade gesagt habt. Das heißt, diese KI in der Suche soll diese Wissenslücke eigentlich irgendwo ausgleichen oder Fehler korrigieren von Auftraggebern, die komische Sachen in ihre Ausschreibung hineinschreiben.

Johannes Wallner

Es sind nicht unbedingt Fehler von den, nicht nur Fehler der Auftraggeber, die hier passieren, sondern es, es wird natürlich von einem Auftragnehmer oder einem potentiellen Interessenten eigentlich erwartet, dass er zwangsläufig zum Experten des öffentlichen Vergabewesens wird. Und das mag vielleicht für für größere Auftragnehmer vielleicht zutreffen, dass sie die, also die Personen in dem Unternehmen haben, die das beherrschen. Das große Problem ist aber, dass es hier Systematiken gibt wie den CPV Code, also den der der fällt auch immer wieder in dem Zusammenhang. Das ist ja eine Systematik der Europäischen Kommission, in der die einzelnen Leistungsgebiete in so einen in ein Katalogsystem eingeordnet werden. Aber wie halt das Problem, dass dieses Katalogsystem hat, ist dasselbe wie mit anderen Katalogsystemen. Wenn ich nicht weiß, wie ich das richtig lesen kann oder wie ich das interpretieren muss. bin ich natürlich früher oder später an einem Punkt angelangt, wo ich falsche Werte auswähle, falsche CPV-Codes auswähle und dadurch verfälsche ich diese Suche eigentlich noch viel mehr, als ich ursprünglich gedacht habe, dass sie zu Nutzen kommt. Und wir wollten eigentlich verhindern, dass Auftragnehmer zu solchen Spezialisten werden im öffentlichen Vergabewesen, weil wir der Meinung sind, dass das nicht ihre Kernaufgabe ist. Und wir eigentlich ein Mittelsmann sind, sozusagen, und eine Mittelsperson, die den Auftragnehmern diese diese Hürde abnimmt. Also, wir wollen eigentlich den Auftragnehmern es erleichtern, teilzunehmen, indem wir dieses Spezialwissen eben zur Verfügung stellen.

Alina Schwadtke

Und dieses Spezialwissen, wie zum Beispiel, ich muss die CPV Codes meines Unternehmens kennen oder NUTS Codes, das hab ich auch mal gehört, das gibt es auch noch, wo ich meine meinen Ort angebe, in dem ich Aufträge suche, das ist in der neuen Suche nicht mehr vorhanden.

Johannes Wallner

Es ist in dem Sinne nicht mehr vorhanden, dass gewisse Teile dieser Nomenklaturen, dieser Kataloge übernehmen wir. Also wir können anhand der Beschreibung eines Suchagenten können wir angeben, in welchem CPV-Code oder in welchem Bereich der CPV-Codes sich diese Leistungen befinden. NUTS-Codes, also nur zur Erklärung nochmal, die NUTS-Codes sind eigentlich auch eine vom Europäischen Statistischen Zentralamt, soweit ich weiß, wird das veröffentlicht. Das ist eigentlich nur eine Möglichkeit, das gesamte Gebiet der Europäischen Union in in gewisse Gebiete einzuteilen. Also Österreich zum Beispiel besteht aus 3 NUTSbereichen und jeder NUTSbereich, also das ist West, Westösterreich, Südösterreich und ich glaube Ostösterreich. und jeder dieser Bereiche hat weitere Untergruppierungen und das ist eben eine Möglichkeit, statistisch zum Beispiel ein Land aufzuteilen. Und diese Möglichkeit muss der Kunde sehr wohl noch vornehmen, da der Kunde sozusagen am besten Auskunft darüber geben kann, in welcher Region er sucht. Also das heißt teilweise schon, teilweise dort, wo es jetzt eben sinnvoll ist, hat der Kunde selbst die Kontrolle in der Hand.

Manuel Aghamanoukjan

Was wir jetzt gemacht haben war aber so und das war jetzt noch die Datensuche jetzt eben, Johannes hat es recht gut gesagt, diesen Einstieg in diese Welt der Verga, der der öffentlichen Beschaffung und der Ausschreibungen zu erleichtern. Und eigentlich hatten wir, unsere Suche hat mittlerweile mehr so eine Übersetzungsfunktion. Und das heißt eben, genau, wir müssen nicht mehr CPV Codes eingeben, auch immer die NUTS Codes, sondern du gibst das Unternehmen einfach ein, OK, was für ein Angebot habe ich, wofür suche ich und in welchen geografischen Bereichen, da haben wir sogar mit einer klickbaren Karte gearbeitet. Und das haben wir sowieso, wir haben generell versucht, hier auch Ausschreibungsfachbegriffe möglichst rauszunehmen, weil das nicht unbedingt relevant ist, weil es in Wirklichkeit und das, weil immer viele Unternehmen fragen, die Suche ist ja, hat jetzt mit der Vergabe schon zu tun, aber was ist es eigentlich? In Wirklichkeit ist es ein eine Möglichkeit, ein Werkzeug, mit dem ich Verkaufschancen finde. Also jeder, der im Vertrieb das kennt und das sucht immer Verkaufschancen, dass er dann Angebote machen kann und das ist in Wirklichkeit nur von einem speziellen Vertriebskanal, dem Vertriebskanal öffentliche Ausschreibungen. Und deswegen haben wir uns auch wirklich auch bemüht und das war auch eine eine Änderung, weil wir kommen sehr stark aus dieser Vergabewelt, dass wir dieses die neue Suche auch mehr so ausgerichtet haben, wenn du jetzt suchst nach Verkaufschancen, wonach suchst du? Ja genau, mein Angebot, mein Liefergebiet, das sind eigentlich Sachen, die jeder kennt, ohne noch einen ein Wort oder irgendwas vom Vergaberecht zu kennen. Und das war, das war auch recht spannend, weil das war auch ein neuer Ansatz und damit haben wir auch von Bestandskunden durchaus auch. auch einmal ein bisschen Beschwerden bekommen, warum wir jetzt nicht immer die korrekten Vergabebegriffe verwenden, wo wir gesagt haben, ja, in dem Moment ist es total unwichtig, weil du suchst jetzt nicht nach einem Vergabeverfahren per se, sondern nach einer Möglichkeit, deine Produkte, deine Dienstleistungen zu verkaufen und das möchten wir dir so leicht wie möglich machen.

Alina Schwadtke

Dann gehen wir noch mal zum Live-Gang der neuen auftrag.at-Suche. Das war Ende Februar, wenn ich mich richtig erinnere. Wie war das für euch? Wie habt ihr diesen Moment gefühlt?

Manuel Aghamanoukjan

Johannes, ich glaube, fang einmal du an.

Johannes Wallner

Ja, es war natürlich schon ein gewisser Nervenkitzel dabei. Also wir wussten natürlich, dass wir hier das Spielfeld sozusagen neu abstecken, aber ich bin der Meinung, dass es eigentlich mit sehr viel Planungsaufwand dahinter eigentlich ganz gut geklappt hat. Wir haben einige Annahmen eben getroffen, die sich dann eigentlich auch bewahrheitet haben, die eigentlich auch den den Kunden das Leben dann leichter gemacht haben beim Umstieg und es Es hat sich dann eigentlich erst im Laufe der Zeit gezeigt, welche weiteren Annahmen dann womöglich eine Überarbeitung benötigt haben und welche nicht. Und es ist eigentlich relativ organisch gewachsen, das Ganze. Und es hat uns natürlich sehr viel geholfen, dass wir jahrelang wirklich mit dem Thema auch stark vertraut waren.

Alina Schwadtke

Was waren Annahmen? Das hast du jetzt sehr oft erwähnt. Was waren die Annahmen am Anfang?

Johannes Wallner

Annahmen am Anfang waren zum Beispiel, dass gewisse Funktionalitäten nach wie vor benötigt werden, auch wenn wir zum Beispiel ein neues Portal launchen, dass zum Beispiel Benachrichtigungen, die vor wenigen Tagen oder Wochen veröffentlicht worden sind, also nicht veröffentlicht worden sind, sondern zugestellt wurden an die Kunden, dass diese halt weiterhin von Belang sind, weil ja der Ausschreibungsprozess und auch der Teilnahmeprozess über mehrere Tage, Wochen, womöglich Monate geht und dass wir diese Informationen halt nicht vorenthalten wollten. Und wir haben halt versucht, da so so resilient wie möglich zu sein, um dem Kunden halt wirklich das Gefühl zu geben, wir sind weiterhin für den Kunden da, aber nun eben in einem anderen, in einem anderen Kontext, mit einem anderen Auftritt und das ist uns im Nachhinein gesehen gut gelungen.

Manuel Aghamanoukjan

Ja, von meiner Seite her, also war es extrem entspannt. Also bei mir war es schon der zweite quasi Relaunch der auftrag.at-Suche, die ich begleiten durfte. Was dieses Mal extrem angenehm war, also technisch war das extrem reibungslos. Also jeder, der mit Software ein bisschen zu tun hat, das kann man noch so gut planen und normal gibt es immer Probleme und dieses Mal war es extrem entspannt. Was für mich eigentlich recht spannend war und das war, wo ich ein bisschen auch ehrlich gesagt so ein bisschen so Bauchweh war, eher die Frage, wie gehen vor allem die bestehenden Kunden und Kundinnen damit um? Warum ist das so? Weil die Suche, die Auftraggeber, die Suche in der Form, in der Grundform, also wie ich suche, mit dieser 1 zu 1 Suche und mit so Filtern und ähnlichen Dingen, Das war vielleicht jetzt nicht ganz ideal, aus meiner Sicht, von der Benutzerfreundlichkeit, aber die unsere Kunden, Kundinnen, die waren das halt schon gewöhnt seit wirklich vielen Jahren und wir reden da, also auftrag.at ist da wirklich der Pionier von so einem Such, von diesem Suchwerkzeug in Österreich und die waren das gewohnt und wir hatten das, glaub ich, letztes Mal vor 6 Jahren gerelauncht, da haben wir es schon optisch verbessert und auch mit Funktionen gemacht, aber das Grundprinzip ist gleich geblieben. Und was wir uns halt getraut haben, ist zu sagen, OK, wir übernehmen jetzt ein bisschen mehr, ich glaub ich hab es vorher erwähnt, diese Übersetzungsfunktion und haben schon ein paar Dinge grundlegend geändert. Und da war für mich ganz spannend und wir haben auch das im Vorfeld daher auch sehr intensiv gemacht, also wir hatten eine, wir hatten eine wirklich eine umfassende Benutzerinnen Umfrage gemeinsam mit einer UX Agentur eben vorab und dann haben wir auch eine Betaphase gemacht, wo wir eben auch Leute eingeladen haben. Wir haben über 200 Leute eingeladen, teilgenommen haben über 60, auch das über ein Monat, über eineinhalb Monate, glaube ich, laufen gehabt, noch analysiert und Feedbackgespräche. Also Johannes hat ja sehr viel Feedbackgespräche geführt, was super spannend war. Also er hat uns da echt viel gemacht und trotzdem weiß natürlich nicht, weil wir reden dann hier schon tausenden, tausenden von Kunden mit, also mehr als knapp an die 10.000 Suchprofile. Also man merkt schon, die Mengen, die es da gibt, Und wie das dann auch wirklich kommt, also das war eine Sache, die äh für mich total interessant war und auch wie man kommuniziert mit den Kunden, ähm, dann weil waren doch einige Änderungen dabei, das war schon sehr spannend. Wie das dann gut gelaufen ist, also wir haben es schon noch gemerkt und da glaub da kann man ganz offen sein, es war schon für einige Kundinnen und Kunden war es eine, war es eine Umstellung. Das definitiv, ähm, wir haben auch sehr viel auch extra versucht mit vielen Informationen. Ich bin selber auch nicht viel besser als Benutzer, wird nicht immer gelesen, auch der Klassiker, dann kommen die Rückfragen. Aber im Großen und Ganzen glaube ich schon, das war hat recht gut funktioniert und was für uns extrem spannend war und ich kann mich erinnern, wir haben gelauncht und ich glaube, eine halbe Stunde nach Launch hatten wir schon den ersten komplett neuen Kunden. Das haben wir das richtig beobachtet, so live, wie da der erste Kunde sich an anmeldet und sich einen neuen Suchagenten anlegt und das war halt schon toll und wir haben und das hat sich seit den vier, fünf Monaten, wo die Suche jetzt schon läuft, also auch bewahrheitet. dass vor allem insbesondere Leute, die neu dazu kommen, sich extrem leicht tun. Und das ist schon recht spannend. Ich glaube trotz, also natürlich für die bestehenden Kunden hat man gemerkt, die Umstellung für einige war nicht leicht. Ja, also das war für mich so dieses, wie gehen die Kunden damit um. Das war sicher das beim Launch, wo ich ein bisschen mein Team, da hatte ich ganz gutes Vertrauen. Wir haben es auch technisch auf einen neuen Stand gebracht und bisher muss ich sagen, Holz klopfen war ich jetzt nicht wegen der Aufnahme, es läuft auch extrem stabil.

Alina Schwadtke

Johannes. Wann hast du im Austausch mit den Kundinnen das erste Mal gemerkt, dass die Umstellung der Suche zur KI Suche tatsächlich etwas gebracht hat, dass sie einen Mehrwert bietet.

Johannes Wallner

Ja, wie vorher schon erwähnt, also ich hab ja einige Kundenfeedbackinterviews abgehalten und mich eigentlich sehr intensiv ausgetauscht mit den mit den Kunden unterschiedlicher Ausprägung. Also man, man Ich denke oft, dass wir nur eine einzige Art an Kunden haben. Wir haben eine sehr diversifizierte Kundenschicht. Wir haben also sehr viele Kunden unterschiedlicher Gewerke oder unterschiedlicher Branchen, die eben bei uns tätig sind. Und jeder dieser dieser Kunden hatte sozusagen seine eigene Geschichte, die er zu erzählen hatte. Und das Wichtigste für mich in solchen Situationen ist natürlich, diese Geschichte auszugraben, sozusagen, und anhand dessen, was ich eben finde, eben auch einen einen einen Need zu erkennen, also etwas zu erkennen, wo ich der Meinung bin, okay, hier müssen wir etwas tun, um dem Kunden zu helfen. Und das ist etwas, wo womöglich Dinge vielleicht gar nicht ausgesprochen werden, aber aufgrund des Kontextes des Erzählten natürlich erkennbar ist, dass hier etwas gemacht werden muss. Und es hat sich dann gezeigt, auch zum Beispiel nach dem Betatest, dass zu gewissen Themen eigentlich relativ viel Feedback gekommen ist. teilweise auch zu Themen, die wir gar nicht so gedacht hätten, dass das überhaupt ein Thema wäre. Und andere Themen wurden überhaupt nicht angesprochen. Und das Interessante ist nämlich, dass dann oft der Eindruck entsteht, wenn Dinge nicht angesprochen werden, dann gibt es hier nichts zu tun. Es hat sich dann aber herausgestellt, dass über funktionierende Dinge halt einfach wenig Feedback prinzipiell verfügbar ist, weil wenn etwas funktioniert, dann bin ich zufrieden damit und habe wenig einzuwenden. Und wo ich dann gemerkt habe eigentlich, dass die unsere neue Herangehensweise wirklich funktioniert hat, war als als die die Kunden eben darüber berichtet haben, dass auch die Sichtung der Ausschreibungen eigentlich wesentlich einfacher geworden ist. Das war vielleicht nicht direkt nach dem Relaunch so, aber es hat sich dann ergeben eben durch durch Anpassungen, die wir dann direkt nach dem Relaunch gemacht haben, dass sozusagen dieser Weg immer klarer geworden ist. Wir haben mit einer mit einer Änderung zum Beispiel ein Problem von einem Kunden gelöst Und dadurch haben wir automatisch das Problem von mehreren Kunden gelöst und so haben wir eben versucht, uns dann schrittweise eben anzunähern an an ein Erlebnis, das sozusagen wünschenswert war.

Alina Schwadtke

Was waren da so ganz konkrete Dinge, die nach dem Launch noch mal angepasst optimiert wurden?

Johannes Wallner

Ein Ein konkretes Beispiel dafür, was was wir zum Beispiel geändert haben, war, dass direkt nach dem Relaunch in den den Trefferbenachrichtigungen die einzelnen Treffer nicht nummeriert waren Und wir, wir waren uns eigentlich dessen nicht bewusst, dass das für für viele Kunden eigentlich ein ein ganz wesentlicher Bestandteil war dieser Treffermails und haben dann eben auch durch das Feedback mitbekommen, dass wir hier etwas anpassen müssen, weil das eben bei den Kunden wirklich aktiv genutzt wurde. Das war Teil ihres ihres Nutzungsverhaltens und wir haben ihnen das quasi unangekündigt weggenommen und dann das war natürlich etwas, wo wir, das wir nicht vorhergesehen haben, das wir dann aber relativ schnell umpriorisiert haben und dann eben versucht haben, das Ganze wieder in einen Zustand zu bringen, der sozusagen wieder in Ordnung war.

Alina Schwadtke

Warum wurde das nicht am Anfang gleich mitgedacht, dass das, dass die Nummerierung wichtig sein könnte?

Johannes Wallner

Ja, gute Frage. Also, wir haben eben wenig Feedback dazu generell bekommen in diesem, in diesem Teilbereich und wie eben vorher schon gesagt, dass das Feedback über funktionierende Dinge war meistens eher spärlich. Wir haben nur Feedback bekommen, wenn etwas nicht erwartungsgemäß war und das hat sich dann eben auch wiederum gezeigt, dass wenn etwas plötzlich nicht mehr vorhanden war, war die Frage, wo ist das geblieben?

Alina Schwadtke

Vielleicht ist vielen gar nicht aufgefallen, dass es das immer gab. Man hat es für selbstverständlich genommen, plötzlich war es nicht mehr da und man ist so, Moment, nun fehlt die Nummerierung, wie soll ich das an meine Kollegen weiterleiten?

Johannes Wallner

Genau, ja. O. K., also das war in gewisser Weise natürlich auch, haben wir sehr viel auch mitgelernt, weil wir diese unterschiedlichen Nutzungsverhalten plötzlich viel viel intensiver wahrgenommen haben oder eigentlich daraus gelernt haben, dass wir wussten, okay, das ist halt ein üblicher Anwendungsfall und uns war halt nicht bewusst von Anfang an, dass dieser Anwendungsfall so so stark vertreten ist wie vielleicht andere.

Alina Schwadtke

Also, dieses Feedback wird eigentlich relativ schnell umgesetzt, was von den Kundinnen kommt.

Johannes Wallner

Die Kunst dahinter ist natürlich, aus einem Feedback so viel abzuleiten, dass es nicht nur für diesen einen Kunden eine Lösung ist, sondern dass es eine Lösung halt für idealerweise alle Kunden betrifft. Und dass diese Lösung natürlich auch wirklich ein Problem löst und nicht nur einfach den individuellen Wunsch jetzt widerspiegelt, ich hätte gerne hier etwas anderes, dafür brauche ich das zum Beispiel eine weitere Funktion gar nicht, deswegen kann die verschwinden. Also das ist halt ein bisschen die Herausforderung, dann eigentlich hinter den eigentlichen Wünschen die Anliegen besser zu verstehen und und daraus eben die das Produkt weiterzuentwickeln.

Manuel Aghamanoukjan

Es gibt aber auch Funktionen, die dann so Doch die Kundinnen überraschen. 1 war zum Beispiel und das ist auch einer der Vorteile, wenn man sich als ein Element der Suche in die KI als Unterstützung nimmt, dass nämlich dann auf einmal auch mit deutschsprachigen Suchbegriffen dann durchaus auch zum Beispiel Ausschreibungen gefunden werden, die in Italien veröffentlicht wurden, weil auch die Aufträge, die Suche auch die EU-weit veröffentlichten Vergabeverfahren finden kann. Das war vorher nicht so, weil eben nur 1 zu 1 Suche. Und da hatten wir, glaube ich, einen Kunden, der sich dann vor allem gewundert hat, warum er auf einmal mehr. Ausschreibungen bekommt, dann habe ich nachgefragt: 'Na, sind das passende Ausschreibungen?' Ich sag: 'Ja, inhaltlich schon, aber die sind ja auf Italienisch.' Da habe ich gesagt: 'Ja, das ist das Gute an der KI Und wenn Sie keine aus Italien haben wollen, dann können Sie es ja über die Auftragsregion, heißt das bei uns. Da kann ich dann in einer Karte zum Beispiel auswählen, in welchen Bereichen möchte ich eine Vergabe haben. Bei der alten Suche war das, wurde das quasi unbewusst gemacht. Wenn ich nur deutschsprachige Suchbegriffe eingebe, dann werde ich nichts bekommen, was auf Italienisch ist. Und das war echt spannend. Und das war dann auch eine Aha-Erlebnis für den Kunden und sagt: 'Ah ja, das ist gut, weil dann habe ich noch zusätzliche Verkaufschancen.' Ich glaub, der war auch in Kärnten zu Hause. Damit war auch Italien sein Liefergebiet. Also auch das ist dann noch so, dann eigentlich versteckte Funktionen, die dann auch Kunden dann überraschen können.

Alina Schwadtke

Wir haben jetzt ganz häufig die Begriffe semantische Suche gehört. Johannes, magst du uns kurz erklären, was genau dahinter steckt?

Johannes Wallner

Ja, semantische Suche ist ein ein Suchmodell, das auf mathematischen Modellen basiert. Es geht wirklich darum, dass einzelne Elemente eben auch in einem Zahlenraum abgebildet werden können. Also da gibt es unterschiedliche Arten und Weisen, wie man das eben machen kann. Also ich empfehle jedem ein Mathematikstudium, um das näher nachzuvollziehen. Es die Grundaussage ist halt eben, ich kann einen Datenpunkt oder ein einen Gegenstand, ein Objekt, mit einem anderen Objekt vergleichen und kann berechnen, wie wie ähnlich sie zueinander sind auf unterschiedlichen Dimensionen. Und das macht sich eine semantische Suche eben zunutze, um eben Ausschreibungen miteinander zu vergleichen oder um zum Beispiel Beschreibungen eines Suchagenten mit den Beschreibungen einer Ausschreibung eben zu vergleichen. Und im Anschluss kann daraus eben eine Ähnlichkeit oder ein Ergebnis, wie so ein Rating oder ein Score kann eben ermittelt werden, der dann Aufschluss darüber gibt, wie gut dieser Treffer eben ist. Warum ist semantische Suche eigentlich geeignet, überhaupt für die öffentlichen Ausschreibungen? Also, man muss sich das mal so vorstellen, ich, ich vergleich das gerne mit so Online-Flohmärkten. Also, wir kennen sie eh alle, da gibt es ja in Österreich einen sehr bekannten Anbieter oder auch amerikanische Anbieter, bei dem es eben unterschiedliche Arten von Objekten, von Gegenständen gibt, die ich suchen kann. Also, es gibt zum Beispiel, ich suche einen Gebrauchtwagen, Den kann ich vermutlich relativ gut spezifizieren mit allen Eigenschaften, die dieses dieser Gebrauchtwagen eben umfasst. Und es bleibt eigentlich kaum noch eine Überraschung übrig. Ich hab vielleicht da noch die die Unterscheidung, steht der jetzt in Wien, steht der im Burgenland oder steht der in Tirol. Aber ich kann dieses, dieses standardisierte Produkt eigentlich sehr gut beschreiben. Wenn ich zum Beispiel aber einen einen Tisch suche, der vielleicht handbemalt wurde, wo ich mir nicht sicher bin, welche Formen, welche Form hat der, welche Maße hat der, das wird schon wesentlich schwieriger. Und auch so eine eine öffentliche Ausschreibung ist natürlich auch eher ein ein individuelles Produkt, weil hier geht es eigentlich darum, dass eine Leistung ganz konkret ausgeschrieben wird. Also je nachdem, wie wie genau die ausgeschrieben ist, kann ich sie natürlich auch relativ gut kategorisieren. Ich kann die einteilen in gewisse. Bereiche, aber ich, ich hab große Probleme darin, eigentlich wirklich zu sagen, dass das trifft für mich zu einem großen Teil zu, aber zu einem gewissen Teil nicht. Und hier kommt eigentlich die semantische Suche ins Spiel, die eben anhand der Beschreibungen eine eine Klassifizierung vornehmen kann.

Manuel Aghamanoukjan

Wie das vielleicht dann noch auch wie Unternehmen das dann sieht, wenn das es bedient, die auftrag.at-Suche, ist eben, dass sie, dass wir sagen dem Unternehmen, bitte gib da dein Angebot ein von Dienstleistungen, Produkten, die für dich interessant sind, für die du öffentliche Vergabeverfahren suchst. Und die semantische Suche nimmt dann diese Eingaben und versteht auch den Inhalt, aber auch den Kontext dieser Eingaben und da muss es eben nicht genau diese, diese äh das Stichwort sein, es muss nicht genau der rechteckige Tisch sein, damit ich nur Ausschreibungen über rechteckige Tische finde, sondern eventuell auch über Tische allgemein über ovale Tische, weil das könnte ja eben relevant relevant für den für das Unternehmen sein und das ist sozusagen dann so, wie sich dann die semantische Suche oder die Vorteile dann sich dann gegenüber einem Unternehmen, einem Benutzer oder Benutzerin von der Suche auch manifestiert. Und eben das war auch so ein Ziel, weil wir hatten auch dann Kunden, die hatten dann pro Tag, haben die eine E-Mail bekommen mit in der alten Suche mit 300 Treffern, weil sie, wir haben es glaube ich vorher gesagt, ich bin mir nicht sicher, was die Stichwörter gut funktionieren, also das mache ich, würde ich auch so machen. Ich spanne ein weites Netz, ja, und dann kriege ich natürlich halt 300 Fische, sprich 300 Vergabeverfahren. Aber die dann durchzuschauen, jeder der sich schon einmal die Entscheidung getroffen hat. Mache ich jetzt, schaue ich mir das näher an, also. Will ich vielleicht da teilnehmen und was heißt das, heißt ja beim Unternehmen, dass vielleicht 15 Leute dann an sowas arbeiten, 3 Wochen lang Vollgas. Und diese Entscheidung muss ich auch relativ schnell treffen, weil das eine Schlussfrist ist, die meistens 3 Wochen oder so. Und das durchzuschauen, 300 Treffer durchzuanalysieren und zu entscheiden, mache ich mit, mache ich nicht mit. Und dann vielleicht noch die interessanteste. Ausschreibung zu verpassen, weil das ist die große Angst, die ich habe als Verkäufer oder Verkäuferin, das kostet Zeit. Und ähm, das haben wir auch versucht eben zu schauen, okay, einerseits verstehe ich, was du eingibst und kann noch verwandte Sachen finden, aber ich kann auch rausrechnen, ich kann auch rausfinden, die Suche, was ist für dich wirklich relevant anhand deiner Eingaben. Und dann kriegst du halt dann zum Beispiel vielleicht 25 maximal 25 Treffer, die die passen aber zu dir und du brauchst auch keine Zeit verschwenden. Das ist sicher auch noch ein dann, wie sich diese Vorteile der semantischen, KI-unterstützten Suche sich für Unternehmen da noch niederschlagen, hoffentlich.

Johannes Wallner

Und wir haben auch, wir haben zum Beispiel auch bemerkt, dass vor allem in Ausschreibungen, in dem zum Beispiel viel Fachterminologie verwendet wird, dass dort natürlich die semantische Suche besonders gut wirkt, weil für sämtliche Gegenstände es sozusagen auch meistens einen einen spezifischen Fachbegriff gibt, der aber in unterschiedlichen Formen daherkommen kann. Also je nach Technologie zum Beispiel kann das Eher vielleicht nur aus dem englischsprachigen Raum sein. Du arbeitest dann vielleicht mit Akronymen, die du vielleicht gar nicht kennst. In anderer Form sind es vielleicht übersetzte Bezeichnungen oder Synonyme zum Beispiel, eventuell vielleicht auch vereinfachte Darstellungen, wie diesen Tisch, der da gerade vor uns steht. Ein Fachmann würde den wahrscheinlich ganz anders bezeichnen, als wir das in der Lage sind. Und natürlich macht sich die semantische Suche das zunutze, indem sie halt diese Zusammenhänge versteht. Und eben weiß, wenn wir zum Beispiel, da ist auch ein ein Fenster hier im Aufnahmeraum, wenn ich eben sag, das ist jetzt ein spezielles Fenster und ich bin jetzt zum Beispiel ein Dienstleister, der Fenster installieren kann, dann möchte ich vielleicht darauf Rücksicht nehmen, dass ich genau solche Fenster einbauen möchte, weil genau dort meine Expertise zum Beispiel vorhanden ist. Und wenn ich in der Lage bin, das zu formulieren, dann ist es mehr oder weniger nicht mehr ganz so wichtig, wie der der Auftraggeber das formuliert hat. weil diese Nähe, dieser Zusammenhang einfach gefunden wird.

Alina Schwadtke

Und diese Relevanz der einzelnen Ausschreibungen wird dann auch angezeigt in den Suchergebnissen am Ende.

Johannes Wallner

Genau, also wir arbeiten hier eben auch mit, das haben wir vorher glaube ich auch schon kurz erwähnt, mit einer KI-gestützten semantischen Suche. Das heißt, die Ergebnisse der semantischen Suche werden dann auch von einer KI nochmal doppelt gecheckt, werden nochmal in den Kontext gebracht und eingeordnet, ob sie, also es ist eine Einschätzung, muss man dazu sagen, ob sie eine hohe Priorität haben oder eine eine hohe Relevanz haben oder eine mittlere Relevanz. Und es gibt teilweise dann auch wirklich Erklärungen, warum diese Einschätzung so zustande gekommen ist. Aber das ist natürlich eine Entscheidungshilfe, weil natürlich der die letztliche Entscheidung liegt natürlich selbstverständlich beim Kunden.

Alina Schwadtke

Nun sind, seid ihr ja auch bei auftrag.at mit der KI Suche eigentlich gerade erst so am Anfang, Was glaubt ihr, wo das in den nächsten Jahren noch hingehen könnte?

Manuel Aghamanoukjan

Also, wo ich mir das wünsche, wo es hingeht. Also generell ist es so, ja, dass die Suche, ja wir da, was wir durchsuchen, sind die öffentlich verfügbaren Informationen zu Vergabeverfahren. Da ist Österreich und auch EU-weit sind wir eigentlich schon recht weit. noch weitergehen. Ganz konkret sind das zum Beispiel die Teilnahmeunterlagen, die bei jetzt bei der Ausschreibung gibt. Die sind momentan nicht so öffentlich verfügbar. Also mein Traum oder wo ich sehe, wo die Suche hingehen kann, Ist eben generell hier noch systematisch die Teilnahmeunterlagen mit einzubeziehen, weil da noch mehr Informationen stehen. Das heißt, dass ich hier noch leichter für Unternehmen noch treffendere Ausschreibungen finden kann. Da müsste es aber dann vor allem von seitens der Vergabeplattformen, die das veröffentlichen, auch von Seiten vom Gesetzgeber, müsste es da noch entsprechende Informationen geben. Derzeit ist es so in Österreich zum Beispiel, nach nachdem da der Teilnahmefrist zu Ende ist, gibt es die Teilnahmeunterlagen nicht mehr. Ich kann sie versuchen nach Informationsfreiheitsgesetz zu zu bekommen, das ist ein bisschen mühsam und dauert. Also systematisch gibt es da noch nichts. Also was ich mir da wünschen würde, wären so Schnittstellen, wo ich automatisch mir nicht nur für uns, sondern auch für Unternehmen, die daran interessiert sind, sich aktuelle und historische Teilnahmeunterlagen auch anschauen und durchsuchen kann. Da könnte man das definitiv um ein Wesentliches verbessern und auch erleichtern, damit auch alle Unternehmen Zugang zu öffentlichen Ausschreibungen haben, nicht nur die Ausschreibungsprofis.

Johannes Wallner

Ich sehe auch in der in der nahen Zukunft eigentlich schon große Änderungen, die auch auf die auftrag.at-Suche zukommen werden. Vor allem im diesen Herbst werden ja die nationalen Kerndaten auf eForms umgestellt. Also für alle interessierten eForms sind ja die ist die die Datenstruktur beziehungsweise die die Art und Weise, wie die Europäische Union eben dieses Thema für sich sozusagen durchgedacht hat. Es ist eine eigene Datenstruktur der der öffentlichen Bekanntmachungen, die eben ab 1. Oktober in Österreich eben auch in den Kerndaten einziehen wird. Und wir erwarten uns dafür natürlich eine sehr hohe Steigerung der Datenqualität, was natürlich auch den Suchenden und den Kunden zu Nutzen kommen wird, da wir davon ausgehen, dass nämlich die Suchergebnisse dadurch wesentlich besser werden, noch besser werden.

Alina Schwadtke

Und mit diesem Ausblick in die Zukunft beenden wir die heutige Podcast-Folge, die etwas persönlich war, als alle Folgen aus der Vergangenheit und alle, die noch kommen werden. Vielen Dank fürs Zuhören. Danke an Johannes Wallner und Manuel Aghamanoukjan fürs Hiersein, fürs uns hinter die Kulissen blicken lassen und hoffentlich bis zum nächsten Mal.

Johannes Wallner

Danke schön. Ja, danke. Ciao.

Sina Löw

Vergabe Insights, der Podcast von auftrag.at Produziert von der Content-Agentur Austria. Hat Ihnen diese Folge gefallen? Dann abonnieren Sie Vergabe Insights auf der Podcast-Plattform Ihrer Wahl. Weitere Einblicke rund um öffentliche Ausschreibungen erhalten Sie in unserem Newsletter auf www.auftrag.at und auf unserem LinkedIn-Kanal.