Künstliche Intelligenz wird zunehmend zum Wettbewerbsfaktor. Gerade kleine und mittlere Unternehmen stehen jedoch vor technischen Hürden, hohen Kosten oder Fragen zum Datenschutz. LLM4KMU setzt genau hier an. Das Forschungsprojekt entwickelt praxisnahe Anwendungen auf Basis von Open-Source-Sprachmodellen. Ziel ist es, KI-Technologien so aufzubereiten, dass sie sich einfach in bestehende Unternehmensprozesse integrieren lassen.
LLM4KMU ist ein Förderprojekt des Innovationsprogramms NEXT.IN.NRW, das mit diesen sieben Partnern aus der Wirtschaft und Forschung aufgebaut wird:
Im Projekt LLM4KMU tauschen sich Forschung, Wirtschaft und Praxis regelmäßig aus. In Workshops, Vorträgen und Demonstrationen zeigen wir, wie KI konkret im Unternehmensalltag eingesetzt werden kann.
Die Veranstaltungen richten sich insbesondere an kleine und mittlere Unternehmen, die sich über Möglichkeiten, Herausforderungen und konkrete Anwendungen von Large Language Models informieren möchten.
Workshop zum Kennenlernen, Experimentieren und Diskutieren zu LLMs. Zudem werden Demos von Prototypen zu Anwendungsfällen in kleinen und mittelständischen Unternehmen (KMUs) im Rahmen des Innovation Festivals vorgestellt.
In unseren News informieren wir über Fortschritte im Projekt, neue Ergebnisse sowie spannende Einblicke aus Forschung und Praxis.
Hier erfahren Sie, welche Technologien aktuell entstehen, welche Use Cases getestet werden und wie Unternehmen bereits heute von KI profitieren können.
Viele Unternehmen beschäftigen sich mit der Frage, wie künstliche Intelligenz sinnvoll eingesetzt werden kann. Gleichzeitig bestehen Unsicherheiten bei Themen wie Kosten, Datenschutz oder technischer Umsetzung.
Hier beantworten wir häufige Fragen rund um Large Language Models und ihren Einsatz in kleinen und mittleren Unternehmen.
Die Abkürzung des Projekts LLM4KMU steht für LLMs für (English four, 4) KMUs, wobei Sprachmodelle mit LLM und kleine und mittelständische Unternehmen mit KMU abgekürzt wurden. Der Projekttitel steht für die Verwendung und Entwicklung von Sprachmodellen (LLMs) in und für kleine und mittelständische Unternehmen (KMUs).
Large Language Models, oder auch große Sprachmodelle genannt, sind KI-Systeme die auf großen Textsammlungen trainiert wurden. Ihre Hauptaufgabe ist es Texte zu vervollständigen. Durch weitere Anpassungen sind sie darauf spezialisiert, Texte so zu formulieren, dass sie am besten zu den Erwartungen von Nutzenden passen. Prominente Beispiele für LLMs sind ChatGPT, Claude, Gemini, Gemma oder Mistral.
Im Projekt LLM4KMU werden vorallem Open-Source-Modelle eingesetzt, die innerhalb der bestehenden IT-Infrastruktur betrieben werden können. Dadurch behalten Unternehmen die volle Kontrolle über ihre Daten und müssen sie nicht an externe Plattformen weitergeben. Open-Source Modelle haben den weiteren Vorteil, dass sie für spezielle Aufgaben angepasst werden können und dadurch ihre Präzision auf dieser Aufgabe im Vergleich zu Closed-Source Modellen deutlich verbessern können. Beispiele für Closed-Source Modelle sind: OpenAI’s ChatGPT, Anthropic’s Claude, oder Google’s Gemini.. Beispiele für Open-Source Modelle sind: Meta’s LLaMa, Alibaba Cloud’s Qwen, oder das deutsche Soofi Model.
Die bekanntesten Herausforderungen von LLMs sind enstehende Kosten, Datenschutz und Halluzinationen. In unserem Projekt namens LLM4KMU versuchen wir entstehende Kosten von LLMs zu reduzieren, den Datenschutz bei der LLM Nutzung höher zu priorisieren und Halluzinationen von LLMs zu reduzieren.
Als Halluzinationen werden beispielsweise faktische falsche Angaben bezeichnet, die ein LLM generiert. Ein generierter Text kann sich sehr gut lesen lassen, aber trotzdem falsche Angaben enthalten. Bevor man sich auf den generierten Text verlässt, sollten die Inhalte immer gegen geprüft werden. Im LLM4KMU Projekt erforschen wir wie LLMs weniger Halluzinationen generieren.
Die Eingabe von privaten Daten in LLMs (besonders in closed-source Modelle) sollte vermieden werden. Es ist nicht immer klar, wie genau die Daten von den Firmen weiterverarbeitet werden. Gegebenfalls, könnten sie für ein weiteres Training der Modelle verwendet werden. Bei Open-source Modelle hingegen haben Sie die volle Datenkontrolle, da die Daten Ihre eigenen Server nicht verlassen müssen.
Für das Vortrainieren von LLMs werden viele Grafikenkarten (GPUs) benötigt, was zu hohen Kosten und hohen Emissionen führt. Allerdings können KMUs diese vortrainierten Modelle direkt verwenden, sodass die vorher genannten Kosten nicht vom KMU gezahlt werden müssen.
Für die Verwendung von closed-source Modellen können allerdings weitere Kosten in der Nutzung beispielsweise pro Anfrage entstehen. Diese Nutzungskosten entfallen bei lokalen open-source Modellen. Hier könnten hingegen Kosten für die Anschaffung oder Miete von notwendiger Hardware entstehen. Durch die Nutzung von kleinen open-source Modellen (bis 8 Billionen Parameter) können die Anschaffungskosten und die laufenden Kosten reduziert werden. Im LLM4KMU Projekt konzerntrieren wir uns daher auf die Optimierung von kleinen, open source LLMs für KMUs.
LLMs können vielfältig in kleinen und mittelständischen Unternehmen (KMUs) eingesetzt werden. Häufig werden Beispiele in den Bereichen zu Rechnungswesen, Personalabteilung, Marketing, oder Kundenkommunikation genannt. Allerdings können LLMs auch für firmen-spezifische Anwendungen eingesetzt werden, wie Interaktion mit Bedienungsanleitungen, Informationen aus Texten gewinnen oder nutzerfreundlichere Abfragen von Datenbanken.
Verschaffen Sie sich auf unserer Webseite einen Überblick dazu, wie andere KMUs LLMs in ihrem Unternehmen einsetzen und welche Herausforderungen sie dabei überwunden haben.
