Dieser Artikel beschreibt, wie man Daten aus Python in eine Excel-Datei schreibt und formatiert. Durch die Automatisierung müssen der Inhalt und das Erscheinungsbild des Reports nur einmal programmiert werden; danach lässt sich der Report mit minimalem Aufwand immer wieder erstellen, zum Beispiel für Teildatensätze oder täglich geupdatete Daten.

In diesem Teil zeigen wir wie Sie mit Pydantic eine einfache, aber flexible und leistungsstarke Methode zur Durchführung komplexer Pandas DataFrame Validierungen erstellen. Auf diese Weise können Unit-Tests für Funktionen, die DataFrames zurückgeben, reduziert und die Datenqualität innerhalb von Produktionspipelines trotzdem sichergestellt werden.

In diesem Artikel diskutieren wir die Nachteile der dynamischen Typisierung in Python in Bezug auf Datenqualität und Code-Wartbarkeit. Es gibt eine Einführung in das Pydantic-Paket für Input-Validierung und wir zeigen, wie Decorators funktionieren.

Dies ist der vierte und letzte Teil unserer Serie über Code-Performanz in R. Im ersten Part ging es darum, Code-Geschwindigkeit zu messen und herauszufinden, welcher Teil des Codes langsam ist. Der zweite Teil umfasste allgemeine Techniken zur Beschleunigung von R-Code. Im dritten Teil wurde beschrieben, wie man unter Linux, Mac und Windows R-Code parallelisiert. Dieser Teil widmet sich nun den Herausforderungen, die große Datensätze mit sich bringen

Visualisierungen und Screenshots von Inhalten aktueller Projekte können in den sozialen Medien sehr effektiv und aufmerksamkeitsstark sein. Dieser Artikel zeigt, wie man einen Screenshot einer Website anfertigt und diesen auf Twitter über die Twitter-API veröffentlichen kann, um die Präsenz in sozialen Medien zu verbessern und automatisieren.

Angenommen wir haben Code geschrieben, er läuft durch und er berechnet genau das, was wir brauchen - aber er ist unglaublich langsam. Wenn wir nicht dauerhaft bei unserer Arbeit ausgebremst werden wollen, müssen wir unbedingt die Laufzeit des Codes zu verbessern. Am besten findet man erst einmal heraus, wo man mit der Optimierung ansetzen sollte.

In den Medien finden sich zahlreiche Darstellungen der Intensität und der räumlichen Verteilung von Corona-Neuinfektionen, die auf der Annahme einer einzigen Inzidenzzahl für das gesamte Kreisgebiet beruhen. Geht man einer glatten Verteilung derAnsteckungsrisiken über ganz Deutschland aus, so erhält man eine Kreis-unabhängige glatte Funktion, die die Anzahl der auftretenden Neuinfektionen an einem Ort beschreibt. Diese Darstellung erlaubt die Identifikation von lokalen Hotspots und ihrer zeitlichen Entwicklung und liefert damit wertvolle Hinweise zur Aufdeckung von Verbreitungsrisiken der Corona-Pandemie.

Die US-Präsidentschaftswahlen 2020 im vergangenen November waren das wichtigste politische Ereignis des letzten Jahres. Politikwissenschaftler und Data Scientists hatten die Gelegenheit, Prognosemodelle zu entwickeln, um das Verhalten der amerikanischen Wähler zu verstehen und vorherzusagen. Vergleicht man verschiedene Prognosemethodologien, gibt es 10 wichtige Dinge, die jeder Data Scientist beachten sollte.

Da Halloween nun vorbei ist und der Advent vor der Tür steht, ist es Zeit für die Weihnachtsdekoration. Und wie kann man besser in Stimmung für die Feiertage kommen als mit einem Python-Projekt 🐍?

Traditionell werden Marketingentscheidungen von den Verantwortlichen auf der Grundlage von Instinkt, Erfahrung und verfügbaren Daten getroffen. Was aber, wenn dies automatisiert werden könnte, indem ein künstlicher Agent große Datenmengen verwendet, um automatisch die individuell optimale Marketingstrategie für jeden Kunden zu jedem Zeitpunkt zu bestimmen? Dies ist genau das Versprechen des Reinforcement Learnings.

Dieser Artikel gibt eine theoretische Einführung in Continuous Integration und eine Übersicht über die Vor- sowie Nachteile für die Verwendung von CI Tools. Eine Auswahl verschiedener Tools für den Einstieg wird abschließend vorgestellt.

In diesem Artikel stellen wir unser neues Paket shinyMatrix vor. Dieses stellt ein Eingabefeld für Matrizen in Shiny bereit.

Tools zur Visualisierung in R und Python bieten in unterschiedlicher Weise Unterstützung für Projekte. Wenn Sie sich noch unschlüssig sind, welches die passende Sprache für Sie ist, könnte dieser Artikel für Sie interessant sein und Hilfe bei der Entscheidungsfindung bieten. Es werden gängige Pakete beider Sprachen vorgestellt und beispielhafte Grafiken erstellt.

Eine der größten Herausforderungen für Unternehmen besteht darin, ihre Werbebudgets effizient einzusetzen und gezielt so zu werben, dass die Werbung den Kunden trifft, wenn sie die größte Hebelwirkung hat - ohne überwältigend, wiederholend oder irrelevant zu sein. Mit Marketing Mix Modeling können wir helfen, diese Herausforderung zu meistern.

Verständliche, saubere und konforme Daten sind eine Voraussetzung für den Geschäftserfolg. Es bedarf besonderer Sorgfalt, um sicherzustellen, dass Analysen die auf Grundlage von Daten durchgeführt werden, zuverlässig sind und einen Mehrwert schaffen. In diesem Zusammenhang wird die Rolle eines Data Steward immer wertvoller. Dieser Artikel diskutiert die verschiedenen Rollen und Aufgaben die in den Bereich Data Stewardship fallen.

In diesem Artikel schauen wir uns an, wie man auch eine Shiny App mit übersichtlichem Code, wiederverwertbaren und automatisiert testbaren Bausteinen (Modulen) baut. Dafür gehen wir zunächst auf die Paketstruktur und das Testen einer App ein, bevor wir uns den eigentlichen Modulen widmen.

Wenn unsere R-Projekte größer werden, dann müssen wir anfangen sie besser zu organisieren. Das passiert oft dadurch, dass wir den Programm-Code in verschiedene Dateien aufteilen, Funktionen verwenden und mit fortgeschrittenen Fähigkeiten sollten wir natürlich auf Pakete zurückgreifen. Es ist dabei etwas schade, dass die Basisfunktionalität in R keine Abstraktionsebene bereitstellt, die sich zwischen Funktionen und Paketen einsortieren lässt. Mit dem Paket modules kann diese Lücke gefüllt werden.

Dies ist eine Reproduktion des (einfachen) Balkendiagramms aus dem Kapitel 6.1.1 in Datendesign mit R mit ggplot2.

Sobald Sie Code nicht nur für sich selbst, sondern auch für andere schreiben, wollen Sie Ihre Leser natürlich nicht verlieren. Plötzlich müssen Sie sich Gedanken um Formatierung, Coding-Style und Verständlichkeit machen. Formatierung und teilweise auch Style können durch die Einhaltung eines Styleguides abgedeckt werden. In diesem Artikel wird der Styleguide vorgestellt, den wir bei INWT etabliert haben.

Nachdem die INWT Statistics Prognose für die Bundestagswahl 2017 für uns ein voller Erfolg war, wollten wir es auch in diesem Jahr wieder wissen. Und zwar ganz genau. Wer gewinnt die FIFA WM 2018? Wer sind die Gruppensieger? Und wie viele Tore wird Deutschland gegen seinen nächsten Gegner erzielen? Diese und viele weitere Fragen beschäftigten uns im Vorfeld der Weltmeisterschaft. Wir entwickelten ein Data Science-Modell um Antworten auf diese Fragen zu liefern. Wie hat unsere Prognose anhand der der tatsächlichen Ergebnisse der WM, im Vergleich mit dem Tierorakel Achilles und zu anderen statistischen Prognosen abgeschnitten?

Python hat in den letzten Jahren, insbesondere durch die intensive Nutzung in den Bereichen Data Science, Machine Learning und Deep Learning, einen massiven Aufschwung erfahren. Auch wenn R in ähnlicher Form am Wachsen ist, kann es für professionelle AnwenderInnen immer von Vorteil sein, über mehrere Sprachen Bescheid zu wissen.

Welche Kriterien sollten bei der Auswahl einer Statistik-Software berücksichtigt werden? Die gängigen Statistik-Programm-Pakete unterscheiden sich hinsichtlich ihrer Stärken und Schwächen wie auch in ihrer Handhabung mitunter ganz erheblich. Die Entscheidung für ein System sollte gut überlegt sein. Ein nachträglicher Wechsel verursacht hohe Kosten für neue Lizenzen und die Umschulung der Mitarbeiter. Dieser Artikel arbeitet eine Checkliste aus, anhand derer sich die Alternativen hinsichtlich der individuellen Anforderungen bewerten lassen.

Der dritte Teil der Artikelserie zu Statistik-Software nimmt die Open Source-Statistik-Umgebung R unter die Lupe. R bietet eine umfassende Methodenunterstützung, eignet sich hervorragend zur Automatisierung von Prozessen und ist ungeschlagen hinsichtlich der Integrierbarkeit mit Anwendungen von Drittanbietern.

SPSS ist eines der ältesten Statistik-Programme am Markt. Ursprünglich wurde SPSS von der eigenständigen Firma „SPSS Inc.“ Ende der 60er Jahre entwickelt. Der Name stand für „Statistical Package for the Social Sciences” und tatsächlich ist SPSS im Bereich der Sozialwissenschaft das dominierende Tool für statistische Analysen.

Seit März 2017 veröffentlichen wir in unserem Blog regelmäßig Prognosen zur Bundestagswahl 2017. Unser Prognosemodell basiert auf den Ergebnissen der Umfrageinstitute, welche es gewichtet und zusammenfasst. Nun, nach der Wahl, möchten wir die Gelegenheit nutzen unser Modell anhand der tatsächlichen Wahlergebnisse zu evaluieren.

Dieser Artikel beschreibt die Vorbereitung der Wahlprogramme der wichtigsten deutschen Parteien für eine Text-Mining-Analyse in R.

In Zusammenarbeit mit den Politikberatern der de'ge'pol haben wir unsere Prognose zur Bundestagswahl mit Expertenmeinungen zu den Koalitionsbildungschancen kombiniert. Dies lässt uns fundierte Wahrscheinlichkeitsaussagen darüber treffen, welche Koalition bzw. welcher Kanzler Deutschland nach der Bundestagswahl regieren wird.

MariaDB ist aktuell die am schnellsten wachsende Open-Source-Datenbanklösung. Sie wird hauptsächlich von der MariaDB Corporation entwickelt und ist ein Fork von MySQL. Dieser Artikel beschreibt eine selbstentwickelte Lösung zum Überwachen und Optimieren des Datenbanksystems: den MariaDB-Monitor. Es handelt sich dabei um eine Alternative zu existierenden kostenpflichtigen oder weniger flexiblen Monitoring-Tools.

Die Clusteranalyse dient zum Auffinden von Gruppenstrukturen in Daten. Dieser Artikel gibt einen Überblick über die gängigsten Verfahren und zeigt, wie gefundene Clusterlösungen validiert werden können.

Nachdem man ein Modell gefunden hat, das das Eintreten eines Ereignisses vorhersagt, ist es angebracht, die Vorhersagequalität bzw. Modellgüte zu bestimmen. In diesem Artikel werden die Klassifikationstabelle und die sich daraus ableitenden Gütemaße sowie die Receiver Operating Characteristic (ROC) Kurve näher beleuchtet.

Die Erfahrung zeigt es: Um von Big Data tatsächlich zu profitieren, sollten die Werbeversprechen der Hersteller hinterfragt werden. Darüber hinaus gibt der letzte Teil der Artikelserie zum Thema "Big Data" Hinweise, um Projekte richtig zu planen und zum Erfolg zu führen.

„Big Data” ist einer der dominierenden Trends in der IT, der auch das Motto der CeBiT 2014 prägte und in den letzten Jahren zu einem regelrechten Hype geworden ist. Doch was verbirgt sich hinter dem Begriff und gibt es wirklich nur Gewinner?

20 Tipps, die Ihnen helfen, die gröbsten Fehler zu umschiffen und einen besseren Fragebogen zu konstruieren.

Als Beispiel für eine multiple lineare Regression dient die Frage, welche Faktoren die Qualität von Wein beeinflussen. Beantwortet hat sie Orley Ashenfelter, ein Professor für Ökonomie.

Die Durchführung einer Regression (lat. regredi = zurückgehen) hat das Ziel, anhand von mindestens einer unabhängigen Variablen x (auch erklärende Variable genannt) die Eigenschaften einer anderen abhängigen Variablen y zu prognostizieren.

Das korrigierte Bestimmtheitsmaß R²: Modellanpassung und Sparsamkeit berücksichtigen.

Wie ist das R² definiert und wie wird der Wert des R² interpretiert?

Eine statistische Analyse von über 150 Lego-Bausätzen zeigt, dass der Preis einzelner Legobauteile nicht nur durch deren Größe, sondern maßgeblich durch die Zugehörigkeit zu bestimmten Lego-Themenwelten, wie z.B. Star Wars, erklärt werden kann.

Ein wesentlicher Vorteil des Online-Marketings besteht in der Messbarkeit der Werbewirkung der eingesetzten Mittel. Besteht der Marketingmix darüber hinaus aus Online- und Offline-Werbung, so stellt sich die Frage nach dem Impact der Offline-Werbung auf das Online-Geschäft. Am Beispiel der TV-Werbewirkung auf die Besucherzahlen eines Online-Auftritts wird gezeigt, wie mittels Zeitreihenzerlegung der Offline-Online-Impact messbar wird.

Mit Attributanalysen auf Basis von Geschäftsregeln können im Data-Profiling-Prozess Informationen zu Inhalt, Struktur und Qualität von Daten gewonnen werden. In diesem Artikel wird eine Auswahl von Analysen vorgestellt.

Für eine realistische Planung von Projekten werden verlässliche Aussagen über die Qualität von Daten benötigt. Eine frühzeitige Untersuchung der Datenqualität bewahrt vor unerwünschten Überraschungen, die den Aufwand des Projektes vergrößern und geplante Termine nach hinten verschieben können.

Datenqualität darf nicht ausschließlich aus der technischen Perspektive betrachtet werden, sondern muss auch über den Inhalt der Daten bestimmt werden.

Anders als im klassischen Marketing, in dem Daten meist Mangelware darstellen, verfügt man im Online-Marketing über riesige Datenbestände. Auch wenn die oft Terabyte großen Logfiles und Datenbanken bisher kaum genutzt wurden, herrschen Pioniergeist und Optimismus vor.

Ein Vorteil des Online-Marketings ist - entsprechende Technologie vorausgesetzt - die direkte Messbarkeit des Werbeerfolgs. Der erste Teil der Artikelserie beschäftigt sich mit den Grundlagen der Beurteilung von Placements im Display-Advertising. Im zweiten Teil wird ein statistisches Modell vorgestellt, welches die Beurteilung von Placements schneller als konventionelle Ansätze ermöglicht.

Beständig hält sich das Gerücht, dass die Frage der Repräsentativität primär mit dem Stichprobenumfang (häufig in der Statistik kurz als „n“ bezeichnet) zusammenhängt.