Projectoverzicht
De groei van mobiele financiële transacties heeft geleid tot een toename van geavanceerde sms-fraude ("smishing"). Traditionele op regels gebaseerde filters missen deze evoluerende dreigingen vaak, terwijl krachtige Cloud AI-oplossingen ernstige privacyzorgen oproepen—gebruikers willen niet dat hun privé bankberichten naar een externe server worden gestuurd.
FraudShield is ons antwoord op dit dilemma. Het is een lichtgewicht mobiele applicatie die Large Language Models (LLM's) volledig on-device laat draaien. Door geavanceerde AI-modellen te optimaliseren en te comprimeren, behaalden we 99,5% nauwkeurigheid in fraudedetectie in een offline omgeving, wat garandeert dat gebruikersdata nooit hun telefoon verlaat.
De Uitdaging
Het inzetten van GenAI voor beveiliging leverde een "trilemma" op van conflicterende beperkingen:
1. De Privacybarrière
Financiële sms-berichten bevatten gevoelige persoonlijke data (otp-codes, saldomeldingen). Het versturen van deze data naar een cloud-API (zoals OpenAI) voor analyse is een beveiligingsrisico en een privacyschending. De oplossing moest 100% offline werken.
2. De Resourcekloof
Standaard LLM's vereisen gigabytes aan RAM en krachtige gpu's. Het draaien ervan op een standaard smartphone put doorgaans direct de batterij uit of laat het apparaat crashen.
3. Real-time Latency
Fraude gebeurt in seconden. Een gebruiker kan direct op een phishinglink klikken. We konden ons de latency van netwerkoproepen niet veroorloven; de detectie moest binnen milliseconden plaatsvinden.
Onze Oplossing: Extreme Model Quantization
We verplaatsten de intelligentie van de server naar de broekzak. In plaats van een simpele app-wrapper te bouwen, gingen we diep in de Machine Learning-engineering om open-source modellen te finetunen en te verkleinen.
Fase 1: Modeloptimalisatie & Finetuning
We selecteerden compacte "Small Language Models" (SLM's)—specifiek Llama-160M en Qwen1.5-0.5B. We finetuneden deze modellen op een samengestelde dataset van financiële fraudeberichten, waarbij we ze leerden subtiele taalpatronen te herkennen die door oplichters worden gebruikt (urgentie, nepautoriteit, verdachte links).
Fase 2: Quantization & Compressie
Om deze modellen op een telefoon te laten passen, gebruikten we 4-bit quantization en converteerden we ze naar het ONNX (Open Neural Network Exchange)-formaat.
- Drastische Verkleining: We comprimeerden het Llama-160M-model tot een footprint van slechts 168MB.
- Efficiëntie: Hierdoor kon het model geladen worden in het RAM-geheugen van zelfs middenklasse Android-toestellen zonder de prestaties te beïnvloeden.
Fase 3: De Mobiele Wachter
We bouwden een React Native-interface die het ONNX-model op de achtergrond uitvoert. Deze onderschept binnenkomende sms, tokeniseert de tekst lokaal, berekent de kans op fraude en waarschuwt de gebruiker—allemaal binnen een fractie van een seconde.
Belangrijkste Functies
🛡️ 100% Offline Privacy
Er is geen internetverbinding vereist voor detectie. Je berichten worden verwerkt op de cpu/npu van je apparaat, wat absolute datasoevereiniteit garandeert. Er wordt nooit data geüpload naar de cloud.
⚡ Analyse binnen een Fractie van een Seconde
Door gebruik te maken van ONNX Runtime levert de app bijna-instantane analyse. Gebruikers worden gewaarschuwd voor een "verdachte transactiemelding" nog voordat ze het bericht helemaal hebben gelezen.
🧠 Contextbewust Begrip
In tegenstelling tot trefwoordblokkers (die alles blokkeren met "Bank" erin), begrijpt de LLM context. Het kan onderscheid maken tussen een legitieme "Uw saldo is laag"-melding van je eigen bank en een nepbericht als "DRINGEND: WERK GEGEVENS BIJ" phishing-poging.
Technische Implementatie
Techstack
- Kern-AI: Gefinetunede Llama-160M- & Qwen1.5-0.5B-modellen.
- Modelformaat: ONNX (Open Neural Network Exchange) voor cross-platform hardwareversnelling.
- Mobiel Framework: React Native met een op maat gemaakte C++ bridge voor de inference-engine.
- Training: PyTorch met QLoRA (Quantized Low-Rank Adaptation) voor efficiënte finetuning.
Vergelijkende Prestatiegegevens
We testten meerdere modelarchitecturen om de perfecte balans tussen snelheid en nauwkeurigheid te vinden.
| Modelvariant | Quantization | Nauwkeurigheid | Modelgrootte |
|---|---|---|---|
| Llama-160M-Chat | 4-bit (bnb4) | 99,47% | 168 MB |
| Qwen1.5-0.5B-Chat | 4-bit (bnb4) | 99,50% | 797 MB |
De Llama-160M-variant bleek de "sweet spot" te zijn, met beveiliging op ondernemingsniveau in een footprint kleiner dan een gemiddelde social media-app.
Resultaten & Impact
FraudShield toont aan dat privacy en AI-kracht kunnen samengaan.
- 99,47% Detectienauwkeurigheid: Presteerde aanzienlijk beter dan traditionele trefwoordgebaseerde filters.
- Geen Datalekken: Succesvol gevalideerd dat er tijdens het scanproces geen datapakketten het apparaat verlaten.
- Batterij-efficiënt: Het geoptimaliseerde model verbruikt verwaarloosbaar veel batterij, en draait alleen wanneer een bericht binnenkomt.
- Lichtgewicht Footprint: Met slechts ~170MB is de volledige AI-engine licht genoeg voor massale adoptie in opkomende markten met oudere apparaten.
Conclusie
FraudShield is meer dan een app; het is een proof of concept voor de toekomst van Edge AI. CodeScale heeft bewezen dat we massale, complexe Large Language Models kunnen nemen en ze zo kunnen engineeren dat ze reële problemen oplossen op de meest beperkte apparaten, waardoor de kracht van AI naar gebruikers wordt gebracht zonder hun privacy in gevaar te brengen.