src/kernel/swift.c

   1 #include <linux/module.h>
   2 #include <linux/version.h>
   3 #include <net/sock.h>
   4 #include <net/protocol.h>
   5 #include <net/ip.h>
   6 #include <net/route.h>
   7
   8 #include "swift.h"
   9 #include "debug.h"
  10
  11 MODULE_DESCRIPTION("Swift Transport Protocol");
  12 MODULE_AUTHOR("Adrian Bondrescu/Cornel Mercan");
  13 MODULE_LICENSE("GPL");
  14
  15 struct swift_sock {
  16         struct inet_sock sock;
  17         /* swift socket speciffic data */
  18         uint8_t src;
  19         uint8_t dst;
  20 };
  21
  22 static struct swift_sock * sock_port_map[MAX_SWIFT_PORT];
  23
  24 static inline struct swift_sock * swift_sk(struct sock * sock)
  25 {
  26         return (struct swift_sock *)(sock);
  27 }
  28
  29 static inline struct swifthdr * swift_hdr(const struct sk_buff * skb)
  30 {
  31         return (struct swifthdr *) skb_transport_header(skb);
  32 }
  33
  34 static inline uint8_t get_next_free_port(void)
  35 {
  36         int i;
  37         for (i = MIN_SWIFT_PORT; i < MAX_SWIFT_PORT; i ++)
  38                 if (sock_port_map[i] == NULL)
  39                         return i;
  40         return 0;
  41 }
  42
  43 static inline void swift_unhash(uint8_t port)
  44 {
  45         sock_port_map[port] = NULL;
  46 }
  47
  48 static inline void swift_hash(uint8_t port, struct swift_sock *ssh)
  49 {
  50         sock_port_map[port] = ssh;
  51 }
  52
  53 static inline struct swift_sock * swift_lookup(uint8_t port)
  54 {
  55         return sock_port_map[port];
  56 }
  57
  58 static int swift_release(struct socket *sock)
  59 {
  60         struct sock *sk = sock->sk;
  61         struct swift_sock * ssk = swift_sk(sk);
  62
  63         if (unlikely(!sk))
  64                 return 0;
  65
  66         swift_unhash(ssk->src);
  67
  68         sock_prot_inuse_add(sock_net(sk), sk->sk_prot, -1);
  69
  70         synchronize_net();
  71
  72         sock_orphan(sk);
  73         sock->sk = NULL;
  74
  75         skb_queue_purge(&sk->sk_receive_queue);
  76
  77         log_debug("swift_release sock=%p\n", sk);
  78         sock_put(sk);
  79
  80         return 0;
  81 }
  82
  83 static int swift_bind(struct socket *sock, struct sockaddr *addr, int addr_len)
  84 {
  85         struct sockaddr_swift *swift_addr;
  86         struct swift_sock *ssk;
  87         int err;
  88         uint8_t port;
  89
  90         if (unlikely(addr_len < sizeof(struct sockaddr_swift))) {
  91                 log_error("Invalid size for sockaddr\n");
  92                 err = -EINVAL;
  93                 goto out;
  94         }
  95
  96         swift_addr = (struct sockaddr_swift *) addr;
  97
  98         port = swift_addr->dests[0].port;
  99
 100         if (unlikely(port == 0 || port >= MAX_SWIFT_PORT)) {
 101                 log_error("Invalid value for sockaddr port (%u)\n", port);
 102                 err = -EINVAL;
 103                 goto out;
 104         }
 105
 106         if (unlikely(swift_lookup(port) != NULL)) {
 107                 log_error("Port %u already in use\n", port);
 108                 err = -EADDRINUSE;
 109                 goto out;
 110         }
 111
 112         ssk = swift_sk(sock->sk);
 113         ssk->src = port;
 114
 115         swift_hash(port, ssk);
 116
 117         log_debug("Socket %p bound to port %u\n", ssk, port);
 118
 119         return 0;
 120
 121 out:
 122         return err;
 123 }
 124
 125 static int swift_connect(struct socket *sock, struct sockaddr *addr, int addr_len, int flags)
 126 {
 127         int err;
 128         struct sock * sk;
 129         struct inet_sock * isk;
 130         struct swift_sock * ssk;
 131
 132         log_debug("swift_connect\n");
 133
 134         if (unlikely(sock == NULL)) {
 135                 log_error("Sock is NULL\n");
 136                 err = -EINVAL;
 137                 goto out;
 138         }
 139         sk = sock->sk;
 140
 141         if (unlikely(sk == NULL)) {
 142                 log_error("Sock->sk is NULL\n");
 143                 err = -EINVAL;
 144                 goto out;
 145         }
 146
 147         isk = inet_sk(sk);
 148         ssk = swift_sk(sk);
 149
 150         if (unlikely(ssk->src != 0)) {
 151                 log_error("ssk->src is not NULL\n");
 152                 err = -EINVAL;
 153                 goto out;
 154         }
 155
 156         if (likely(addr)) {
 157                 struct sockaddr_swift * swift_addr = (struct sockaddr_swift *) addr;
 158
 159         if (unlikely(addr_len < sizeof(*swift_addr) ||
 160                      addr_len < swift_addr->count * sizeof(struct swift_dest) ||
 161                      swift_addr->count <= 0)) {
 162                         log_error("Invalid size or address family\n");
 163                         err = -EINVAL;
 164                         goto out;
 165                 }
 166                 ssk->dst = swift_addr->dests[0].port;
 167                 if (unlikely(ssk->dst == 0 || ssk->dst >= MAX_SWIFT_PORT)) {
 168                         log_error("Invalid value for destination port(%u)\n", ssk->dst);
 169                         err = -EINVAL;
 170                         goto out;
 171                 }
 172
 173                 isk->inet_daddr = swift_addr->dests[0].addr;
 174                 log_debug("Received from user space destination port=%u and address=%u\n", ssk->dst, isk->inet_daddr);
 175         } else {
 176                 log_error("Invalid swift_addr (NULL)\n");
 177                 err = -EINVAL;
 178                 goto out;
 179         }
 180
 181         ssk->src = get_next_free_port();
 182         if (unlikely(ssk->src == 0)) {
 183                 log_error("No free ports\n");
 184                 err = -ENOMEM;
 185                 goto out;
 186         }
 187
 188         swift_hash(ssk->src, ssk);
 189
 190         return 0;
 191
 192 out:
 193         return err;
 194 }
 195
 196 static int swift_sendmsg(struct kiocb *iocb, struct socket *sock, struct msghdr *msg, size_t len)
 197 {
 198         int err;
 199         uint8_t dport;
 200     __be32 daddr;
 201     uint8_t sport;
 202     struct sk_buff * skb;
 203     struct sock * sk;
 204     struct inet_sock * isk;
 205     struct swift_sock * ssk;
 206     struct swifthdr * shdr;
 207     int connected = 0;
 208     int totlen;
 209     struct rtable * rt = NULL;
 210     int dests = 0;
 211     int i;
 212     struct sockaddr_swift * swift_addr = NULL;
 213
 214     if (unlikely(sock == NULL)) {
 215         log_error("Sock is NULL\n");
 216         err = -EINVAL;
 217         goto out;
 218     }
 219     sk = sock->sk;
 220
 221     if (unlikely(sk == NULL)) {
 222         log_error("Sock->sk is NULL\n");
 223         err = -EINVAL;
 224         goto out;
 225     }
 226
 227     isk = inet_sk(sk);
 228     ssk = swift_sk(sk);
 229
 230     sport = ssk->src;
 231     if (sport == 0) {
 232         sport = get_next_free_port();
 233         if (unlikely(sport == 0)) {
 234             log_error("No free ports\n");
 235             err = -ENOMEM;
 236             goto out;
 237         }
 238     }
 239
 240     if (msg->msg_name) {
 241         swift_addr = (struct sockaddr_swift *) msg->msg_name;
 242
 243         if (unlikely(msg->msg_namelen < sizeof(*swift_addr) ||
 244                      msg->msg_namelen < swift_addr->count * sizeof(struct swift_dest) ||
 245                      swift_addr->count <= 0)) {
 246             log_error("Invalid size for msg_name\n");
 247             err = -EINVAL;
 248             goto out;
 249         }
 250
 251         dests = swift_addr->count;
 252     } else {
 253         BUG();
 254         if (unlikely(!ssk->dst || !isk->inet_daddr)) {
 255             log_error("No destination port/address\n");
 256             err = -EDESTADDRREQ;
 257             goto out;
 258         }
 259         dport = ssk->dst;
 260         daddr = isk->inet_daddr;
 261
 262         log_debug("Got from socket destination port=%u and address=%u\n", dport, daddr);
 263         connected = 1;
 264     }
 265
 266     if (msg->msg_iovlen < dests)
 267         dests = msg->msg_iovlen;
 268
 269     for (i = 0; i < dests; i++) {
 270         struct swift_dest *dest = &swift_addr->dests[i];
 271         struct iovec *iov = &msg->msg_iov[i];
 272
 273         dport = dest->port;
 274         if (unlikely(dport == 0 || dport >= MAX_SWIFT_PORT)) {
 275             log_error("Invalid value for destination port(%u)\n", dport);
 276             err = -EINVAL;
 277             goto out;
 278         }
 279
 280         daddr = dest->addr;
 281         log_debug("Received from user space destination port=%u and address=%u\n", dport, daddr);
 282
 283         len = iov->iov_len;
 284         totlen = len + sizeof(struct swifthdr) + sizeof(struct iphdr);
 285         skb = sock_alloc_send_skb(sk, totlen, msg->msg_flags & MSG_DONTWAIT, &err);
 286         if (unlikely(!skb)) {
 287             log_error("sock_alloc_send_skb failed\n");
 288             goto out;
 289         }
 290         log_debug("Allocated %u bytes for skb (payload size=%u)\n", totlen, len);
 291
 292         skb_reset_network_header(skb);
 293         skb_reserve(skb, sizeof(struct iphdr));
 294         log_debug("Reseted network header\n");
 295         skb_reset_transport_header(skb);
 296         skb_put(skb, sizeof(struct swifthdr));
 297         log_debug("Reseted transport header\n");
 298
 299         shdr = (struct swifthdr *) skb_transport_header(skb);
 300         shdr->dst = dport;
 301         shdr->src = sport;
 302         shdr->len = ntohs(len + sizeof(struct swifthdr));
 303
 304         log_debug("payload=%p\n", skb_put(skb, len));
 305
 306         err = skb_copy_datagram_from_iovec(skb, sizeof(struct swifthdr), iov, 0, len);
 307         if (unlikely(err)) {
 308             log_error("skb_copy_datagram_from_iovec failed\n");
 309             goto out_free;
 310         }
 311         log_debug("Copied %u bytes into the skb\n", len);
 312
 313         if (connected)
 314             rt = (struct rtable *) __sk_dst_check(sk, 0);
 315
 316         if (rt == NULL) {
 317             struct flowi fl = { .fl4_dst = daddr,
 318                 .proto = sk->sk_protocol,
 319                 .flags = inet_sk_flowi_flags(sk),
 320             };
 321             err = ip_route_output_flow(sock_net(sk), &rt, &fl, sk, 0);
 322             if (unlikely(err)) {
 323                 log_error("Route lookup failed\n");
 324                 goto out_free;
 325             }
 326 #if LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 36)
 327             sk_dst_set(sk, dst_clone(&rt->u.dst));
 328 #else
 329             sk_dst_set(sk, dst_clone(&rt->dst));
 330 #endif
 331         }
 332
 333         err = ip_queue_xmit(skb);
 334         if (likely(!err))
 335             log_debug("Sent %u bytes on wire\n", len);
 336         else
 337             log_error("ip_queue_xmit failed\n");
 338     }
 339
 340         return err;
 341
 342 out_free:
 343         kfree(skb);
 344
 345 out:
 346         return err;
 347 }
 348
 349 static int swift_recvmsg(struct kiocb *iocb, struct socket *sock, struct msghdr *msg, size_t len, int flags)
 350 {
 351         struct sk_buff *skb;
 352         struct sockaddr_swift *swift_addr;
 353         struct sock * sk = sock->sk;
 354         int err, copied;
 355
 356     log_debug("Trying to receive sock=%p sk=%p flags=%d\n", sock, sk, flags);
 357
 358         skb = skb_recv_datagram(sk, flags, flags & MSG_DONTWAIT, &err);
 359         if (unlikely(!skb)) {
 360                 log_error("skb_recv_datagram\n");
 361                 goto out;
 362         }
 363
 364         log_debug("Received skb %p\n", skb);
 365
 366         swift_addr = (struct sockaddr_swift *) skb->cb;
 367         msg->msg_namelen = sizeof(struct sockaddr_swift);
 368
 369         copied = skb->len;
 370         if (copied > len) {
 371                 copied = len;
 372                 msg->msg_flags |= MSG_TRUNC;
 373         }
 374
 375         err = skb_copy_datagram_iovec(skb, 0, msg->msg_iov, copied);
 376         if (unlikely(err)) {
 377                 log_error("skb_copy_datagram_iovec\n");
 378                 goto out_free;
 379         }
 380
 381         sock_recv_ts_and_drops(msg, sk, skb);
 382
 383         if (msg->msg_name)
 384                 memcpy(msg->msg_name, swift_addr, msg->msg_namelen);
 385
 386         err = copied;
 387
 388 out_free:
 389         skb_free_datagram(sk, skb);
 390
 391 out:
 392         return err;
 393 }
 394
 395 static int swift_rcv(struct sk_buff *skb)
 396 {
 397         struct swifthdr *shdr;
 398         struct swift_sock *ssk;
 399         __be16 len;
 400         uint8_t src, dst;
 401         struct sockaddr_swift * swift_addr;
 402         int err;
 403
 404         if (unlikely(!pskb_may_pull(skb, sizeof(struct swifthdr)))) {
 405                 log_error("Insufficient space for header\n");
 406                 goto drop;
 407         }
 408
 409         shdr = (struct swifthdr *) skb->data;
 410         len = ntohs(shdr->len);
 411
 412         if (unlikely(skb->len < len)) {
 413                 log_error("Malformed packet (packet_len=%u, skb_len=%u)\n", len, skb->len);
 414                 goto drop;
 415         }
 416
 417         if (unlikely(len < sizeof(struct swifthdr))) {
 418                 log_error("Malformed packet (packet_len=%u sizeof(swifthdr)=%u\n", len, sizeof(struct swifthdr));
 419                 goto drop;
 420         }
 421
 422         src = shdr->src;
 423         dst = shdr->dst;
 424         if (unlikely(src == 0 || dst == 0 || src >= MAX_SWIFT_PORT || dst >= MAX_SWIFT_PORT)) {
 425                 log_error("Malformed packet (src=%u, dst=%u)\n", shdr->src, shdr->dst);
 426                 goto drop;
 427         }
 428
 429         skb_pull(skb, sizeof(struct swifthdr));
 430         len -= sizeof(struct swifthdr);
 431
 432         pskb_trim(skb, len);
 433
 434         log_debug("Received %u bytes from from port=%u to port=%u\n", len - sizeof(struct swifthdr), src, dst);
 435
 436         ssk = swift_lookup(dst);
 437         if (ssk == NULL) {
 438                 log_error("Swift lookup failed for port %u\n", dst);
 439                 goto drop;
 440         }
 441
 442         BUILD_BUG_ON(sizeof(struct sockaddr_swift) > sizeof(skb->cb));
 443
 444         swift_addr = (struct sockaddr_swift *) skb->cb;
 445         swift_addr->dests[0].port = shdr->src;
 446         swift_addr->dests[0].addr = ip_hdr(skb)->saddr;
 447
 448         log_debug("Setting sin_port=%u, sin_addr=%u\n", ntohs(shdr->src), swift_addr->dests[0].addr);
 449
 450         err = ip_queue_rcv_skb((struct sock *) &ssk->sock, skb);
 451         if (unlikely(err)) {
 452                 log_error("ip_queu_rcv_skb\n");
 453                 consume_skb(skb);
 454         }
 455         return NET_RX_SUCCESS;
 456
 457 drop:
 458         kfree(skb);
 459         return NET_RX_DROP;
 460 }
 461
 462 static struct proto swift_prot = {
 463         .obj_size = sizeof(struct swift_sock),
 464         .owner    = THIS_MODULE,
 465         .name     = "SWIFT",
 466 };
 467
 468 static const struct proto_ops swift_ops = {
 469         .family     = PF_INET,
 470         .owner      = THIS_MODULE,
 471         .release    = swift_release,
 472         .bind       = swift_bind,
 473         .connect    = swift_connect,
 474         .socketpair = sock_no_socketpair,
 475         .accept     = sock_no_accept,
 476         .getname    = sock_no_getname,
 477         .poll       = datagram_poll,
 478         .ioctl      = sock_no_ioctl,
 479         .listen     = sock_no_listen,
 480         .shutdown   = sock_no_shutdown,
 481         .setsockopt = sock_no_setsockopt,
 482         .getsockopt = sock_no_getsockopt,
 483         .sendmsg    = swift_sendmsg,
 484         .recvmsg    = swift_recvmsg,
 485         .mmap       = sock_no_mmap,
 486         .sendpage   = sock_no_sendpage,
 487 };
 488
 489 static const struct net_protocol swift_protocol = {
 490         .handler   = swift_rcv,
 491         .no_policy = 1,
 492         .netns_ok  = 1,
 493 };
 494
 495 static struct inet_protosw swift_protosw = {
 496         .type     = SOCK_DGRAM,
 497         .protocol = IPPROTO_SWIFT,
 498         .prot     = &swift_prot,
 499         .ops      = &swift_ops,
 500         .no_check = 0,
 501 };
 502
 503 static int __init swift_init(void)
 504 {
 505         int rc;
 506
 507         rc = proto_register(&swift_prot, 1);
 508         if (unlikely(rc)) {
 509                 log_error("Error registering swift protocol\n");
 510                 goto out;
 511         }
 512
 513         rc = inet_add_protocol(&swift_protocol, IPPROTO_SWIFT);
 514         if (unlikely(rc)) {
 515                 log_error("Error adding swift protocol\n");
 516                 goto out_unregister;
 517         }
 518
 519         inet_register_protosw(&swift_protosw);
 520         log_debug("Swift entered\n");
 521
 522         return 0;
 523
 524 out_unregister:
 525         proto_unregister(&swift_prot);
 526
 527 out:
 528         return rc;
 529 }
 530
 531 static void __exit swift_exit(void)
 532 {
 533         inet_unregister_protosw(&swift_protosw);
 534
 535         inet_del_protocol(&swift_protocol, IPPROTO_SWIFT);
 536
 537         proto_unregister(&swift_prot);
 538
 539         log_debug("Swift exited\n");
 540 }
 541
 542 module_init(swift_init);
 543 module_exit(swift_exit);