src/kernel/swift.c

   1 #include <linux/module.h>
   2 #include <linux/version.h>
   3 #include <net/sock.h>
   4 #include <net/protocol.h>
   5 #include <net/ip.h>
   6 #include <net/route.h>
   7
   8 #include "swift.h"
   9 #include "debug.h"
  10
  11 MODULE_DESCRIPTION("Swift Transport Protocol");
  12 MODULE_AUTHOR("Adrian Bondrescu/Cornel Mercan");
  13 MODULE_LICENSE("GPL");
  14
  15 struct swift_sock {
  16         struct inet_sock sock;
  17         /* swift socket speciffic data */
  18         uint8_t src;
  19         uint8_t dst;
  20 };
  21
  22 static struct swift_sock * sock_port_map[MAX_SWIFT_PORT];
  23
  24 static inline struct swift_sock * swift_sk(struct sock * sock)
  25 {
  26         return (struct swift_sock *)(sock);
  27 }
  28
  29 static inline struct swifthdr * swift_hdr(const struct sk_buff * skb)
  30 {
  31         return (struct swifthdr *) skb_transport_header(skb);
  32 }
  33
  34 static inline uint8_t get_next_free_port(void)
  35 {
  36         int i;
  37         for (i = MIN_SWIFT_PORT; i < MAX_SWIFT_PORT; i ++)
  38                 if (sock_port_map[i] == NULL)
  39                         return i;
  40         return 0;
  41 }
  42
  43 static inline void swift_unhash(uint8_t port)
  44 {
  45         sock_port_map[port] = NULL;
  46 }
  47
  48 static inline void swift_hash(uint8_t port, struct swift_sock *ssh)
  49 {
  50         sock_port_map[port] = ssh;
  51 }
  52
  53 static inline struct swift_sock * swift_lookup(uint8_t port)
  54 {
  55         return sock_port_map[port];
  56 }
  57
  58 static int swift_release(struct socket *sock)
  59 {
  60         struct sock *sk = sock->sk;
  61         struct swift_sock * ssk = swift_sk(sk);
  62
  63         if (unlikely(!sk))
  64                 return 0;
  65
  66         swift_unhash(ssk->src);
  67
  68         sock_prot_inuse_add(sock_net(sk), sk->sk_prot, -1);
  69
  70         synchronize_net();
  71
  72         sock_orphan(sk);
  73         sock->sk = NULL;
  74
  75         skb_queue_purge(&sk->sk_receive_queue);
  76
  77         log_debug("swift_release sock=%p\n", sk);
  78         sock_put(sk);
  79
  80         return 0;
  81 }
  82
  83 static int swift_bind(struct socket *sock, struct sockaddr *addr, int addr_len)
  84 {
  85         struct sockaddr_swift *swift_addr;
  86         struct swift_sock *ssk;
  87         int err;
  88         uint8_t port;
  89
  90         if (unlikely(addr_len < sizeof(struct sockaddr_swift))) {
  91                 log_error("Invalid size for sockaddr\n");
  92                 err = -EINVAL;
  93                 goto out;
  94         }
  95
  96         swift_addr = (struct sockaddr_swift *) addr;
  97
  98         port = swift_addr->dests[0].port;
  99
 100         if (unlikely(port == 0 || port >= MAX_SWIFT_PORT)) {
 101                 log_error("Invalid value for sockaddr port (%u)\n", port);
 102                 err = -EINVAL;
 103                 goto out;
 104         }
 105
 106         if (unlikely(swift_lookup(port) != NULL)) {
 107                 log_error("Port %u already in use\n", port);
 108                 err = -EADDRINUSE;
 109                 goto out;
 110         }
 111
 112         ssk = swift_sk(sock->sk);
 113         ssk->src = port;
 114
 115         swift_hash(port, ssk);
 116
 117         log_debug("Socket %p bound to port %u\n", ssk, port);
 118
 119         return 0;
 120
 121 out:
 122         return err;
 123 }
 124
 125 static int swift_connect(struct socket *sock, struct sockaddr *addr, int addr_len, int flags)
 126 {
 127         int err;
 128         struct sock * sk;
 129         struct inet_sock * isk;
 130         struct swift_sock * ssk;
 131
 132         log_debug("swift_connect\n");
 133
 134         if (unlikely(sock == NULL)) {
 135                 log_error("Sock is NULL\n");
 136                 err = -EINVAL;
 137                 goto out;
 138         }
 139         sk = sock->sk;
 140
 141         if (unlikely(sk == NULL)) {
 142                 log_error("Sock->sk is NULL\n");
 143                 err = -EINVAL;
 144                 goto out;
 145         }
 146
 147         isk = inet_sk(sk);
 148         ssk = swift_sk(sk);
 149
 150         if (unlikely(ssk->src != 0)) {
 151                 log_error("ssk->src is not NULL\n");
 152                 err = -EINVAL;
 153                 goto out;
 154         }
 155
 156         if (likely(addr)) {
 157                 struct sockaddr_swift * swift_addr = (struct sockaddr_swift *) addr;
 158
 159         if (unlikely(addr_len < sizeof(*swift_addr) ||
 160                      addr_len < swift_addr->count * sizeof(struct swift_dest) ||
 161                      swift_addr->count <= 0)) {
 162                         log_error("Invalid size or address family\n");
 163                         err = -EINVAL;
 164                         goto out;
 165                 }
 166                 ssk->dst = swift_addr->dests[0].port;
 167                 if (unlikely(ssk->dst == 0 || ssk->dst >= MAX_SWIFT_PORT)) {
 168                         log_error("Invalid value for destination port(%u)\n", ssk->dst);
 169                         err = -EINVAL;
 170                         goto out;
 171                 }
 172
 173                 isk->inet_daddr = swift_addr->dests[0].addr;
 174                 log_debug("Received from user space destination port=%u and address=%u\n", ssk->dst, isk->inet_daddr);
 175         } else {
 176                 log_error("Invalid swift_addr (NULL)\n");
 177                 err = -EINVAL;
 178                 goto out;
 179         }
 180
 181         ssk->src = get_next_free_port();
 182         if (unlikely(ssk->src == 0)) {
 183                 log_error("No free ports\n");
 184                 err = -ENOMEM;
 185                 goto out;
 186         }
 187
 188         swift_hash(ssk->src, ssk);
 189
 190         return 0;
 191
 192 out:
 193         return err;
 194 }
 195
 196 static int swift_sendmsg(struct kiocb *iocb, struct socket *sock, struct msghdr *msg, size_t len)
 197 {
 198         int err;
 199         uint8_t dport;
 200     __be32 daddr;
 201     uint8_t sport;
 202     struct sk_buff * skb;
 203     struct sock * sk;
 204     struct inet_sock * isk;
 205     struct swift_sock * ssk;
 206     struct swifthdr * shdr;
 207     int connected = 0;
 208     int totlen;
 209     struct rtable * rt = NULL;
 210     int dests = 0;
 211     int i;
 212     struct sockaddr_swift * swift_addr = NULL;
 213
 214     if (unlikely(sock == NULL)) {
 215         log_error("Sock is NULL\n");
 216         err = -EINVAL;
 217         goto out;
 218     }
 219     sk = sock->sk;
 220
 221     if (unlikely(sk == NULL)) {
 222         log_error("Sock->sk is NULL\n");
 223         err = -EINVAL;
 224         goto out;
 225     }
 226
 227     isk = inet_sk(sk);
 228     ssk = swift_sk(sk);
 229
 230     sport = ssk->src;
 231     if (sport == 0) {
 232         sport = get_next_free_port();
 233         if (unlikely(sport == 0)) {
 234             log_error("No free ports\n");
 235             err = -ENOMEM;
 236             goto out;
 237         }
 238     }
 239
 240     if (msg->msg_name) {
 241         swift_addr = (struct sockaddr_swift *) msg->msg_name;
 242
 243         if (unlikely(msg->msg_namelen < sizeof(*swift_addr) ||
 244                      msg->msg_namelen < swift_addr->count * sizeof(struct swift_dest) ||
 245                      swift_addr->count <= 0)) {
 246             log_error("Invalid size for msg_name\n");
 247             err = -EINVAL;
 248             goto out;
 249         }
 250
 251         dests = swift_addr->count;
 252     } else {
 253         BUG();
 254         if (unlikely(!ssk->dst || !isk->inet_daddr)) {
 255             log_error("No destination port/address\n");
 256             err = -EDESTADDRREQ;
 257             goto out;
 258         }
 259         dport = ssk->dst;
 260         daddr = isk->inet_daddr;
 261
 262         log_debug("Got from socket destination port=%u and address=%u\n", dport, daddr);
 263         connected = 1;
 264     }
 265
 266     if (msg->msg_iovlen < dests)
 267         dests = msg->msg_iovlen;
 268
 269     for (i = 0; i < dests; i++) {
 270         struct swift_dest *dest = &swift_addr->dests[i];
 271         struct iovec *iov = &msg->msg_iov[i];
 272
 273         dport = dest->port;
 274         if (unlikely(dport == 0 || dport >= MAX_SWIFT_PORT)) {
 275             log_error("Invalid value for destination port(%u)\n", dport);
 276             err = -EINVAL;
 277             goto out;
 278         }
 279
 280         daddr = dest->addr;
 281         log_debug("Received from user space destination port=%u and address=%u\n", dport, daddr);
 282
 283         len = iov->iov_len;
 284         totlen = len + sizeof(struct swifthdr) + sizeof(struct iphdr);
 285         skb = sock_alloc_send_skb(sk, totlen, msg->msg_flags & MSG_DONTWAIT, &err);
 286         if (unlikely(!skb)) {
 287             log_error("sock_alloc_send_skb failed\n");
 288             goto out;
 289         }
 290         log_debug("Allocated %u bytes for skb (payload size=%u)\n", totlen, len);
 291
 292         skb_reset_network_header(skb);
 293         skb_reserve(skb, sizeof(struct iphdr));
 294         log_debug("Reseted network header\n");
 295         skb_reset_transport_header(skb);
 296         skb_put(skb, sizeof(struct swifthdr));
 297         log_debug("Reseted transport header\n");
 298
 299         shdr = (struct swifthdr *) skb_transport_header(skb);
 300         shdr->dst = dport;
 301         shdr->src = sport;
 302         shdr->len = ntohs(len + sizeof(struct swifthdr));
 303
 304         log_debug("payload=%p\n", skb_put(skb, len));
 305
 306         err = skb_copy_datagram_from_iovec(skb, sizeof(struct swifthdr), iov, 0, len);
 307         if (unlikely(err)) {
 308             log_error("skb_copy_datagram_from_iovec failed\n");
 309             goto out_free;
 310         }
 311         log_debug("Copied %u bytes into the skb\n", len);
 312
 313         if (connected)
 314             rt = (struct rtable *) __sk_dst_check(sk, 0);
 315
 316         if (rt == NULL) {
 317             struct flowi fl = { .fl4_dst = daddr,
 318                 .proto = sk->sk_protocol,
 319                 .flags = inet_sk_flowi_flags(sk),
 320             };
 321             err = ip_route_output_flow(sock_net(sk), &rt, &fl, sk, 0);
 322             if (unlikely(err)) {
 323                 log_error("Route lookup failed\n");
 324                 goto out_free;
 325             }
 326 #if LINUX_VERSION_CODE < KERNEL_VERSION(2, 6, 36)
 327             sk_dst_set(sk, dst_clone(&rt->u.dst));
 328 #else
 329             sk_dst_set(sk, dst_clone(&rt->dst));
 330 #endif
 331         }
 332
 333         skb->local_df = 1;
 334         err = ip_queue_xmit(skb);
 335         if (likely(!err))
 336             log_debug("Sent %u bytes on wire\n", len);
 337         else
 338             log_error("ip_queue_xmit failed\n");
 339     }
 340
 341         return err;
 342
 343 out_free:
 344         kfree(skb);
 345
 346 out:
 347         return err;
 348 }
 349
 350 static int swift_recvmsg(struct kiocb *iocb, struct socket *sock, struct msghdr *msg, size_t len, int flags)
 351 {
 352         struct sk_buff *skb;
 353         struct sockaddr_swift *swift_addr;
 354         struct sock * sk = sock->sk;
 355         int err, copied;
 356
 357     log_debug("Trying to receive sock=%p sk=%p flags=%d\n", sock, sk, flags);
 358
 359         skb = skb_recv_datagram(sk, flags, flags & MSG_DONTWAIT, &err);
 360         if (unlikely(!skb)) {
 361                 log_error("skb_recv_datagram\n");
 362                 goto out;
 363         }
 364
 365         log_debug("Received skb %p\n", skb);
 366
 367         swift_addr = (struct sockaddr_swift *) skb->cb;
 368         msg->msg_namelen = sizeof(struct sockaddr_swift);
 369
 370         copied = skb->len;
 371         if (copied > len) {
 372                 copied = len;
 373                 msg->msg_flags |= MSG_TRUNC;
 374         }
 375
 376         err = skb_copy_datagram_iovec(skb, 0, msg->msg_iov, copied);
 377         if (unlikely(err)) {
 378                 log_error("skb_copy_datagram_iovec\n");
 379                 goto out_free;
 380         }
 381
 382         sock_recv_ts_and_drops(msg, sk, skb);
 383
 384         if (msg->msg_name)
 385                 memcpy(msg->msg_name, swift_addr, msg->msg_namelen);
 386
 387         err = copied;
 388
 389 out_free:
 390         skb_free_datagram(sk, skb);
 391
 392 out:
 393         return err;
 394 }
 395
 396 static int swift_rcv(struct sk_buff *skb)
 397 {
 398         struct swifthdr *shdr;
 399         struct swift_sock *ssk;
 400         __be16 len;
 401         uint8_t src, dst;
 402         struct sockaddr_swift * swift_addr;
 403         int err;
 404
 405         if (unlikely(!pskb_may_pull(skb, sizeof(struct swifthdr)))) {
 406                 log_error("Insufficient space for header\n");
 407                 goto drop;
 408         }
 409
 410         shdr = (struct swifthdr *) skb->data;
 411         len = ntohs(shdr->len);
 412
 413         if (unlikely(skb->len < len)) {
 414                 log_error("Malformed packet (packet_len=%u, skb_len=%u)\n", len, skb->len);
 415                 goto drop;
 416         }
 417
 418         if (unlikely(len < sizeof(struct swifthdr))) {
 419                 log_error("Malformed packet (packet_len=%u sizeof(swifthdr)=%u\n", len, sizeof(struct swifthdr));
 420                 goto drop;
 421         }
 422
 423         src = shdr->src;
 424         dst = shdr->dst;
 425         if (unlikely(src == 0 || dst == 0 || src >= MAX_SWIFT_PORT || dst >= MAX_SWIFT_PORT)) {
 426                 log_error("Malformed packet (src=%u, dst=%u)\n", shdr->src, shdr->dst);
 427                 goto drop;
 428         }
 429
 430         skb_pull(skb, sizeof(struct swifthdr));
 431         len -= sizeof(struct swifthdr);
 432
 433         pskb_trim(skb, len);
 434
 435         log_debug("Received %u bytes from from port=%u to port=%u\n", len - sizeof(struct swifthdr), src, dst);
 436
 437         ssk = swift_lookup(dst);
 438         if (ssk == NULL) {
 439                 log_error("Swift lookup failed for port %u\n", dst);
 440                 goto drop;
 441         }
 442
 443         BUILD_BUG_ON(sizeof(struct sockaddr_swift) > sizeof(skb->cb));
 444
 445         swift_addr = (struct sockaddr_swift *) skb->cb;
 446         swift_addr->dests[0].port = shdr->src;
 447         swift_addr->dests[0].addr = ip_hdr(skb)->saddr;
 448
 449         log_debug("Setting sin_port=%u, sin_addr=%u\n", ntohs(shdr->src), swift_addr->dests[0].addr);
 450
 451         err = ip_queue_rcv_skb((struct sock *) &ssk->sock, skb);
 452         if (unlikely(err)) {
 453                 log_error("ip_queue_rcv_skb failed with %d\n", err);
 454                 consume_skb(skb);
 455         }
 456         return NET_RX_SUCCESS;
 457
 458 drop:
 459         kfree(skb);
 460         return NET_RX_DROP;
 461 }
 462
 463 static struct proto swift_prot = {
 464         .obj_size = sizeof(struct swift_sock),
 465         .owner    = THIS_MODULE,
 466         .name     = "SWIFT",
 467 };
 468
 469 static const struct proto_ops swift_ops = {
 470         .family     = PF_INET,
 471         .owner      = THIS_MODULE,
 472         .release    = swift_release,
 473         .bind       = swift_bind,
 474         .connect    = swift_connect,
 475         .socketpair = sock_no_socketpair,
 476         .accept     = sock_no_accept,
 477         .getname    = sock_no_getname,
 478         .poll       = datagram_poll,
 479         .ioctl      = sock_no_ioctl,
 480         .listen     = sock_no_listen,
 481         .shutdown   = sock_no_shutdown,
 482         .setsockopt = sock_no_setsockopt,
 483         .getsockopt = sock_no_getsockopt,
 484         .sendmsg    = swift_sendmsg,
 485         .recvmsg    = swift_recvmsg,
 486         .mmap       = sock_no_mmap,
 487         .sendpage   = sock_no_sendpage,
 488 };
 489
 490 static const struct net_protocol swift_protocol = {
 491         .handler   = swift_rcv,
 492         .no_policy = 1,
 493         .netns_ok  = 1,
 494 };
 495
 496 static struct inet_protosw swift_protosw = {
 497         .type     = SOCK_DGRAM,
 498         .protocol = IPPROTO_SWIFT,
 499         .prot     = &swift_prot,
 500         .ops      = &swift_ops,
 501         .no_check = 0,
 502 };
 503
 504 static int __init swift_init(void)
 505 {
 506         int rc;
 507
 508         rc = proto_register(&swift_prot, 1);
 509         if (unlikely(rc)) {
 510                 log_error("Error registering swift protocol\n");
 511                 goto out;
 512         }
 513
 514         rc = inet_add_protocol(&swift_protocol, IPPROTO_SWIFT);
 515         if (unlikely(rc)) {
 516                 log_error("Error adding swift protocol\n");
 517                 goto out_unregister;
 518         }
 519
 520         inet_register_protosw(&swift_protosw);
 521         log_debug("Swift entered\n");
 522
 523         return 0;
 524
 525 out_unregister:
 526         proto_unregister(&swift_prot);
 527
 528 out:
 529         return rc;
 530 }
 531
 532 static void __exit swift_exit(void)
 533 {
 534         inet_unregister_protosw(&swift_protosw);
 535
 536         inet_del_protocol(&swift_protocol, IPPROTO_SWIFT);
 537
 538         proto_unregister(&swift_prot);
 539
 540         log_debug("Swift exited\n");
 541 }
 542
 543 module_init(swift_init);
 544 module_exit(swift_exit);