rules: watch metadata changes on DASD devices

To make sure the change event is emitted and udev db is updated
after metadata changes.

(cherry picked from commit 38397c8ce044fdc0138c9919168a856c0e16f720)

Resolves: #1638676

cryptsetup-generator: allow whitespace characters in keydev specification

For example, <luks.uuid>=/keyfile:LABEL="KEYFILE FS" previously wouldn't
work, because we truncated label at the first whitespace character,
i.e. LABEL="KEYFILE".

(cherry-picked from commit 7949dfa73a44ae6524779689483d12243dfbcfdf)

Related: #1656869

cryptsetup-generator: don't return error if target directory already exists

(cherry-picked from commit 579875bc4a59b917fa32519e3d96d56dc591ad1e)

Related: #1656869

cryptsetup: don't use %m if there's no error to show

We are not the ones receiving an error here, but the ones generating it,
hence we shouldn't show it with %m, that's just confusing, as it
suggests we received an error from some other call.

(cherry-picked from commit 2abe64666e544be6499f870618185f8819b4c152)

Related: #1656869

cryptsetup-generator: introduce basic keydev support

Dracut has a support for unlocking encrypted drives with keyfile stored
on the external drive. This support is included in the generated initrd
only if systemd module is not included.

When systemd is used in initrd then attachment of encrypted drives is
handled by systemd-cryptsetup tools. Our generator has support for
keyfile, however, it didn't support keyfile on the external block
device (keydev).

This commit introduces basic keydev support. Keydev can be specified per
luks.uuid on the kernel command line. Keydev is automatically mounted
during boot and we look for keyfile in the keydev
mountpoint (i.e. keyfile path is prefixed with the keydev mount point
path). After crypt device is attached we automatically unmount
where keyfile resides.

Example:
        rd.luks.key=70bc876b-f627-4038-9049-3080d79d2165=/key:LABEL=KEYDEV

(cherry-picked from commit 70f5f48eb891b12e969577b464de61e15a2593da)

Resolves: #1656869

sd-bus: properly initialize containers

Fixes a SIGSEGV introduced by commit 38a5315a3a6fab745d8c86ff9e486faaf50b28d1.
The same problem doesn't exist upstream, as the container structure
there is initialized using a compound literal, which is zeroed out by
default.

Related: #1635435

sd-bus: unify three code-paths which free struct bus_container

We didn't free one of the fields in two of the places.

$ valgrind --show-leak-kinds=all --leak-check=full \
  build/fuzz-bus-message \
  test/fuzz/fuzz-bus-message/leak-c09c0e2256d43bc5e2d02748c8d8760e7bc25d20
...
==14457== HEAP SUMMARY:
==14457==     in use at exit: 3 bytes in 1 blocks
==14457==   total heap usage: 509 allocs, 508 frees, 51,016 bytes allocated
==14457==
==14457== 3 bytes in 1 blocks are definitely lost in loss record 1 of 1
==14457==    at 0x4C2EBAB: malloc (vg_replace_malloc.c:299)
==14457==    by 0x53AFE79: strndup (in /usr/lib64/libc-2.27.so)
==14457==    by 0x4F52EB8: free_and_strndup (string-util.c:1039)
==14457==    by 0x4F8E1AB: sd_bus_message_peek_type (bus-message.c:4193)
==14457==    by 0x4F76CB5: bus_message_dump (bus-dump.c:144)
==14457==    by 0x108F12: LLVMFuzzerTestOneInput (fuzz-bus-message.c:24)
==14457==    by 0x1090F7: main (fuzz-main.c:34)
==14457==
==14457== LEAK SUMMARY:
==14457==    definitely lost: 3 bytes in 1 blocks

(cherry picked from commit 6d1e0f4fcba8d6f425da3dc91805db95399b3c8b)
Resolves: #1635435

detect-virt: do not try to read all of /proc/cpuinfo

Quoting https://github.com/systemd/systemd/issues/10074:
> detect_vm_uml() reads /proc/cpuinfo with read_full_file()
> read_full_file() has a file max limit size of READ_FULL_BYTES_MAX=(4U*1024U*1024U)
> Unfortunately, the size of my /proc/cpuinfo is bigger, approximately:
> echo $(( 4* $(cat /proc/cpuinfo | wc -c)))
> 9918072
> This causes read_full_file() to fail and the Condition test fallout.

Let's just read line by line until we find an intersting line. This also
helps if not running under UML, because we avoid reading as much data.

(cherry picked from commit 6058516a14ada1748313af6783f5b4e7e3006654)

Resolves: #1631532

Revert "sysctl.d: request ECN on both in and outgoing connections"

Turning on ECN still causes slow or broken network on linux. Our tcp
is not yet ready for wide spread use of ECN.

This reverts commit 919472741dba6ad0a3f6c2b76d390a02d0e2fdc3.

(cherry picked from commit 1e190dfd5bb95036f937ef1dc46f43eb0a146612)

Resolves: #1619790

test: add test case for recursive chown()ing

[msekleta: I removed call to log_test_skipped() and replaced it with older construct log_info() + return EXIT_TEST_SKIP]

(cherry-picked from commit cb9e44db36caefcbb8ee7a12e14217305ed69ff2)

Related: #1643368

chown-recursive: TAKE_FD() is your friend

(cherry-picked from commit cd6b7d50c337b3676a3d5fc2188ff298dcbdb939)

Related: #1643368

chown-recursive: also drop ACLs when recursively chown()ing

Let's better be safe than sorry and also drop ACLs.

(cherry-picked from commit f89bc84f3242449cbc308892c87573b131f121df)

Related: #1643368

chown-recursive: let's rework the recursive logic to use O_PATH

That way we can pin a specific inode and analyze it and manipulate it
without it being swapped out beneath our hands.

Fixes a vulnerability originally found by Jann Horn from Google.

CVE-2018-15687
LP: #1796692
https://bugzilla.redhat.com/show_bug.cgi?id=1639076

(cherry-picked from commit 5de6cce58b3e8b79239b6e83653459d91af6e57c)

Resolves: #1643368

debug-generator: introduce rd.* version of all options

(cherry picked from commit a7dd6d04b07f58df5c0294743d76df0be0b4b928)

Resolves: #1643429

proc-cmdline: introduce PROC_CMDLINE_RD_STRICT

Our current set of flags allows an option to be either
use just in initrd or both in initrd and normal system.
This new flag is intended to be used in the case where
you want apply some settings just in initrd or just
in normal system.

(cherry picked from commit ed58820d7669971762dd887dc117d922c23f2543)

Related: #1643429

core: make sure we don't throttle change signal generator when a reload is pending

Fixes: #10627
(cherry picked from commit b8d381c47776ea0440af175cbe0c02cb743bde08)

Resolves: #1647359

core: when we can't send the pending reload message, say we ignore it in the warning we log

No change in behaviour, just better wording.

(cherry picked from commit 4b66bccab004221b903b43b4c224442bfa3e9ac7)

Resolves: #1647359

core: rename queued_message → pending_reload_message

This field is only used for pending Reload() replies, hence let's rename
it to be more descriptive and precise.

No change in behaviour.

(cherry picked from commit 209de5256b7ba8600c3e73a85a43b86708998d65)

Resolves: #1647359

dhcp6: make sure we have enough space for the DHCP6 option header

Fixes a vulnerability originally discovered by Felix Wilhelm from
Google.

CVE-2018-15688
LP: #1795921
https://bugzilla.redhat.com/show_bug.cgi?id=1639067

(cherry-picked from commit 4dac5eaba4e419b29c97da38a8b1f82336c2c892)

Resolves: #1643363

journal-file: avoid calling ftruncate with invalid fd

This can happen if journal_file_close is called from the failure
handling code of journal_file_open before f->fd was established.

(cherry picked from commit c52368509f48e556be5a4c7a171361b656a25e02)

Resolves: #1602706

firewall-util: add an assert that we're not overwriting a buffer

... like commit f28501279d2c28fdbb31d8273b723e9bf71d3b98 does for
out_interface.

(cherry picked from commit 0b777d20e9a3868b12372ffce8040d1be063cec7)

Resolves: #1602706

login: avoid leak of name returned by uid_to_name()

(cherry picked from commit e99742ef3e9d847da04e71fec0eb426063b25068)

Resolves: #1602706

dissect-image: use right comparison function

fstype can be NULL here.

(cherry picked from commit 4db1879acdc0b853e1a7e6e650b6feb917175fac)

Resolves: #1602706

resolved: create /etc/resolv.conf symlink at runtime

If the symlink doesn't exists, and we are being started, let's
create it to provie name resolution.

If it exists, do nothing. In particular, if it is a broken symlink,
we cannot really know if the administator configured it to point to
a location used by some service that hasn't started yet, so we
don't touch it in that case either.

https://bugzilla.redhat.com/show_bug.cgi?id=1313085

journal: change support URL shown in the catalog entries

Resolves: #1550548

tests: backport test_setup_logging()

Related: #1635428

Introduce free_and_strndup and use it in bus-message.c

v2: fix error in free_and_strndup()

When the orignal and copied message were the same, but shorter than specified
length l, memory read past the end of the buffer would be performed. A test
case is included: a string that had an embedded NUL ("q\0") is used to replace
"q".

v3: Fix one more bug in free_and_strndup and add tests.

v4: Some style fixed based on review, one more use of free_and_replace, and
make the tests more comprehensive.

(cherry picked from commit 7f546026abbdc56c453a577e52d57159458c3e9c)

Resolves: #1635428

bus-message: do not crash on message with a string of zero length

We'd calculate the "real" length of the string as 'item_size - 1', which does
not work out well when item_size == 0.

(cherry picked from commit 81b6e63029eefcb0ec03a3a7c248490e38106073)

Resolves: #1635439

units: don't enable per-service IP firewall by default

Resolves: #1630219

cryptsetup: do not define arg_sector_size if libgcrypt is v1.x (#9990)

Follow-up for #9936.

(cherry picked from commit 645461f0cf6ec91e5b0b571559fb4cc4898192bc)

Related: #1572563

cryptsetup: add support for sector-size= option (#9936)

Bug-Ubuntu: https://launchpad.net/bugs/1776626

Closes #8881.

(cherry picked from commit a9fc640671ef60ac949f1ace6fa687ff242fc233)

Resolves: #1572563

random-seed: raise POOL_SIZE_MIN constant to 1024

Resolves: #1619268

bus: move BUS_DONT_DESTROY calls after asserts

It's not useful to bump the reference count before checking if the object is
NULL. Thanks to d40f5cc498 we can do this ;).

Related to https://bugzilla.redhat.com/show_bug.cgi?id=1576084,
https://bugzilla.redhat.com/show_bug.cgi?id=1575340,
https://bugzilla.redhat.com/show_bug.cgi?id=1575350. I'm not sure why those two
people hit this code path, while most people don't. At least we won't abort.

(cherry picked from commit 7ae8edcd03f74da123298330b76c3fc5425042ef)

Resolves: #1610397

journal: remove journal audit socket

Resolves: #1614554

units: drop DynamicUser=yes from systemd-resolved.service

We don't really need DynamicUser since we add systemd-resolve user
from rpm script

net_setup_link: allow renaming interfaces that were renamed previously

Revert "udev: remove WAIT_FOR key"

This reverts commit f2b8052fb648b788936dd3e85be6a9aca90fbb2f.

Resolves: #1523213

rules: introduce old-style by-path symlinks for FCP based SCSI devices

Related: #1523227

rules: disable auto-online of hot-plugged memory on IBM z Systems

Related: #1523227

rules: don't hoplug memory on s390x

Related: #1523227

rules: load sg driver also when scsi_target appears (#45)

Related: #1523227

rules: prandom character device node permissions

Related: #1523227

rules: load sg module

Related: #1523227

rules: reload sysctl settings when the bridge module is loaded

Related: #1523227

rules: enable memory hotplug

Related: #1523227

rules: add rule for naming Dell iDRAC USB Virtual NIC as 'idrac'

Related: #1523227

rules: automatically online hot-plugged CPUs

Related: #1523227

pid1: bump maximum number of process in user slice to 80% of pid_max

Related: #1523236

Avoid /tmp being mounted as tmpfs without the user's will

Ensure PrivateTmp doesn't require tmpfs through tmp.mount, but rather
adds an After relationship.

rhel-only

Resolves: #1578772

pid1: bump DefaultTasksMax to 80% of the kernel pid.max value

This should be hopefully high enough even for the very big deployments.

Resolves: #1523236

logind: set RemoveIPC to false by default

Resolves: #1523233

build-sys: Detect whether struct statx is defined in sys/stat.h

Starting with glibc 2.27.9000-36.fc29, include file sys/stat.h will have a
definition for struct statx, in which case include file linux/stat.h should be
avoided, in order to prevent a duplicate definition.

    In file included from ../src/basic/missing.h:18,
     from ../src/basic/util.h:28,
     from ../src/basic/hashmap.h:10,
     from ../src/shared/bus-util.h:12,
     from ../src/libsystemd/sd-bus/bus-creds.c:11:
    /usr/include/linux/stat.h:99:8: error: redefinition of ‘struct statx’
     struct statx {
    ^~~~~
    In file included from /usr/include/sys/stat.h:446,
     from ../src/basic/util.h:19,
     from ../src/basic/hashmap.h:10,
     from ../src/shared/bus-util.h:12,
     from ../src/libsystemd/sd-bus/bus-creds.c:11:
    /usr/include/bits/statx.h:36:8: note: originally defined here
     struct statx
    ^~~~~

Extend our meson.build to look for struct statx when only sys/stat.h is
included and, in that case, do not include linux/stat.h anymore.

Tested that systemd builds correctly when using a glibc version that includes a
definition for struct statx.

glibc Fedora RPM update:
https://src.fedoraproject.org/rpms/glibc/c/28cb5d31fc1e5887912283c889689c47076278ae

glibc upstream commit:
https://sourceware.org/git/?p=glibc.git;a=commitdiff;h=fd70af45528d59a00eb3190ef6706cb299488fcd

meson: bump package and library version

final touches to NEWS

man: small fixups for systemd-boot(8)

- "UEFI firmware" is a name, no need for an article
- The specification is more than "recommendation"

man: correct the meaning of TimeoutStopSec= (#9325)

Fixes: #9325

tmpfile: do not specify mode and owner to /run/systemd/netif

Fixes #9369.

journalctl: handle inotify exhaustion nicer

Instead of failing, log that inotify wds
are exhausted and fallback to -n switch.

Fixes #1296.

udev: exclude DRBD from block device ownership event locking

It does not make sense for udev to even open DRBD block devices
(/dev/drbdX). It is on one hand not necessary as DRBD is controlled by
something else in the stack (e.g., pacemaker), and it even can get
cumbersome in various scenarios (e.g., DRBD9 auto-promote).

Closes: #9371

Signed-off-by: Roland Kammerer <roland.kammerer@linbit.com>
Signed-off-by: Lars Ellenberg <lars.ellenberg@linbit.com>

man: systemd.offline-updates: Document system-update-pre.target usage

Merge pull request #9368 from yuwata/bash-completion-timedate

follow-ups for 'timedatectl show'

NEWS: mention 'timedatectl show'

bash-completion: support 'timedatectl show'

NEWS: mention %E

Merge pull request #9366 from poettering/udev-wants-dep-fix

udev SYSTEMD_WANTS property fix

core: explicitly trigger changing udev SYSTEMD_WANTS properties

This compensates for the unsynchronized reload cycles of systemd and
udev: we manually trigger the deps listed in SYSTEMD_WANTS properties if
they change for device units that are already up. That way all deps
defined that way will be triggered at least once: the first time the
unit goes up by the usual dependency logic, and if it already is up by
the device.c specific logic.

Fixes: #9323

analyze: use _cleanup_ for freeing the manager object

analyze: use log_unit_error_errno()'s return value where we can

tree-wide: pass NULL arguments to manager_startup() directly, avoid declaring unneeded variables

units: let's use two ExecStart= lines instead of ;

core: use fflush_and_check() where appropriate

update TODO

Merge pull request #9365 from keszybz/condition-security-followup

ConditionSecurity= followup

test-condition: extend tests to all ConditionSecurity= values

Also print out what we detect, for manual verification.

NEWS: mention ConditionSecurity=uefi-secureboot

Follow-up for be405b909e5d78b43e3af47e0d10cd84c714e2f3.

condition: add new conditon ConditionSecurity=uefi-secureboot

We have the detector call for this anyway, and it's useful for
conditioning out dbxtool.service, hence let's add this tiny new option.

Merge pull request #9363 from yuwata/specifier-config-dir

core: add unit specifier for configuration directory root

meson: make DNS-over-TLS support optional

This adds dns-over-tls option to meson. If set to 'false',
systemd-resolved is not linked with libgnutls.

Merge pull request #9350 from poettering/bls-fixes

various fixes to the systemd-boot documentation

systemctl: mask always reports the same unit names when different unknown units are passed

Before this patch:

  # systemctl --runtime mask abuild.mount does-not-exist.mount does-also-not-exist.mount
  Unit abuild.mount does not exist, proceeding anyway.
  Unit abuild.mount does not exist, proceeding anyway.
  Unit abuild.mount does not exist, proceeding anyway.
  Created symlink /run/systemd/system/abuild.mount → /dev/null.
  Created symlink /run/systemd/system/does-not-exist.mount → /dev/null.
  Created symlink /run/systemd/system/does-also-not-exist.mount → /dev/null.

After this patch:

  # systemctl --runtime mask abuild.mount does-not-exist.mount does-also-not-exist.mount
  Unit abuild.mount does not exist, proceeding anyway.
  Unit does-not-exist.mount does not exist, proceeding anyway.
  Unit does-also-not-exist.mount does not exist, proceeding anyway.
  Created symlink /run/systemd/system/abuild.mount → /dev/null.
  Created symlink /run/systemd/system/does-not-exist.mount → /dev/null.
  Created symlink /run/systemd/system/does-also-not-exist.mount → /dev/null.

test: add test for specifier of configuration directory root

core: add unit specifier for configuration directory root

Follow-up for 14068e17f32a06e6a1f8f72416018bc653b8ea2d.

units: fix typo in After=

Followup for c7668c1ce04fa85370432d197d2ccd9411e85649.

test-sizeof: another aproach to _Float128 availability detection

NEWS: document that the BLS is now part of our tree

man: update systemd-boot(7) man page in many ways

Let's fully document where the list of entries come from, including unified
images and such.

Let's add a "Files" section (replacing the "Configuration" section), and
let's move it after they keybinding section (why? because keybinds are
primary UI material, while configuration is one level more complex than
that).

Also, reword lot's of stuff to make it more precise.

Fixes: #5127

man: fix URL to BLS

Let's refer to our own version now.

doc: document the `architecture` setting

doc: allow multiple initrd entries per BLS snippet

sd-boot already supports that anyway, and the Fedora folks asked for
this on the fedora mailing list, hence let's simply add this.

doc: update BLS links list

let's make these proper links

doc: add a second indentation level to partition list, to separate MBR and GPT partitions

tree-wide: drop MSG_NOSIGNAL flag from recvmsg() invocations

MSG_NOSIGNAL is only defined for sendmsg(), not for recvmsg(), hence
let's drop it's use, in particular as it appears to create problems on
older kernels. See:

https://lists.freedesktop.org/archives/systemd-devel/2018-June/040869.html

update NEWS contributors list again

Revert "mention alias for poweroff in machinectl --help"

This reverts commit bebd5382ba4c820377f05e1e518c6dfd96b278be.

For the reasoning, see: https://github.com/systemd/systemd/pull/9342#issuecomment-398715417

units: make system-update-pre.target a passive unit (#9349)

This is an additional synchronization point normally not needed. Hence,
let's make it passive, i.e. pull it in from the unit which wants to be
ordered before the update service rather than by the update service
itself.

Merge pull request #9348 from keszybz/copyright-removal

Copyright removal

Drop copyrights tags for "systemd authors"

basic/bpf-program: drop obsolete comment

As far as I can see, nothing in that particular file is from the
kernel. Let's just drop the comment.

tree-wide: drop copyright headers from frequent contributors

Fixes #9320.

for p in Shapovalov Chevalier Rozhkov Sievers Mack Herrmann Schmidt Rudenberg Sahani Landden Andersen Watanabe; do
  git grep -e 'Copyright.*'$p -l|xargs perl -i -0pe 's|/([*][*])?[*]\s+([*#]\s+)?Copyright[^\n]*'$p'[^\n]*\s*[*]([*][*])?/\n*|\n|gms; s|\s+([*#]\s+)?Copyright[^\n]*'$p'[^\n]*\n*|\n|gms'
done

shared/path-lookup: remove unnecessary 'if' to help gcc

Fixes #9343.